前 Google 董事總經理簡立峰於 2024 年 10 月 29 日在 Arm Tech Symposia 2024 論壇上發表演講,主題為「掌握 AI 新契機:硬軟整合」,他呼籲台灣在 AI 發展上應重視邊緣 AI 生態,強調其在能源分散化和開發者創新上的重要性。
簡立峰認為,過度依賴大型雲端服務商會導致能源集中化,不利於整體發展。他表示:「如果大家長期倚賴三大或四大雲端業者,會產生「能源過度集中」問題…」。而邊緣 AI 可以透過小模型和邊緣裝置的結合,實現能源分散化,並促進開發者創新,加速生態系發展。他指出:「終端硬體規格上升,對開發者而言也有好處,因為要開發一個20億參數的AI模型應用放在邊緣硬體裝置上,比開發一個4000億參數模型放雲端上更好著手。」
簡立峰也提醒開發者,應注意硬體規格提升、模型靈活性、以及開發者動機等關鍵因素。他以具體例子說明小模型的應用場景,例如會議錄音、家庭視訊鏡頭等,強調:「兩個AI是完全不同的量級,開發小AI模型因為參數小,開發者可以更快速任務導向的AI模型…」。他認為:「要鼓勵開發者參與開發,動機很重要,如果開發者做一支AI手機,模型在雲端跑,則使用者愈多,開發者要付錢給雲端公司就越多,這樣小型新創就做不了。」
簡立峰也提到,邊緣 AI 的部署和管理難點,以及 AI 模型保護的重要性。他表示:「但目前軟硬整合還不容易,原因是AI模型還太大,硬體也還沒有完全支援整合…」他還指出:「而未來AI的部署跟管理也是一大重點,他解釋「GPU腦袋也會壞掉」…」
簡立峰的演講強調了邊緣 AI 在當前 AI 產業發展中的重要性,也指出了其在能源分散化、開發者創新、生態系發展等方面的優勢。但他也提醒,邊緣 AI 的發展需要克服軟硬整合、模型保護、部署和管理等挑戰。
值得注意的是,目前 AI 產業正努力縮減大模型,以降低成本並提高效能,但尚未達到最佳平衡點。打造一個 4000 億參數的 AI 模型需要 1 萬顆 GPU,這也反映了大型雲端服務商過度集中所帶來的能源消耗問題。
簡立峰的呼籲,為台灣 AI 產業發展提供了新的思考方向,也展現了邊緣 AI 在未來發展中的重要性。台灣在軟硬整合方面的優勢,可以成為發展邊緣 AI 生態的良好基礎,進而推動 AI 產業的持續發展。