OpenAI行政總裁奧特曼(Sam Altman)在10月29日播出的Cheeky Pint Podcast節目中表示,把大量DRAM放在使用率偏低的個人電腦,未必是有效的資源分配方式,主張讓AI運算更集中於雲端資料中心。
他形容大量珍貴DRAM留在個人電腦,卻只有「5%的時間」被使用,從全球資源分配角度看相當不理想;如果記憶體集中在雲端,便可讓不同用戶輪流使用,提高資源利用率。
他提到,部分用戶相信開源模型日益普及,日後便可直接在個人電腦執行AI推論,減少對大型資料中心的依賴,但他認為在全球記憶體供應受限時,這種想法忽略了硬件資源的整體利用率。
韓國記憶體製造商SK hynix在10月28日公布第三季業績時表示,AI基建投資持續增加,先進製程技術難度高,興建新產能又需時,預計記憶體需求高於供應的情況可能持續至2030年。
SK hynix同時披露,已與包括大型雲端服務供應商在內的14個主要客戶簽訂長期協議,涉及的訂購量相當於公司2027年及2028年總產能超過50%。
本地AI讓用戶在自己的電腦上執行模型,資料毋須為每次推論而傳送至第三方伺服器,亦可在沒有網絡連線時繼續使用;雲端平台則可以在大量用戶之間共享運算及記憶體資源。

留言