看到蠻多留言質疑AI on local PC的可行性,質疑的點主要有幾個(1)這種PC太貴(2)用
雲端AI就可以了(3)日常生活中用不到AI PC
但看到前幾天蘇媽認為AI PC會開始呈現雙位數的成長到這幾天黃仁勳要拿出的新產品來看
,大廠都往這個方向顯然業界有這樣的共識。
AIPC這個概念應該2024甚至2023,GPT提出來的時候就有出現了,但那時候的AIPC僅僅只是
停留在像現在大部分一般人使用AI的方式一樣,就是對話,只是把雲端上大家在GPT、Gemin
i、Claude網頁搬到電腦上。在過去的本地AI只有這樣的功能就會顯得很雞肋,一樣的事情
我在網路上做就好,除非我非常重視資安否則我完全沒必要再去買一台號稱可以使用AI的桌
機/筆電。
但在小龍蝦這個概念起來之後,AIPC可以做的事情變得多元了,只要一個命令就可以直接跳
過所有中間指令到產出內容。(如果對小龍蝦有興趣的話可以上YT看台大李宏毅老師的講解
,甚至他還有經營一個頻道是由小龍蝦全部自己找資料、發表影片、回覆觀眾留言)但也因
為要在持續使用API的關係,小龍蝦如果跑在雲端上消耗下來的token數和費用都十分驚人(
每個月幾千甚至上萬的花費)。這時如果有好用的地端模型作為搭配,在任務執行上可以將
任務拆分,簡單的本地做,困難的再丟到雲端上處理會更有效率。
現在大廠們目標就是看向這個市場。可能有人會質疑地端的模型是否足夠好?若單純是推論
,現在Google有一些地端的模型Gemma就可以處理,至於能處理的多好取決於記憶體有多大
記憶體越大就能有更快推理速度和精度,比如說36GB大概可以等同GPT-4的水準。
目前市面上有推出的真AI相關電腦如下
https://i.imgur.com/F1VJ3VM.jpeg
誠如有些留言指出,目前的AI相關電腦還是太貴,當然在產品的初期價格高昂乃是常態(但
可以看到AMD價格相對來說也有競爭力)
我個人的猜想,這類電腦初期的落地肯定不會是在家庭,而是商務,試想,如果公司可以買
一台電腦而少僱用幾個人,那幾個人整年的薪水可以買幾台的電腦,這樣的算術比較利益就
會開始出現。
同時AI PC也會使AI大模型公司很好的變現與提升ROE的管道,就如同windows的授權費,AI
大模型也能透過預載和更新來收取費用。
即使AIPC的勢頭初見苗頭,我還是認為目前會遇到一些挑戰。(1)老黃的ARM架構CPU在過
去x86累積的程式面臨到的挑戰。(2)AIPC能不能在針對本地的資料進行優化/fine tune,
避免同質性過高的問題。(3)價格?
最後補點股點,如果AIPC可以大規模鋪開,受益的股票會有哪些?目前我想到的部分:
(1)品牌廠
(2)記憶體,用量每台電腦可能從過去的16-32GB翻倍甚至三四倍成長
(3)高速傳輸晶片I/O
推文討論 174