專家:擁有一台AI PC或AI手機 不代表就能自己跑大模型

專家:擁有一台AI PC或AI手機 不代表就能自己跑大模型(圖:shutterstock)
專家:擁有一台AI PC或AI手機 不代表就能自己跑大模型(圖:shutterstock)

上周的 CES 2024 上,「AI PC」隨處可見,英特爾 (INTC-US)、AMD(AMD-US)、NVIDIA(NVDA-US) 和高通 (QCOM-US) 等公司都在宣揚他們的硬體在運行 AI 任務方面的出色表現。正如微軟 (MSFT-US) 所說,今年是「人工智慧驅動的 Windows PC 年」。

不過,專家警告,無論是「AI PC」或「AI 手機」,距離多數人想像中的設備仍有極大差距。

據《Computerworld 》作家 Chris Hoffman 發文指出,用戶需要了解,目前大多數生成式 AI 工具,並不真的在自己的電腦實現。當使用者在 Windows 11 上使用 Copilot、啟動 ChatGPT、轉向 Adob​​e Firefly 生成映像或與類似流行的 genAI 工具互動時,這些工作實際上並不是在個人的電腦上完成。

相反,所有處理都發生在某個資料中心中—靠著功能極其強大的電腦,使用大量資源和電力來運行人工智慧模型。

但是,為了獲得良好的結果,使用者通常需要一台具有強大處理能力的電腦。 特別是,需要一個非常快速的 GPU。

理論上,所謂的 AI PC 應該是讓用戶在自己的硬體上本地運行這些 genAI 模型,而無需將資料發送到中央處理中心。但目前的實際運作是,將最艱鉅的任務將發送到資料中心,而更簡單的任務,才可能在自己的電腦完成。

即使在具有精美 Copilot 鍵的「AI PC」上,Copilot 的工作方式也與其他 PC 上完全相同,所有工作都在微軟的資料中心進行。

AI PC 達成的可能性,要歸功於最近的硬體進步—具體來說,是在英特爾最新的 Meteor Lake 晶片和最近的 AMD 晶片中添加了「神經處理單元」(NPU)。

NPU 是專用的低功耗硬體,可以在本地運行 genAI 模型並加速 AI 處理。它們不會消耗太多電量,因此生成式 AI 任務即使使用電池電源也可以在背景運行。

在手機端,則由 Google 的 Tensor G3 晶片來做類似的事情。在 Pixel 手機上,該硬體無法提供在本地運行 Google 強大的 Bard AI 體驗的方法。 它運行一個名為 Gemini Nano 的較小模型。 同樣,它們不會很快在本地運行 Copilot 或 ChatGPT。

不過,儘管有硬體,使用者可以購買可以購買帶有 NPU 的「AI PC」,但並不會僅僅因為硬體已經到位,就發生任何變革。


相關貼文

prev icon
next icon