隨著代理式AI (Agentic AI)逐步成為手機端AI發展重心，高通(QCOM-US)也重新調整行動晶片架構，新一代頂級行動平台將以全新Qualcomm Hexagon NPU為核心，不僅導入專為Transformer工作負載打造的Element Accelerator，NPU共享記憶體容量更大幅增加50%，藉此降低外部記憶體存取需求，支援更長上下文、多模型協作及並行AI代理運作。
高通指出，代理式AI與過去生成式AI最大的差異，在於未來並非由單一大型模型處理所有任務，而是會依照任務、情境及使用者需求，動態調度不同的專用模型。因此，手機端AI所需要的也不只是更高的推論效能，而是能夠支援持續運作、多模態處理、低延遲及模型協同調度的全新運算架構。
此次新一代Hexagon NPU最大的架構升級之一，就是擴充共享記憶體容量。高通表示，NPU記憶體子系統容量增加50%，讓更多模型狀態、啟用值及中間張量能保留在晶片本地端，減少頻繁存取DDR記憶體的需求，進一步降低記憶體頻寬瓶頸及功耗。
高通指出，隨著AI代理需要處理更長的上下文、更多工具及多項並行任務，記憶體存取效率的重要性持續提升。透過更大的共享記憶體，可讓AI代理以更短等待時間完成回答、修正、規劃與執行動作，同時提升token生成速度，並讓AI代理在不同工具及任務之間切換時更加流暢。
除記憶體架構升級外，高通也在Hexagon NPU中導入全新Element Accelerator，專門加速生成式AI及代理式AI大量採用的Transformer工作負載，並結合向量、矩陣及純量擴充功能，提升大型模型推論及AI代理決策、路由與協同調度效率。
高通同時將混合專家模型（Mixture-of-Experts，MoE）視為未來手機端大型AI模型的重要架構。高通指出，一個擁有300億參數的MoE模型，可保有數百億個參數，但每次生成token時，僅需啟用約30億個經路由選擇的參數。
相較於傳統Dense模型每次推論都需要動用大部分模型參數，MoE可根據輸入內容動態選擇不同專家模型，藉此降低運算量及記憶體頻寬需求，讓更大型的AI模型有機會在手機端運作。
為進一步降低記憶體壓力，高通也導入從快閃記憶體至系統記憶體的專家模型管理及快取機制，可依照實際需求載入不同模型，搭配更大的NPU共享記憶體，提升模型切換效率。
在AI模型精度方面，新一代Hexagon NPU支援INT2、INT4、INT8、FP8及FP16等多種格式，讓開發者可依照效能、記憶體占用、模型品質及功耗需求進行調整。
其中，針對INT4模型，高通表示，新平台可帶來最高50%的預填（Prefill）效能提升，同時改善解碼吞吐量、推測解碼（Speculative Decoding）及整體每秒token數，進一步縮短AI模型處理長篇輸入資料及產生回應所需時間。
高通也強調，在代理式AI架構下，CPU與NPU的協同運作將更加重要。Hexagon NPU主要負責Transformer及AI推論運算，CPU則負責多步驟工作流程中的路由、協同調度及資料管理，確保資料能即時提供給NPU使用。
高通認為，未來行動AI將逐步從單一模型推論，轉向多模型、多代理及持續運作的架構，而新一代Hexagon NPU透過Element Accelerator、更大的共享記憶體、MoE模型支援以及低精度運算能力，目的就是讓更多代理式AI功能直接在裝置端完成，在降低延遲及功耗的同時，也兼顧資料隱私。
