AI資料量暴增 輝達推動讓GPU直接讀取儲存裝置、速度逼近記憶體
輝達 (NVIDIA)(NVDA-US) 在本周登場的 Future of Memory and Storage（FMS）大會上，公布多項 AI 儲存技術進展。核心概念是讓 GPU 可以更直接地讀取儲存裝置中的資料，減少資料必須經過 CPU 處理的流程，使儲存設備的存取速度更接近記憶體。
AI 模型愈來愈大，不只需要更強的運算能力，也要讀取更多資料。尤其 AI 代理、長情境推論等應用快速發展，所需資料量已經超過一般系統記憶體可以負荷的範圍，讓儲存設備在 AI 基礎建設中的重要性大幅提升。
NVIDIA 指出，AI 下一階段的發展，不只取決於 GPU 算力，也要看儲存系統能不能快速、穩定且安全地把資料送到 GPU。若資料供應速度跟不上，即使擁有大量 GPU，也可能因等待資料而無法充分發揮效能。
隨著 AI 代理同時處理大量任務，GPU 可能一次發出數千筆儲存請求，對儲存系統形成龐大壓力。儲存設備除了要快速傳輸資料，還必須同步完成加密、壓縮、驗證及資料重建等工作，這些處理程序都可能成為 AI 系統的效能瓶頸。
為解決相關問題，NVIDIA 將加速運算技術導入儲存系統。根據 NVIDIA 公布的測試結果，搭載於 NVIDIA Vera BlueField-4 STX 平台的 Vera CPU，在同時進行資料壓縮與加密時，資料處理量最高可達傳統 x86 CPU 的 3.21 倍。
這代表儲存平台導入 Vera CPU 後，可以用更少的運算設備，處理更多 AI 資料，進而降低基礎建設成本，並提升整體資料傳輸效率。
過去，儲存裝置主要負責長期保存資料，真正需要運算時，系統通常會先把資料搬到速度較快、但容量較小且成本較高的記憶體。
不過，隨著 GPU、網路及儲存技術進步，這種分工模式正在改變。NVIDIA 希望讓儲存設備不再只是被動保存資料，而是直接參與 AI 資料處理流程。
也就是說，未來 AI 應用不一定要事先把大量資料全部搬進記憶體，而是可以在需要時，直接從儲存設備中高速讀取指定資料。如此一來，便能兼顧儲存容量、成本及存取速度。
NVIDIA 此次宣布，將開源 cuFile 應用程式介面（API），以及其底層的儲存軟體架構。cuFile 是 NVIDIA GPUDirect Storage 技術的軟體套件，主要功能是讓 GPU 可以直接讀取儲存設備中的資料，或直接將資料寫入儲存設備。
傳統架構下，儲存裝置中的資料通常要先經過 CPU 及系統記憶體，才能交由 GPU 處理。導入 cuFile 後，可以減少資料繞行 CPU 的過程，縮短傳輸路徑並降低 CPU 負擔。
透過 GPU 大量平行運算執行緒、高頻寬記憶體及相關軟體技術，cuFile 可讓系統在數微秒內存取儲存設備中的資料。
NVIDIA 表示，cuFile 開源後，不同儲存設備、軟體及硬體平台可以更容易整合，也能讓更多開發者參與改善相關技術，進一步建立統一且具互通性的 AI 儲存架構。
除了提升速度，cuFile 也把資安納入設計。快速存取資料對 AI 資安系統同樣重要，例如 AI 需要即時分析大量安全紀錄、威脅情報及系統資料，才能及早偵測攻擊或異常狀況。
cuFile 開放使用後，可望協助資安 AI 以更快速度取得所需資料，也能支援開放安全 AI 聯盟（Open Secure AI Alliance）等相關計畫。
未來相關 API 將透過新的開放平台提供，並接受社群共同開發，首批維護者包括 Google、Intel、NVIDIA 及 Meta。各家業者可針對不同軟硬體平台進行最佳化，降低 AI 儲存技術的導入門檻。
除了開源 cuFile，NVIDIA 也透過 Storage-Next 計畫，與儲存及記憶體產業業者共同開發下一代 AI 儲存技術。
Storage-Next 集結儲存設備製造商、控制器供應商、散熱及冷卻業者、資源調度管理業者，以及產業標準制定組織，希望共同定義由 GPU 驅動的儲存系統應如何運作，並將相關技術轉化為開放且可相互整合的產業標準。
目前已有超過 40 家儲存及快閃記憶體業者加入，包括 DDN、鎧俠（KIOXIA）及美光等，共同投入下一代 AI 儲存技術開發。
這項計畫的重點，是讓 GPU 更快速地從大型資料集中找出並讀取真正需要的資料，而不是把整份資料全部搬到 GPU 記憶體。
為達成上述目標，NVIDIA 推出 SCADA 框架，全名為「規模化加速資料存取」（scaled, accelerated data access）。
SCADA 可讓擁有大規模平行處理能力的 GPU，直接從儲存設備中讀取應用程式需要的特定資料，再將資料放進 GPU 的高速記憶體。
舉例來說，當 AI 模型只需要大型資料庫中的一小部分內容時，傳統系統可能必須讀取或搬移大量資料，造成頻寬及運算資源浪費。SCADA 則可以只抓取真正需要的部分，降低不必要的資料傳輸。
儲存設備業者 DDN 已計畫將 SCADA 整合至旗下 Infinia 平台。Infinia 是一套為 AI 工作負載打造的軟體定義資料平台，主要目標是降低大規模 AI 運算中的儲存瓶頸。
DDN 技術長 Sven Oehme 表示，企業 AI 能否成功，關鍵不只是擁有多少基礎建設，而是能否有效運用現有資源。DDN 與 NVIDIA 的合作，希望讓 GPU 與資料之間建立更直接且高效率的連結，減少 GPU 等待資料的時間，並提升企業 AI 投資效益。
打造 AI 原生資料平台
Storage-Next 與 SCADA 也將進一步結合 NVIDIA 既有的 AI 儲存基礎架構，包括 NVIDIA Vera BlueField-4 STX。
Vera BlueField-4 STX 是一套模組化機架級平台，整合 NVIDIA Vera Rubin 運算平台、Vera BlueField-4 儲存處理器，以及 Spectrum-X 乙太網路技術。
NVIDIA 將 STX 定位為新一代 AI 原生資料平台，可透過統一的 NVIDIA DOCA 安全軟體架構，在 AI 資料傳輸過程中持續執行存取權限及安全政策控管。
此外，NVIDIA 也以 STX 為基礎打造 CMX 情境記憶儲存平台，主要鎖定長情境、多輪對話及代理型 AI 推論。
所謂情境記憶，是讓 AI 能保存並快速取得過去的對話、工作紀錄或相關資料，避免每次執行任務時都必須重新處理全部內容。隨著 AI 代理執行的任務愈來愈複雜，這類儲存平台的重要性也將持續提升。
NVIDIA 指出，讓應用程式直接與儲存設備溝通，雖然可以大幅提升速度，但也可能帶來資安風險。若權限控管不當，某個應用程式可能讀取不該存取的資料，甚至覆寫其他程式使用中的記憶體，因此直接存取技術必須同時兼顧效能與安全性。
為此，SCADA 將系統分為兩個部分。第一部分是負責高速資料存取的應用程式端，第二部分則是擁有較高權限、專門負責安全設定及存取控管的獨立元件。
在系統啟動及設定階段，具權限的元件會先確認應用程式可以存取哪些儲存資源，並建立受到保護的資料通道。之後，應用程式便能在授權範圍內高速讀取資料，同時避免影響其他程式或資料。
相關安全機制依循標準 Linux 協定，目的在於不犧牲資料傳輸速度的情況下，降低未經授權存取或資料遭到破壞的風險。
整體而言，NVIDIA 此次公布的技術，是希望把儲存系統從 AI 基礎建設中的後端設備，提升為直接參與運算的關鍵環節。
透過 GPU 直接存取儲存設備、開源 cuFile、推出 SCADA 框架，以及與超過 40 家業者共同推動 Storage-Next，NVIDIA 希望降低 AI 系統的資料存取瓶頸，讓 GPU 取得資料的速度更快，同時兼顧規模、效率與安全性。