輝達與VMware擴大合作 新平台2024年初上市

輝達 (NVDA-US) 與 VMware(VMW-US)今 (22) 日宣布擴大策略合作夥伴關係，推出 VMware Private AI Foundation with NVIDIA，用自家軟硬體在 VMware 雲端基礎設施上運行，估計可讓數十萬家企業運行生成式 AI，新平台預計 2024 年初上市。

雙方表示，VMware Private AI Foundation with NVIDIA 讓企業可自定義模型並運行生成式 AI 應用程式，包括智慧聊天機器人、助理、搜尋和摘要生成等，此平台主要由輝達提供生成式 AI 軟體和加速運算，建立在 VMware Cloud Foundation 上，並針對 AI 進行最佳化。

VMware 執行長 Raghu Raghuram 表示，生成式 AI 和多雲環境是完美的結合。客戶資料無處不在，存在他們的資料中心、邊緣設備和雲端中。與輝達合作將使企業能夠放心地在其資料附近運行生成式 AI 工作負載，同時解決企業對資料隱私、安全和可控性的擔憂。

輝達創辦人暨執行長黃仁勳指出，世界各地的企業都在競相將生成式 AI 與其業務整合，公司與 VMware 擴大合作將為金融服務、醫療保健、製造等領域數十萬客戶，提供他們所需的全端軟體和運算，以使用透過自有資料構建的自定義應用程式來釋放生成式 AI 的潛力。

雙方補充，企業為更快地獲得業務效益，正尋求簡化生成式 AI 應用的開發、測試和部署流程。麥肯錫估計，生成式 AI 每年可能為全球經濟增加多達 4.4 兆美元的價值。

VMware Private AI Foundation with NVIDIA 將使企業能夠利用這種能力，定制大型語言模型，為其內部使用生成更安全和私有的模型，向其使用者提供生成式人工智慧服務，並且更安全地大規模運行推論工作負載。

雙方新平台將整合 AI 工具，使企業能夠以具成本效益的方式運行在其私有資料上訓練的經過驗證的模型，透過將資料建立在 VMware Cloud Foundation 和輝達的 AI Enterprise 軟體上，預期產生八大效益。

第一為隱私，使客戶在擁有資料的任何地方輕鬆運行 AI 服務，並採用保護資料隱私和安全訪問的架構；第二則是企業可在建立和運行其模型的地點有廣泛的選擇 ，從 NVIDIA NeMo 到 Llama 2 及更高版本，包括領先的 OEM 硬體配置，未來還可能涵蓋公有雲和服務供應商的方案。

第三為效能，正如最近產業基準測試所證明的，在某些使用案例中，在輝達加速基礎設施上運行將提供等於甚至超過裸機的效能；第四為資料中心規模，透過虛擬化環境中的 GPU 擴展優化，可讓 AI 工作負載在單一虛擬機器中擴充至 16 個 vGPU/GPU，並跨越多個節點以加速生成式 AI 模型的微調與部署。

第五為降低成本，將最大程度地利用跨 GPU、DPU 和 CPU 的所有運算資源，降低整體成本，並建立一個可在團隊之間有效共享的資源池環境，第六為加速儲存，看好 VMware vSAN Express 儲存架構 (ESA) 將提供性能優化的 NVMe 儲存，並支援基於 RDMA 的 GPUDirect 儲存，允許從儲存直接 I/O 傳輸到 GPU，無需 CPU 參與。

第七則為加速網路，藉由 vSphere 與 NVIDIA NVSwitch 技術深度整合，進一步實現多 GPU 模型的執行，而不會有 GPU 之間的瓶頸問題，最後則可滿足快速部署和價值，vSphere 深度學習 VM 鏡像和影像庫透過提供穩定的一站式解決方案影像 (包括預安裝的框架和效能最佳化庫)，支援快速原型製作功能。