輝達 (NVDA-US) 執行長黃仁勳今 (7) 日宣布，推出全新世界基礎模型平台 Cosmos，加速開發實體 AI，其專為開發機器人與自駕車而打造，第一波開放模型現已提供給開發人員社群使用，全球實體 AI 領導廠商 1X、思靈機器人、Agility、Figure AI、Foretellix、Uber、Waabi、Wayve 和小鵬汽車都已採用。
黃仁勳強調，機器人的 ChatGPT 時刻即將到來。就像大型語言模型一樣，世界基礎模型是推動機器人和自駕車發展的基礎，卻又不是所有開發人員都擁有專業知識和資源來訓練自己的模型，輝達創造 Cosmos 是為了普及實體 AI，讓每一位開發人員都能掌握一般機器人技術。
輝達指出，Cosmos 平台包含最先進的生成世界基礎模型、先進的標記器、防護機制和加速視頻處理管道，用於推動自駕車和機器人等實體 AI 系統發展。
輝達強調，實體 AI 模型開發成本高昂，需要大量的真實世界資料和測試。Cosmos 世界基礎模型 (WFM) 讓開發人員能夠方便產生大量逼真又符合物理原則的合成資料，以訓練和評估其現有模型。開發人員也可以微調 Cosmos WFM 來自訂模型。
輝達此次將以開放模型授權的方式提供 Cosmos 模型，以加速推動機器人及自駕車社群的發展。開發人員可以在 NVIDIA API 目錄上預覽第一批模型，或是從 NVIDIA NGC 目錄或 Hugging Face 下載模型系列和微調框架。
各大機器人與汽車公司，包括 1X、思靈機器人 (Agile Robots)、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi、小鵬汽車 (XPENG)，以及乘車服務巨擘 Uber，都是首批採用 Cosmos 模型的公司。
輝達 Cosmos 的開放模型套件代表開發人員可以視自己目標應用的需求，使用資料集自訂 WFM，例如自駕車的行車錄影畫面或是機器人穿梭在倉庫裡。
Cosmos WFM 專為實體 AI 研發工作而生，可從文字、影像、視訊等輸入資料，以及機器人感測器或動作資料的組合，產生符合物理原則的影片。專為符合物理原則的互動、物件持久性，以及生成高品質模擬工業環境 (如倉庫或工廠) 和駕駛環境 (包括各種路況) 而建立這些模型。
黃仁勳也展示實體 AI 開發人員使用 Cosmos 模型的方式，包括視訊搜尋與理解，讓開發人員能夠輕易從視訊資料中找到特定的訓練情境，例如下雪天的路況或倉庫擁塞情況。
輝達補充，建立實體 AI 模型需要 PB 等級的海量視訊資料，以及數萬小時的運算時間來處理、整理和標記這些資料。為了協助省下資料整理、訓練與模型客製化的龐大成本，Cosmos 具有眾多功能。
首先，輝達 NeMo Curator 支援的 NVIDIA AI 與 CUDA 加速資料處理管道，能夠讓開發人員使用 NVIDIA Blackwell 平台在 14 天內處理、整理和標記 2,000 萬個小時的視訊內容，而單獨使用 CPU 的話，得要花上 3 年以上。
其次，先進的視覺標記器 NVIDIA Cosmos Tokenizer 可以將影像和視訊內容轉換為標記。與當今領先的標記器相比，它的總壓縮率提高了 8 倍，處理速度加快了 12 倍。
最後，NVIDIA NeMo 架構可進行高效率的模型訓練、客製化與最佳化，全球最大的實體 AI 業者都已採用 Cosmos，AI 及人型機器人公司 1X 使用 Cosmos Tokenizer 推出 1X World Model Challenge 資料集。小鵬汽車將使用 Cosmos 加速開發自家的人型機器人。而 Hillbot 和 SkildAI 則是使用 Cosmos 來快速開發自家的通用機器人。
Agility 技術長 Pras Velagapudi 表示，資料稀少和多變是機器人環境中成功學習的主要難題。Cosmos 的文字轉世界、影像轉世界和視頻轉世界的功能，讓我們能夠在各種任務中產生和增強那些栩栩如生的場景，我們可以利用這些場景來訓練模型，不用花費大量時間心力去取得實體世界的資訊。
交通運輸業的領導業者同樣使用 Cosmos 為自駕車建立實體 AI，Waabi 是一家為實體世界開創生成式 AI 的公司，將使用 Cosmos 搜索和整理視頻資料，用於開發和模擬自駕車。
Wayve 是一家開發自動駕駛 AI 基礎模型的公司，正在評估將 Cosmos 作為搜索用於安全性和驗證之邊緣和極端行車情況的工具。提供自駕車工具鏈的 Foretellix 將使用 Cosmos 與 NVIDIA Omniverse Sensor RTX API，以評估和產生大量真實感十足的測試場景和訓練資料。
全球乘車服務巨擘 Uber 也與輝達合作，加速推動發展自動駕駛移動技術。Uber 提供豐富的駕駛資料集，結合 Cosmos 平台與 NVIDIA DGX Cloud 的功能，將協助自駕車合作夥伴更有效率地建立更強大的 AI 模型。
Uber 執行長 Dara Khosrowshahi 表示，生成式 AI 將用於支援未來的交通運輸服務，這需要豐富的資料和非常強大的運算能力。雙方合作有信心能協助推動業界發展出安全且具擴充性的自動駕駛解決方案時間表。
NVIDIA Cosmos 遵守 NVIDIA 首重隱私性、安全、保障、公開透明度以及減少不必要偏見的值得信賴 AI 原則來開發。
在促進開發者社群創新及維護使用者信任方面，值得信賴的 AI 扮演著重要角色。NVIDIA 致力於落實安全且值得信賴的 AI，配合美國白宮的自願性 AI 承諾及其他全球 AI 安全措施。
開放的 Cosmos 平台包含專為減緩有害文字與影像而設計的防護機制，具備加強文字提示準確性的工具。在 NVIDIA API 目錄上使用 Cosmos 自回歸和擴散模型產生的影片會有一個隱形浮水印，用於辨識 AI 產生的內容，有助於減少錯誤資訊和張冠李戴的機會。
NVIDIA 鼓勵開發人員採用值得信賴的 AI 做法，進一步強化應用程式的防護與浮水印解決方案。
