據《晚點 LatePost》報導，中國擁有雲計算業務的互聯網巨頭們在今年春節後向 Nvidia 公司下了大量訂單。其中，字節公司訂購的 GPU 數量超過 10 億美元，包括 A100 和 H800 型號，已到貨和未到貨的都有。
而另一家互聯網巨頭向 Nvidia 下了一個總價值至少超過 10 億元人民幣的萬卡級別訂單。僅字節公司今年一個訂單的數量，就可能接近去年 Nvidia 在中國銷售的商用 GPU 總和。
據指出，字節、騰訊、阿里、百度這四家中國最注重人工智能和雲計算領域的科技公司，過去他們對 A100 型號的採購量累計已超過上萬塊。
相比海外巨頭，中國大科技公司採購 GPU 更為急迫。過去兩年的降本增效中，一些雲計算平台減少了 GPU 採購，儲備不足。此外，誰也不敢保證，今天能買的高性能 GPU，明天會不會就受到新的限制。
各公司爭搶大模型商機
中國企業過往對 GPU 的需求並不高，然而，2022 年初，ChatGPT 改變了所有人的看法，共識很快達成：大模型是不容錯過的大機會。
各公司創辦人親自關注大模型進展：字節跳動創始人張一鳴開始看人工智能論文；阿里巴巴董事局主席張勇接手阿里雲，在阿里雲峰會發布阿里大模型進展時稱，「所有行業、應用、軟體、服務，都值得基於大模型能力重做一遍」。
一名字節人士稱，過去在字節內部申請採購 GPU 時，要說明投入產出比、業務優先級和重要性。而現在大模型業務是公司戰略級別新業務，暫時算不清 ROI 也必須投入。
阿里在 4 月的雲峰會上，再次強調 MaaS（模型即服務）是未來雲計算趨勢，在開放自研的通用基礎模型 「通義千問」 測試之外，還發布了一係列幫助客戶在雲上訓練、使用大模型的工具。不久後騰訊和字節火山引擎也先後發布自己的新版訓練集群服務。騰訊稱用新一代集群訓練萬億參數的混元大模型，時間可被壓縮到 4 天；字節稱它們的新集群支持萬卡級大模型訓練，國內數十家做大模型的企業，多數已在使用火山引擎。
所有這些平台使用的如果不是 Nvidia A100、H100 GPU，就是去年禁令後 Nvidia 專門推出的減配版 A800、H800，這兩款處理器帶寬分別是原版的約 3/4 和約一半，避開了高性能 GPU 的管制標準。
新一輪下單競爭
圍繞 H800 和 A800，中國科技大公司開始了新一輪下單競爭。
一名雲廠商人士稱，字節、阿里等大公司主要是和 Nvidia 原廠直接談採購，代理商和二手市場難以滿足他們的龐大需求。
中國公司能否搶到卡，更多是看商業關係，比如以往是不是 Nvidia 的大客戶。「你是和中國 Nvidia 談，還是去美國找黃仁勳直接談，都有差別。」 一位雲廠商人士說。
部分公司也會和 Nvidia 進行 「業務合作」，在購買搶手的數據中心 GPU 時，也購買其它產品，以爭取優先供應。
據了解，字節、騰訊、阿里、百度這四家中國投入 AI 和雲計算最多的科技公司，過去 A100 的積累都達到上萬塊。其中字節的 A100 絕對數最多。不算今年的新增訂單，字節 A100 和前代產品 V100 總數接近 10 萬塊。
成長期公司中，商湯今年也宣稱，其 「AI 大裝置」 計算集群中已總共部署了 2.7 萬塊 GPU，其中有 1 萬塊 A100。連看似和 AI 不搭邊的量化投資公司幻方之前也購買了 1 萬塊 A100。
僅看總數，這些 GPU 供各公司訓練大模型似乎綽綽有餘—據 Nvidia 官網案例，OpenAI 訓練 1750 億參數的 GPT-3 時用了 1 萬塊 V100 ，訓練時長未公開；Nvidia 測算，如果用 A100 來訓練 GPT-3 ，需要 1024 塊 A100 訓練 1 個月，A100 相比 V100 有 4.3 倍性能提升。
但中國大公司過去採購的大量 GPU 要支撐現有業務，或放在雲計算平台上售賣，並不能自由地用於大模型開發和對外支持客戶的大模型需求。
Nvidia GPU 目前的不可替代性，源自大模型的訓練機制。現在只有 A100、H100 能提供預訓練所需的計算效率，它們看起來昂貴，反倒是最低廉的選擇。
