根據紅杉資本的最新報告，AI 產業的年產值已超過 6000 億美元，足以支撐數據中心及加速 GPU 卡等 AI 基礎設施的開支。隨著基於 A100 GPU 系列的 GPT-3.5 與 ChatGPT 的推出，AI 競賽自 2022 年 11 月 30 日以來迅速升溫，市場對高效能 GPU 的需求激增。
然而，基礎模型訓練的資本支出被廣泛認為是 「歷史上貶值最快的資產」，而關於 GPU 基礎設施支出的評估尚未明確，市場競爭依然激烈。
以 OpenAI 為首的大型模型公司，其訓練與推理支出已超過收入。OpenAI 最近在有史以來最大的風險投資輪中籌集了 66 億美元，並預計到 2026 年將面臨高達 140 億美元的虧損。與此同時，輝達的新一代 Blackwell 系列晶片已交付給 OpenAI，並表示未來一年的產品已售罄，輝達 (NVDA-US) 執行長黃仁勳稱這可能是行業歷史上最成功的產品之一。
在 AI 基礎設施層面，數十億美元的投資究竟是促進行業繁榮還是形成泡沫，成為市場熱議的話題。
OneFlow 市場分析師 Eugene Cheah 深入研究了 H100 SXM GPU 的投資回報率（ROI），指出由於預留計算資源的轉售、開放模型的微調以及基礎模型公司的減少，市場上的 H100 算力已經供過於求。H100 的租賃價格從去年的每小時 8 美元降至如今的低於 2 美元，顯示出市場的劇烈波動。
Cheah 建議用戶在需要時租用算力，而不是進行高額購買。對於按需租賃的 ROI，當租賃價格在 2.85 美元 / 小時以上時，投資者的內部收益率（IRR）仍可保持在合理範圍內。然而，若價格降至 1.65 美元 / 小時以下，則作為基礎設施提供商的虧損風險將大幅上升。
在長期租賃方面，許多基礎設施提供商曾在高峰期以每小時 4 美元的價格簽訂合同，如今卻面臨市場價格的急劇下跌。隨著開放權重模型的興起，企業逐漸轉向微調現有模型而非從零開始訓練，這一轉變進一步減少了對 H100 的需求。
當前 H100 的價值鏈清晰可見，從硬體供應商到數據中心基礎設施提供商，再到風險投資基金和算力轉售商，各個環節相互交織，形成了複雜的市場生態。市場的變化引發了對未來 AI 基礎設施投資的深思，Cheah 警告稱，當前的 H100 硬體支出可能會導致虧損，投資者應考慮將資金分散到其他領域或股票市場，以獲取更好的回報。
當前 GPU 市場的劇烈波動預示著 AI 基礎設施投資的複雜性，投資者需謹慎評估風險與機會，以應對未來可能出現的市場挑戰。隨著市場趨勢的變化，如何在這個充滿不確定性的環境中做出明智的投資決策，將成為未來的重要課題。
歸納 H100 租賃價格大跌 (降至 2 美元 / 小時) 之主要因素：
1. 供需失衡：
隨著 AI 技術的快速發展，對高效能 GPU 的需求在 2022 年和 2023 年達到高峰，尤其是在大型模型的訓練和推理上。然而，隨著市場逐漸飽和，供應商開始面臨供過於求的情況，導致價格下滑。
2. 競爭加劇：
市場上有越來越多的公司進入 GPU 租賃市場，尤其是一些小型和中型企業，它們提供更具競爭力的價格和服務，進一步壓低了租賃價格。
開放模型的興起：
開放權重模型的出現使得企業能夠使用現有的模型進行微調，而不必從頭開始訓練，這降低了對新硬體的需求，進一步影響了 H100 的租賃需求。
投資回報率下降：
H100 SXM GPU 的投資回報率（ROI）受到市場價格波動的影響，當租賃價格降至某一水平以下，投資者將無法獲得合理的回報，進而選擇減少租賃或購買。
3. 技術更新與替代品：
隨著輝達推出新一代的 Blackwell 系列晶片，市場對 H100 的需求可能會受到影響，因為新技術可能提供更好的性能和成本效益。
4. 經濟環境影響：
全球經濟環境的不確定性，包括通貨膨脹和利率上升，導致企業在資本支出上更加謹慎，從而減少了對高價 GPU 的需求。
這些因素共同推動 H100 租賃價格從去年的每小時 8 美元驟降至如今的 2 美元，顯示出市場的劇烈波動與不穩定性。
