時間延遲、成本高昂 據稱OpenAI的GPT-5開發進度落後

根據華爾街日報與 The Information 的報導，OpenAI 的 GPT-5 開發進度落後預期，成本過高且效能提升幅度不如預期。

報導稱，儘管已完成至少兩次大型訓練，GPT-5 表現優於前代模型，但其進展未能充分彌補龐大的營運成本。OpenAI 為提升模型效能，採用了多種數據來源，包括委託人員創作數據和運用自家模型 o1 生成的合成數據。

GPT-5 面臨的主要挑戰包括巨額成本和數據短缺。 分析師預測，科技巨頭未來幾年可能在人工智慧項目上投入 1 兆美元。 GPT-5 一次為期 6 個月的訓練僅計算成本就高達約 5 億美元，OpenAI 執行長 Sam Altman 表示，未來 AI 模型的成本預計將超過 10 億美元。 

數據短缺成為 GPT-5 開發的主要瓶頸。公共網際網路上的新聞文章、社群媒體貼文、科學論文等數據已不足以滿足需求。為了讓 Orion 變得更聰明，需要更多高品質、多樣化的數據。 DatologyAI 執行長 Ari Morcos 指出，找到更多同等高質量的數據變得非常昂貴且困難。

為了解決數據短缺問題，OpenAI 採取了以下措施：

• 雇用專業人士（如軟體工程師和數學家）編寫新程式碼或解決數學問題，以作為訓練數據。
• 與理論物理學等領域的專家合作，解釋他們將如何處理該領域最棘手問題。
• 開發「合成數據」，利用 AI 生成的數據來訓練 Orion，並認為可以透過使用其另一個 AI 模型 o1 生成的數據來避免故障。

然而，這些新策略也面臨挑戰。 例如，蘋果公司研究人員發現，包括 OpenAI 的 o1 在內的推理模型很可能只是在模仿訓練數據，而非真正解決新問題。 此外，o1 生成多個答案的方法也大大增加了經營成本。

由於 Orion 停滯不前，OpenAI 也開始開發其他項目和應用程式，包括精簡版的 GPT-4 和可以製作 AI 生成影片的 Sora。 但知情人士表示，這導致開發新產品的團隊和 Orion 研究人員之間需要爭奪有限的計算資源。

OpenAI 尚未對此做出回應，Altman 在 11 月表示，「2024 年內不會發佈任何名為 GPT-5 的產品」。 然而，他在週五宣布了一個比以往任何產品都更聰明的新推理模型計畫，但未透露何時或是否會推出堪稱 GPT-5 的模型。