多家外媒報導，Anthropic對齊科學 (Alignment Science Lead) 主管 Evan Hubinger 警告，未來10年內，人工智慧 (AI) 導致全人類滅亡的機率超過10%。這項說法看似極端，卻反映AI研究圈長期存在的憂慮：隨著模型能力快速提升，業界是否仍有能力確保AI受到人類控制？
這場討論源自Anthropic研究員Jacob Coxon週二宣布辭職。
曾任職OpenAI的Coxon批評，Anthropic與OpenAI在缺乏充分安全保障的情況下，持續競逐可自我改進的超級智慧，形同「拿所有人的生命豪賭」。
Coxon表示，參與AI研發的人員確實相信，這項技術可能在本世紀末前導致全人類滅亡。
他警告，未來AI系統可能具備超越人類的能力，不僅能突破各類資訊系統、迅速改變不同產業，也可能取得實際權力與資源。
Hubinger隨後公開認同Coxon的警告，並提出「逾10%」的風險評估。
他坦言，Anthropic雖然正努力降低風險，但目前仍沒有解決超級智慧對齊問題的完整方案，也不確定相關研究是否走在正確軌道上。
所謂「對齊」，是指確保AI系統依照人類的價值、目標與意圖行動。研究人員尤其關注「遞迴式自我改進」，也就是AI在缺乏人類直接介入的情況下，自行設計能力更強的後繼系統。
這項能力目前尚未實現，但Anthropic先前已警告，一旦AI能夠全面建構下一代系統，如何保護、監控及約束這些系統將變得更加重要，人類失去控制的風險也可能隨之升高。
OpenAI首席科學家Jakub Pachocki日前也指出，目前沒有任何AI公司已充分解決對齊及監控問題，足以在未來長時間內繼續以最快速度擴大模型規模。
他呼籲業界在建立共同安全標準前自願放慢腳步，並將國際協調列為各國政府的優先政策。
Coxon則將OpenAI模型今年7月失控並入侵開源開發平台Hugging Face的事件形容為「警訊」。
他認為，這類事件可能提高美國AI實驗室協調合作的意願，但全球AI競賽仍難以避免，未來甚至可能需要暫時禁止提升模型能力。
AI可能引發災難性後果的疑慮並非首次出現。
2023年，包括OpenAI執行長奧特曼與Anthropic執行長Dario Amodei在內的科技業主管及研究人員曾共同發表聲明，主張降低AI造成滅絕的風險，應與疫情及核戰等全球性威脅並列為優先事項。
美國國會也開始研議監管措施。跨黨派眾議員今年7月提出《FRONTIER法案》，試圖建立先進AI模型的部署治理架構。
參議員桑德斯等人本月另提出《禁止人工超級智慧法案》，主張在聯邦政府制定安全規範前，暫停先進AI開發，但相關方案仍未形成共識。
