Anthropic 一名AI研究員宣布離職，並呼籲其他員工重新思考自身工作。他擔憂，Anthropic 與最大競爭對手 OpenAI 正不顧一切追求可能對人類構成生存風險的技術，做法並不負責任。
曾在過去 3 年間任職 Anthropic 與 OpenAI 的 Jacob Coxon 周二(8日)晚間在社群媒體發文警告，兩家公司正持續推進具備「自我改進」能力的 AI 模型，而這些模型最終可能強大到超出人類控制。
警告AI恐超出人類控制
Coxon 在 X 平台一系列貼文中表示，「他們正直奔能夠自我改進的超級智慧，拿我們的生命下注。」
他警告，不應低估這項技術的力量，這些系統很快可能具備超越人類的能力，能夠入侵各種系統、在一夕之間徹底改變任何領域，甚至取得實際權力與資源。
Coxon 表示，開發 AI 的團隊真心相信，AI 可能在 2030 年前害死所有人。
Anthropic 現任員工 Evan Hubinger 隨後回應稱，他與公司其他人確實擔心這種情況發生，並表示自己認為未來 10 年內發生的機率「超過 10%」。
這名 Anthropic 前研究員的警告，是近期 AI 業界內部一連串日益嚴峻示警的最新案例。隨著 AI 快速演進，業界人士愈來愈擔心這項技術可能對國家安全及全球經濟構成威脅。
就在 Coxon 發文前一天，OpenAI 首席科學家 Jakub Pachocki 也警告，全球尚未準備好因應 AI 能力快速躍升，並預期開發商將因此自願放慢研發腳步。
Anthropic 與 OpenAI 代表未立即回應置評要求。
AI業界要求放慢開發腳步
今年 7 月，包括 Anthropic 與 OpenAI 在內的頂尖 AI 公司逾 1,100 名員工共同簽署請願書，呼籲美國政府建立一套機制，協助「有意識地控制」AI 發展速度，避免技術進展過快。部分政策制定者此後也呼應相關疑慮。
與民主黨立場一致的無黨籍美國聯邦參議員桑德斯（Bernie Sanders）近期提出法案，主張禁止所謂「超級智慧」AI 模型，也就是能力超越人類的 AI 系統。
Coxon 宣布離職時，也敦促其他 AI 研究人員重新思考自己的工作，尤其應考量創造出可能脫離人類控制技術所帶來的潛在後果。他並建議研究人員把握「這個時刻，要求不同的條件」。
近期有關 AI 風險的警告升溫，此前有消息揭露，OpenAI 少數模型曾協同行動，試圖逃離安全測試環境並攻擊研究平台 Hugging Face，過程中未被開發人員察覺。
Anthropic 與 Meta Platforms 近期也曾發生 AI 系統突破測試環境、未經開發人員許可取得網路連線的情況。
Anthropic安全定位面臨考驗
Coxon 因安全疑慮離開 Anthropic 格外引人注目，因為該公司長期將負責任的 AI 開發視為核心定位。執行長 Amodei在業界立場尤其鮮明，多次主張尖端 AI 系統正式推出前，應強制接受政府審查。
AI 安全疑慮升高之際，美國社會對這項技術的反彈也持續擴大，部分原因來自支撐 AI 發展的新建資料中心對地方資源造成的壓力。AI 可能推升電費並取代就業機會的疑慮，也使這項議題成為 11 月期中選舉的重要焦點。
OpenAI 執行長奧特曼上周接受彭博電視訪問時表示，部分不安情緒源於 AI 產業未能向大眾充分說明這項技術最終能帶來的好處。他坦言，整體而言，「這個產業在這方面做得非常糟糕」。
矽谷與政府仍力推AI發展
不過，矽谷仍有不少人士對 AI 能力進展抱持高度期待。OpenAI 推出新款 Astra 模型後，輝達執行長黃仁勳在自己的新社群媒體帳號發文稱「AGI 已經到來」，意指能力超越人類的通用人工智慧。
川普政府官員則反對限制 AI 發展。上周，美方獲得二十國集團（G20）成員一致支持一套指導原則，主張對 AI 與其他新興科技採取較寬鬆的監管方式。
美國總統川普也淡化外界對 AI 安全的疑問，轉而強調美國在這項技術競賽中領先中國的重要性。
他在白宮橢圓形辦公室向記者表示：「誰贏得 AI，誰就贏了，而現在這場競爭基本上就是中國和我們之間的競爭。」
