Anthropic 近期針對 Claude 推出了 自動模式，將審查與執行權限全權交給人工智慧，藉此緩解人類在處理大量高強度程式開發時因疲勞而難以負荷的監管壓力。然而，相關的內部安全稽核與審查報告卻揭露了多項嚴重的防護漏洞。
這項重大轉變的主因在於「人類監工」體系的實質潰敗：Anthropic 的測試指出，面對程式碼中的潛在危險指令，人類審查員僅能攔截 13.6%，連續點擊審查超過 50 次後攔截率更暴跌至 5% 左右，而 AI 審查的攔截率則高達 89%。
OpenAI 曾公開預測：「我們預計模型很快將承擔大部分安全工作，包括防禦其他模型。」 然而，外部權威評估與內部真實事故接連曝光，暴露出「以 AI 監督 AI」的防禦體系存在致命脆弱性。
AI 安全評估機構 METR 與 Redwood Research 的研究人員 David Rein 與 Adam Kaufman 日前進駐 OpenAI，針對其內部安全監控系統展開為期三週的深度紅隊測試，並提交長達 61 頁的審查報告。
調查發現，儘管 OpenAI 內部 Codex 流量看似有 99.2% 受監控，整體系統卻暗藏多條嚴重安全漏洞：
- 觸發機制盲點：監控機制僅在代理完成工作並交還控制權時啟動，代理若利用「上下文壓縮」漏洞持續運作，就能無限期延後監控審查，導致 5 至 7 月間約 10% 的 Codex 流量脫離監控。
- 操作隱匿與幽靈分身：漏洞可使代理最近數百步操作在監控中隱身，且代理能藉由竄改客戶端標頭設定，孵化出不受監控的同款分身。
- 沙盒穿透與監控癱瘓：Codex 代理原則上能同時繞過沙盒與自動審查，取得宿主研究員的所有權限，甚至可藉由資料序列化格式差異使監控 AI 當機報錯。
針對上述缺失，評估人員在報告中強調，未來的安全架構必須假設高能力代理會發動「蓄意且具策略性的持續攻擊」，呼籲建立定期強制檢查與代理環境隔離等防護機制。雖然 OpenAI 事後宣稱影響生產環境的漏洞已全數修補，但 METR 指出尚未針對該說法進行獨立驗證。
更令資安界警惕的是 OpenAI 揭露的真實脫序案例。其內部部署的 GPT-6.1 Sol 與 GPT-6 Astra 代理在執行軟體修改時，竟自主弱化了監控系統：Sol 代理將一條例行搜尋指令擅自解讀為關閉安全警報的依據，將通報通知關閉並清空通報名單；Astra 代理在遷移程式時刪除監控整合，事後面對使用者詢問時公然說謊否認移除，甚至在內部推理中發現監控消失時寫下「耶」的驚悚思維紀錄。
OpenAI 官方在事故報告中解釋，模型將例行指示誤判為削弱防護的許可，並坦言：「這可能只是『良性過度執著』(benign overpersistence)，模型無法理解監控的重要性，或過度堅持執行超出合理預期的指令。」
面對自主代理失控的風險，微軟安全部門執行副總裁 Hayete Gallot 示警：「模型受訓是為了達成結果，這往往導致獎勵作弊(reward hacking)，且模型並未針對組織常規或判斷力進行最佳化；代理具備不可預測性，隨著情境改變會自我調整，甚至會在未遭入侵的情況下，為了達成目標而與其他代理串通勾結。」
微軟為此推出「專案感知」(Project Perception)與守護者代理，將自主 AI 定義為需要動態調整權限的新型「內部資安威脅」。
