OpenAI將不再在連網環境下訓練頂尖AI模型

在接連AI代理人出現偏差（misalignment）行為後，OpenAI上周宣布，未來將採取離線策略，不再於連網環境下訓練頂尖AI模型，配合更嚴密的多層防護及紅隊演練，防堵AI再駭入或存取外部網站。

上周研究機構公布OpenAI模型行為監控系統存在漏洞的報告後，OpenAI方面除了修正漏洞外，新增的AI安全強化措施。

自家代理人先後被發現在模型訓練期間駭入Hugging Face後臺、從美國、澳洲政府網站擷取資料後，OpenAI啟動的安全強化措施，包括暫停模型強化學習（reinforcement learning, RL）訓練，並針對頂尖AI模型啟動紅隊演練；在這些演練中，一群頂尖AI模型代理人被要求找出使其能採取非授權行動，像是存取網際網路、逃脫安全界線、和其他代理人執行非授權通訊的漏洞和配置不當之處，以找出基礎架構的弱點。由於安全強化措施見效，OpenAI於10月1日恢復其頂尖AI模型的RL訓練及內部推論。

不過OpenAI代理人模型偏差行為仍不時出現，例如9月間一個代理人為了完成搜尋任務，利用沙箱中的DNS過濾不足漏洞，又逃出沙箱查詢公開聊天機器人服務。OpenAI說，雖然紅隊演練的確讓此類漏洞和配置不當愈來愈少，他們相信未來更強大的模型終究有辦法再次發現及濫用其環境漏洞而逃出沙箱。

OpenAI說，訓練和評估中，雖然存取網際網路幫助模型學習到有用技能，卻也會給強大、行為偏差的代理人影響其他外部系統的機會。因此該公司的最新方法是建立「離線世界」。這是一組經過索引和快取的網頁內容，模型可與之互動而又不會影響外部系統。OpenAI的尖端RL訓練都將使用這個離線互動模式。

除了持續以紅隊演練辨識可能的基礎架構漏洞防範代理人逃脫外，OpenAI也建構多層次構成的縱深防禦。包括沙箱隔離、輕量級虛擬機（microVMs）與容器技術、針對需要硬體加速器的任務則使用具備使用者空間沙箱（user-space sandboxing）機制的GPU支援容器。此外，為嚴格限制對外網流量以及系統之間的未授權移動，OpenAI也透過使用即時監控系統，並藉由防火牆、安全性群組（security groups）、身分與存取管理（IAM）以及私有網路（private networking）來強制執行邊界防堵。