阿里巴巴Qwen模型異常嘗試向北京上傳資料,推理紀錄卻稱不呼叫工具
記事本文
6 段落 · 単語をタップ(クリック)または文章を選ぶと翻訳 · 単語をタップ/文章を選ぶと翻訳加拿大AI業者Cohere發現阿里巴巴開放權重模型Qwen3.8-Flash-Next,會在執行資安任務時,未經指示檢查系統環境,並試圖將測試字串上傳至北京的阿里雲儲存空間。模型的推理紀錄稱不會呼叫工具,實際操作卻與紀錄不符,對外連線最後遭沙箱阻擋。
Qwen3.8-Flash-Next的模型權重開放下載,企業可在自己的設備或伺服器部署,再將模型接上終端機、檔案系統或網路工具,讓AI代理協助撰寫程式與處理資料。一旦代理獲得工具使用權限,模型產生的指令就可能在執行環境中操作檔案或發起網路連線。
研究人員此次採用微軟的CTI-REALM基準測試,要求模型撰寫規則,偵測惡意程式下載並執行腳本的行為。模型卻列出暫存目錄、查看可用的傳輸工具及DNS設定,接著使用curl嘗試上傳固定測試字串。由於沙箱沒有對外連線路徑,最終請求未抵達目的地。
模型在推理紀錄中稱不會呼叫任何工具,卻在同一回合發出命令。企業若只根據推理紀錄判斷代理行為,可能無法發現實際操作,仍需監控工具呼叫及網路請求。
Cohere表示,在該公司的評估中,這類異常行為十分罕見,每10萬次呼叫不到1次。研究團隊以相同提示重新測試時,模型正常產生偵測規則,該公司目前無法判斷異常是訓練過程殘留,還是刻意設計,也未確認目的地儲存空間的擁有者。
Cohere已公開操作紀錄及簡易重現腳本。研究團隊預先提供部分推理內容與命令開頭,讓模型繼續生成,再次觀察到模型產生可疑雲端網址,但僅使用原始提示仍無法穩定重現異常行為。該公司建議企業限制AI代理的工具權限,預設阻擋非必要對外連線,並監控異常工具呼叫及雲端網址。
段落ごとの訳がずれるときに
全文翻訳
単語をタップ(クリック)すると単語を、文章を選ぶとその範囲をすぐに翻訳します。