NIST發布對抗式機器學習攻擊分類草案，示警MCP工具供應鏈風險

美國國家標準暨技術研究院（NIST）於11月9日發布對抗式機器學習（Adversarial Machine Learning，AML）攻擊分類草案NIST SP 2400-102e2026，整理預測式機器學習、生成式AI及代理式AI系統可能遭遇的攻擊，以及相應的防禦方式。

NIST在草案中指出，AI代理會根據工具供應者提供的文字說明，決定要使用哪些工具。攻擊者可能在惡意工具的說明中植入指令，誘使AI代理選用攻擊者提供的工具，甚至改變原本的執行計畫。NIST將這類手法稱為工具中毒（Tool Poisoning）。另一種rug pull攻擊則是攻擊者先將看似正常的MCP（Model Context Protocol）伺服器註冊至公開工具註冊庫，等使用者安裝後，再暗中修改伺服器提供的工具說明，誘使AI代理在未經使用者再次同意的情況下執行惡意操作。NIST引用的研究也發現，實際運作中的MCP伺服器存在這類攻擊風險，現有AI模型安全對齊機制仍不足以阻止透過合法工具介面傳遞的惡意行為。NIST建議以密碼學簽章及不可變更的版本識別碼驗證工具定義，並透過沙箱隔離工具的執行環境。

除了工具供應鏈，NIST也討論長期執行任務的AI代理可能遭遇的記憶中毒及指令漂移風險。攻擊者若將惡意內容植入代理的長期記憶，這些內容可能在後續任務中影響代理行為；另一方面，隨著工作資料持續累積，代理也可能逐漸降低對早期指令及限制的遵循程度，使攻擊者有機會透過多次互動改變其行為。若遭到中毒的是基礎模型或其適應層，單純重新啟動或還原系統可能無法清除惡意行為，甚至需要更換模型或重新訓練。這份草案目前開放公開徵詢意見至12月18日，NIST表示後續將依據對抗式機器學習攻擊及防禦技術的發展更新文件。