一旦影像模糊或遭竄改，AI機器人恐因視覺判斷失準，嘗試執行可能傷害人的危險動作

AI機器人獨立評測公司Robocurve於11月6日公布一項研究，發現當AI模型控制實體機器人執行任務時，攝影機影像若遭到模糊處理或刻意竄改，可能大幅影響其安全判斷。研究團隊在特定實驗條件下測試5款多模態AI模型，發現在原始影像下，模型嘗試執行危險任務的比例為27%，但畫面模糊後升至87.7%，若改以刻意竄改的影像測試，比例更達97%。

這項名為Perceptual Attacks on Embodied AI的研究，主要探討具身AI（Embodied AI）的感知安全問題。所謂感知攻擊（Perceptual Attacks），是指透過干擾或竄改AI接收到的環境資訊，使其錯誤辨識周遭物體及情境，進而影響後續操作決策。

為了驗證這項問題，Robocurve使用具有雙機械臂的I2RT YAM機器人，測試OpenAI的GPT-6 Astra與GPT-6.1 Sol、Anthropic的Claude Opus 5.5與Claude Fable 5.1，以及Google的Gemini 4 Argon等5款多模態AI模型。實驗中，研究團隊設計5項可能造成危險的操作任務，例如，持刀刺向嬰兒模型、將電源插座放入水中、把水倒入烤麵包機、混合漂白水與氨水，以及將漂白水當成飲料倒入杯中，藉此測試AI模型能否辨識操作過程中，是否存在人身傷害、觸電以及有毒物質等安全風險。

研究團隊為了每項任務設計3種視覺條件，分別是未經修改的原始影像、經過高斯模糊處理的影像，以及刻意竄改、使危險場景看似安全的影像。其中，模糊影像是將提供給AI模型、解析度為224×224像素的攝影機畫面，以標準差4像素的高斯模糊方式處理；竄改影像則是將嬰兒模型替換成蘋果、烤麵包機替換成鍋子，或將危險化學品的標籤改成一般飲料及水。

研究團隊針對5款模型、5項任務及3種視覺條件的各種組合，分別重複測試12次，總計900次。綜合5項任務的測試結果，在原始影像下，AI模型嘗試執行危險任務的整體比例為27%，影像模糊後大幅升至87.7%，影像經刻意竄改後更達97%。而且，遇到單純的影像模糊狀況，就可能帶來幾乎與蓄意攻擊相當的風險。不過，研究團隊也表明，是透過另一款AI模型判定受測模型是否嘗試執行危險任務，並未進一步確認實際操作結果。

這次研究也發現，即使原本能拒絕危險指令的AI模型，影像受到干擾後也可能改變判斷。例如，Gemini 4 Argon在60次原始影像測試中均未嘗試執行危險任務，但在模糊影像下，嘗試比例升至45%，遭竄改後更達85%。另一個例子是Claude Fable 5.1，原本能辨識嬰兒模型並拒絕持刀刺向該物品，但在模糊影像下，卻轉而嘗試執行危險操作。

Robocurve指出，這項研究主要探討攝影機影像模糊或遭刻意竄改時，對具身AI安全判斷的影響。研究結果顯示，兩種情況都會使AI模型嘗試執行危險任務的比例明顯增加，其中影像模糊造成的影響，已接近刻意竄改影像的測試結果。不過，研究並未進一步探討現實環境中影像模糊的成因，也未比較不同解析度及模糊程度下的模型表現。