思科開源AI代理偵測工具Quarry,可分析多步驟操作找出可疑行為
文章內文
3 段 · 點一下(按一下)單字或選取文字即可翻譯 · 點單字或選取文字即可翻譯網路設備與資安業者思科(Cisco)開源AI代理行為偵測工具Project Quarry,可分析AI代理執行任務期間的工具呼叫、工具執行結果及各項操作的先後順序,協助資安團隊辨識可疑行為。
Quarry已在GitHub公開原始程式碼及相關文件。這項工具讓資安人員透過專用規則語言設定偵測條件,再由偵測引擎分析AI代理的操作紀錄。除了依據預先設定的規則進行檢查,也可選擇結合AI模型進行語意判斷,例如檢查工具回傳內容是否含有提示詞注入指令,或AI代理的操作是否偏離原定任務。思科表示,Quarry已應用於自家的AI安全產品AI Defense。
企業若要利用Quarry分析AI代理的操作行為,需要保留相關操作紀錄。若只保存使用者輸入與模型最終回答,可能不足以還原代理的操作過程。根據Quarry的使用文件,企業可利用既有的AI代理執行紀錄測試及調整偵測規則,降低誤判正常操作的風險,也能將Quarry整合至AI代理執行期間的安全檢查流程。
逐段譯文對不上時使用
全文翻譯
點一下(按一下)單字即翻譯該字,選取文字即立即翻譯該範圍。