思科開源AI代理偵測工具Quarry,可分析多步驟操作找出可疑行為
기사 본문
3개 단락 · 단어를 탭(클릭)하거나 문장을 선택하면 번역 · 단어 탭/문장 선택으로 번역網路設備與資安業者思科(Cisco)開源AI代理行為偵測工具Project Quarry,可分析AI代理執行任務期間的工具呼叫、工具執行結果及各項操作的先後順序,協助資安團隊辨識可疑行為。
Quarry已在GitHub公開原始程式碼及相關文件。這項工具讓資安人員透過專用規則語言設定偵測條件,再由偵測引擎分析AI代理的操作紀錄。除了依據預先設定的規則進行檢查,也可選擇結合AI模型進行語意判斷,例如檢查工具回傳內容是否含有提示詞注入指令,或AI代理的操作是否偏離原定任務。思科表示,Quarry已應用於自家的AI安全產品AI Defense。
企業若要利用Quarry分析AI代理的操作行為,需要保留相關操作紀錄。若只保存使用者輸入與模型最終回答,可能不足以還原代理的操作過程。根據Quarry的使用文件,企業可利用既有的AI代理執行紀錄測試及調整偵測規則,降低誤判正常操作的風險,也能將Quarry整合至AI代理執行期間的安全檢查流程。
단락별 번역이 어긋날 때
전문 번역
단어를 탭(클릭)하면 그 단어를, 문장을 선택하면 그 범위를 바로 번역합니다.