サイト一覧NewsBridge 翻訳して読み比べるニュース
iThomeの一覧へ戻る

思科開源AI代理偵測工具Quarry,可分析多步驟操作找出可疑行為

iThome文字
元の記事を開く

記事本文

3 段落 · 単語をタップ(クリック)または文章を選ぶと翻訳 · 単語をタップ/文章を選ぶと翻訳

網路設備與資安業者思科(Cisco)開源AI代理行為偵測工具Project Quarry,可分析AI代理執行任務期間的工具呼叫、工具執行結果及各項操作的先後順序,協助資安團隊辨識可疑行為。

Quarry已在GitHub公開原始程式碼及相關文件。這項工具讓資安人員透過專用規則語言設定偵測條件,再由偵測引擎分析AI代理的操作紀錄。除了依據預先設定的規則進行檢查,也可選擇結合AI模型進行語意判斷,例如檢查工具回傳內容是否含有提示詞注入指令,或AI代理的操作是否偏離原定任務。思科表示,Quarry已應用於自家的AI安全產品AI Defense。

企業若要利用Quarry分析AI代理的操作行為,需要保留相關操作紀錄。若只保存使用者輸入與模型最終回答,可能不足以還原代理的操作過程。根據Quarry的使用文件,企業可利用既有的AI代理執行紀錄測試及調整偵測規則,降低誤判正常操作的風險,也能將Quarry整合至AI代理執行期間的安全檢查流程。

段落ごとの訳がずれるときに

単語をタップ(クリック)すると単語を、文章を選ぶとその範囲をすぐに翻訳します。