柏克萊研究推演2027至2029年AI資安威脅,AI代理供應鏈與自動化攻防成焦點
Article text
14 paragraphs · Tap (click) a word or select text to translate · Tap a word or select text to translate美國加州大學柏克萊分校長期網路安全中心(CLTC)旗下AI Security Initiative提出2027至2029年3種AI資安威脅情境,推演攻擊者如何利用AI擴大社交工程攻擊、自動尋找漏洞並與企業防禦系統交手,甚至利用企業與供應商AI代理之間的信任關係發動攻擊,影響企業營運。
2027年:AI擴大針對性社交工程攻擊規模
在2027年的模擬事件中,攻擊者利用外洩個資與AI工具,自動蒐集企業員工的公開資訊,掌握員工職務及彼此的工作關係,再利用AI模仿主管聲音、偽造來電顯示,誘騙員工登入假冒供應商的網站,竊取企業登入憑證,部分員工也因此核准詐騙付款。
過去這類攻擊往往需要花費大量時間研究目標,再針對個別員工設計詐騙內容。在這項推演中,攻擊者利用AI減少事前蒐集資料與設計詐騙內容所需的人力,並在同一天對117名員工發動針對性攻擊。企業若主要依靠員工自行辨識可疑訊息,將更難防範這類威脅。
2028年:AI加速漏洞利用與自動化攻防
在2028年的模擬情境中,攻擊者透過AI模糊測試代理產生大量測試輸入,快速找出可利用的安全漏洞,再利用AI持續改寫惡意程式,嘗試避開企業的防禦措施。
攻擊者接著入侵虛構企業Vexta位於巴西一座煉油廠的營運技術(OT)網路,惡意程式進一步深入工業控制設備的韌體層。企業的防禦AI代理隨即展開阻擋,攻擊者則不斷調整手法,雙方在短時間內反覆攻防,讓資安人員難以及時掌握情況。
攻擊者還採取聲東擊西的策略,一方面讓企業的防禦AI代理集中處理巴西煉油廠的攻擊,另一方面啟用2027年釣魚攻擊期間植入、之後擴散至物流網路的潛伏惡意程式。防禦AI代理雖然最後排除了巴西煉油廠的韌體威脅,當地仍有17個工業控制單元受損而無法運作。同時,攻擊者成功讓該公司在北非的物流協調系統中斷。
當攻擊與防禦都由AI快速執行,企業不僅需要確認漏洞管理與修補流程能否跟上攻擊速度,也必須掌握防禦AI代理自動採取的行動,確保資安人員能在必要時介入。
2029年:供應商AI代理成為提示詞注入攻擊途徑
到了2029年,攻擊者則將目標轉向企業與供應商之間的AI代理。研究情境中,Vexta的合作供應商IndoPetro Dynamics(IPD)利用AI代理處理市場資料、供應商往來訊息,並與Vexta交換物流及品質控管資訊。攻擊者在第三方市場分析文件的中繼資料藏入惡意指令,IPD的AI代理讀取文件後受到提示詞注入影響,向Vexta的AI代理傳送偽造的緊急安全警報。
Vexta的AI代理原本就會接收IPD傳來的資訊,因此將這項偽造警報視為需要立即處理的緊急狀況,並依照指示啟動緊急停機程序。惡意指令還要求系統暫時不要通知人員,導致操作人員未能及時發現異常,最終造成煉油設施停機。
值得注意的是,在2029年的模擬情境中,Vexta的AI代理系統已通過AI管理系統國際標準ISO/IEC 42001認證。該公司也要求採用AI的新供應商證明系統具備可稽核性,並提供AI代理介面的第三方滲透測試結果,但這些措施仍未能阻止模擬攻擊。
CLTC透過這3個模擬事件,探討AI可能帶來的資安威脅,供企業檢視身分驗證、AI代理權限管理、人工監督及供應鏈安全審查等措施,評估現有防護方式能否因應AI技術發展帶來的新風險。
For when the paragraph translations don't line up
Full translation
Tap (click) a word to translate it, or select text to translate that passage straight away.