Cloudflare AI服務快取出錯，155次GLM-5.3回答混入他人資料

Cloudflare公布旗下AI服務Workers AI的資料外洩調查結果，指出8月27日至9月9日期間，GLM-5.3模型共有155次回應混入其他客戶的資料。問題發生在處理特別長的輸入內容時，Cloudflare已於9月9日完成修復，確認其他Workers AI模型未受影響，也沒有發現有人蓄意利用漏洞的證據。

Workers AI是Cloudflare提供的雲端AI模型執行服務。資安公司Knostic研究人員Gadi Evron於9月8日向Cloudflare通報，向GLM-5.3送出極長的輸入內容後，模型的回答可能出現其他使用者工作階段的資訊。Cloudflare隔天以兩個不同帳號重現問題，隨即暫停模型服務，修復後於當天恢復開放。

調查發現，事故與Cloudflare的部署設定，以及開源AI推論軟體SGLang的程式漏洞有關。Cloudflare將GLM-5.3一次可處理的文字長度上限設為約105萬個文字單位，但負責處理輸入的GPU，快取空間只能容納約68萬個文字單位。

AI模型在處理輸入時，會將部分運算結果暫存在GPU記憶體，稱為KV快取，以免產生回答時反覆計算相同內容。不同客戶的請求會先後使用同一批記憶體，原有資料通常由新請求覆寫。

當輸入內容超過快取容量，SGLang原本應拒絕請求，卻因程式漏洞繼續處理，只傳送少量新資料，就通知負責產生回答的另一組GPU已完成傳輸。接收端誤以為記憶體中的資料已全部更新，結果讀取到其他客戶留下的內容，並將其混入回答。

Cloudflare坦承，模型上線前就知道快取容量與設定的輸入上限不符，但當時只檢查服務回應狀態與執行效能，沒有確認回答內容是否正確。調查也發現，SGLang早在7月就有使用者回報相關漏洞，但Cloudflare直到事故發生後才注意到。

Cloudflare已調整GPU記憶體配置，將快取容量提高至約204萬個文字單位，並修正SGLang，讓無法處理的請求在資料傳送前停止。SGLang也陸續推出修補版本，Cloudflare建議採用相同推論架構的業者，更新至10月19日發布的v0.5.22或更新版本，並確認快取容量足以處理設定的最大輸入長度。