OpenAI揭露AI助理個人化瓶頸，模型仍難善用過往對話

OpenAI公布日常生活任務基準測試LifeVal，研究發現，即使AI助理能存取使用者過往的ChatGPT對話，仍可能漏掉完成任務所需的個人資訊。在被判定需要從歷史對話取得資訊的評分條件中，平均達標率僅33.33%，反映出運用過往對話的能力仍有不足。

LifeVal收錄169項任務，涵蓋照護、教育、購物、個人財務與政府服務。研究團隊邀請具備相關經驗的參與者設計任務，結合經去識別化處理的ChatGPT對話與記憶、參考檔案及額外背景資訊，測試AI透過瀏覽器與電腦操作完成工作。評測主要在模擬環境中進行，包括尋找符合家庭條件的幼兒園、安排防洪志工及搜尋住宅等情境。

每項LifeVal任務都設有多個評分條件，檢查AI是否完成指定操作，以及結果是否符合使用者需求。研究團隊分析模型運用個人資訊的能力，發現被判定需要使用ChatGPT記憶的評分條件，平均達標率為47.8%，需要使用額外背景資訊的達標率則為55.8%。

因為要了解資訊存放位置的影響，研究團隊模擬將原本直接提供的背景資訊放進歷史對話，發現相關評分條件的達標率從55.8%降至41.5%，顯示模型較難從過往對話中找出所需資訊。

研究人員也檢查部分被標註為需要查閱歷史對話，且達標率為100%的評分條件，發現所需資訊其實也能從其他資料取得，或由對話標題推知。因此，即使AI成功達標，也無法證明模型確實從歷史對話中找到了相關資訊。論文未指明個人化分析所採用的模型。

在涵蓋169項任務的整體LifeVal評測中，GPT-6 Astra平均得分80.6%，略高於GPT-5.6的80.0%，GPT-5.2則為49.3%。OpenAI使用自動評分機制，檢查模型產出的檔案及模擬環境狀態變化，確認相關操作是否真正執行。目前LifeVal已公開研究論文及評測結果，但沒有釋出完整任務資料集與評測程式。