4大AI業者支援共通AI訓練偏好訊號，網站將可透過robots.txt統一設定

Google、OpenAI、微軟及Anthropic將支援共同的AI訓練偏好訊號，讓網站管理者未來可透過robots.txt，向多家AI業者表達是否允許網頁內容用於生成式AI模型訓練，不必再分別設定各家規則。新機制將由參與業者陸續導入，目前尚未全面生效。

過去網站若不希望內容被用於AI訓練，通常需要維護不同業者的爬蟲或用途控制規則，例如OpenAI的GPTBot及Google的Google-Extended。新機制由Anthropic工程師Kevin Kelley提出，採用robots.txt既有語法，讓網站透過共同的政策標記設定內容使用偏好，減少逐一管理不同AI業者的工作。

新機制使用__usage_ai-training作為共同標記，網站管理者可在robots.txt的User-Agent欄位指定該標記，再以Disallow或Allow規則決定哪些網頁內容不允許或允許用於AI訓練。規則可套用整個網站，也能針對特定目錄設定。

共同標記控制的是內容使用目的，而非爬蟲存取權限，因此即使網站拒絕將內容用於AI訓練，也不代表禁止搜尋引擎抓取或收錄網頁。既有針對個別AI業者的控制規則仍可繼續使用。

Anthropic目前已開始實作，OpenAI預計未來數個月內支援，Google計畫於2027年導入。Google表示，要是網站透過共同標記拒絕AI訓練，且未另外設定Google-Extended，將視同拒絕Google-Extended，網站可透過專屬規則調整對Google的偏好。

微軟預計2027年2月1日支援共同標記，另提供AI Grounding設定，讓網站限制Bing、Copilot使用內容生成AI回答，但須在個別網頁設定。原先使用NoArchive或NoCache的網站，若要維持原有限制，須在3月1日前改用新規則，並透過Bing Webmaster Tools登記過渡偏好。

該機制源自網際網路工程任務組（IETF）AI Preferences工作小組的標準化討論，目前由Kevin Kelley以個人Internet-Draft形式提交，尚未成為正式標準。共同訊號屬於網站對內容使用方式的偏好聲明，仍須由各家AI業者實作並遵循。