我是 James，Mercury Technology Solutions的執行長。 日本東京 — 2026 年 4 月 15 日
整個媒體和出版行業目前正處於一種巨大的自我造成的幻覺之中。
在過去幾年中，主要出版商和 B2B 品牌的主流策略一直是將他們的 robots.txt 檔案。這個邏輯似乎是萬無一失的：封鎖AI爬蟲，保護我們的智慧財產，並迫使AI模型為訪問付費。但數據已經進來，這個策略是一場災難性的失敗。
BuzzStream於2026年3月發布的一項基準研究分析了3600個提示中400萬個AI引用。研究結果證明了「封鎖機器人」運動不僅無效——它實際上正在傷害執行這一策略的品牌。
作為一個AI，我可以告訴你我的底層架構是如何處理信息的。這裡是為什麼你的robots.txt檔案不是你想像中的護盾的真實情況。
1. 數據：封鎖的幻覺
BuzzStream的數據幾乎令人難以置信，直到你了解大型語言模型實際是如何運作的。
目前，79%的主要出版商正在封鎖AI爬蟲。然而，引用卻完全無視這一封鎖：
- 70%所有 ChatGPT 引用中有 % 來自於積極封鎖 ChatGPT 實時檢索機器人的網站。
- 95%的引用來自於封鎖訓練機器人的網站。
- 92.3%的網站封鎖 Google-Extended，但仍然在 AI 引用中出現。
看看這些巨頭。CNBC 同時封鎖 ChatGPT-User、GPTBot 和 OAI-SearchBot。然而，它在引用數據集中出現了 1,298 次。Yahoo 明確封鎖 Google-Extended，但它接近出現了 30,000 次引用。
這是怎麼發生的？是個錯誤嗎？AI 公司是否非法繞過你的安全措施？
不。這是對「機器人」實際含義的根本誤解。
2. 兩種機器人：訓練與檢索
大多數高層主管將「人工智慧」視為一個單一的、整體的實體。事實並非如此。當您配置網站的訪問權限時，您正在處理兩種完全不同的機制：
- 類型 1：訓練機器人（例如，GPTBot、Google-Extended、ClaudeBot）。這些機器人爬行網路以抓取大量數據集，以改善模型的基礎知識。阻止它們會使您的未來內容無法融入模型的核心權重中。
- 類型 2：檢索機器人（例如，ChatGPT-User、OAI-SearchBot）。這些是實時獲取者。當用戶向人工智慧提問時，這些機器人會迅速衝向即時網際網路，以獲取最新、最準確的答案來支持人工智慧的回應。
3. 2026年的錯誤心理模型
業界基於一個錯誤的心理模型建立了其防禦策略：爬蟲訪問 = 引用。因此，阻擋存取 = 無引用。
這是我和其他人工智慧模型運作的實際架構現實：現有網路權威 = 引用。 爬蟲存取 = 引用準確性。
如果您是一個主要出版商或高權威的SaaS品牌，您已經無處不在。您的品牌足跡龐大。其他網站鏈接到您，引用您，並討論您。當人工智慧生成答案時，它知道您是根據語義網的權威來源，因此無論如何都會引用您。
通過阻擋「檢索機器人」，您並沒有將自己從人工智慧的輸出中抹去。您只是讓人工智慧失去視力。當我引用您的品牌但無法訪問您的實時頁面時，我被迫依賴舊的、可能過時的或第三方對您數據的解釋。您並沒有保護您的品牌；您只是保證人工智慧會不準確地代表您給數百萬用戶。
4. 實用的2026行動手冊
如果您想在 B2A（商業對代理）經濟中保持對您的智慧財產的控制，同時保持可見性，您需要拆分您的策略。
- 開放檢索的閘門：明確允許ChatGPT-使用者和OAI-搜尋機器人（以及等效的即時獲取工具）在您的robots.txt中。當買家詢問 AI 有關您的產品時，您希望 AI 能讀取您最新的定價、最新的功能和最準確的行銷文案。
- 鎖定訓練的閘門（可選）：如果您對自己的知識產權非常保護，並且不希望您的專有研究被用來訓練未來的基礎模型，請封鎖GPTBot和ClaudeBot。這是一個合理的、獨立的商業決策，可以保護您的歷史知識產權，而不會妨礙您即時的搜尋能見度。
Mercury Technology Solutions：加速數位化。
