robots.txt 和 noindex 這兩行設定，做的是完全不同的兩件事，而這次踩到這條線的是 Anthropic。
2026 年 7 月 25 到 26 日那個週末，好幾百則透過 Anthropic 公開「分享」連結產生的 Claude 對話，出現在 Google 和 Bing 的搜尋結果裡，用 `site:claude.ai/share` 就找得到，裡面有健康、感情這類很私人的話題。最早報出來的是《Wired》。
Anthropic 確實有擋。它在 robots.txt 裡把分享連結的路徑封起來了，但頁面本身從頭到尾沒有加上 noindex 標籤。照 Google 自己的爬取文件，這兩件事差得很遠：robots.txt 擋的是爬蟲來不來讀這一頁，擋不住搜尋引擎把這個網址列出去。只要外面有連結提到它，Google 就算一次都沒讀過那一頁，還是可以把它收進索引。
Google 發言人 Ned Adriance 在 2026 年 7 月 28 日告訴 Search Engine Land，Google「一律尊重」網站擁有者設定的索引指令。落差出在 Anthropic 自己的設定，不是 Google 蓋過了誰。報導出來沒幾天，Anthropic 就把這些對話從搜尋索引裡拿掉了。Bing 也收錄了同一批網址。微軟到 2026 年 7 月 28 日為止都沒有回應置評。
可信度：中。 這一輪只直接查證了一篇報導：Search Engine Land，2026 年 7 月 28 日。那篇引用了《Wired》的原始報導，也附上 Google 具名發言人的正式回應，所以是引用層級的雙來源佐證，不是我們自己把《Wired》原文打開來看過。沒有看到明顯的立場偏誤。Google 那段技術說明，任何人都能拿它公開的爬取和索引文件對一遍。
事實要點：
- 截至 2026 年 7 月 25 至 26 日那個週末，好幾百則 Claude 分享連結（用 `site:claude.ai/share` 就找得到）已經被 Google 和 Bing 收錄。最早由《Wired》報導。
- Anthropic 在 robots.txt 裡封了分享連結的路徑，但沒有加上 noindex 標籤。照 Google 的文件，光靠 robots.txt 封鎖並不能阻止頁面被收錄。
- Google 發言人 Ned Adriance 在 2026 年 7 月 28 日告訴 Search Engine Land，Google「一律尊重」網站擁有者設定的索引指令。落差出在 Anthropic 的設定，不是 Google 覆寫。
- Bing 同樣收錄了這批網址。微軟到 2026 年 7 月 28 日為止都沒有回應置評。
資料來源
Search Engine Land: "Google indexed Claude Chats because Anthropic didn't block your private chats from search engines," 2026 年 7 月 28 日, https://searchengineland.com/google-indexed-claude-chats-because-anthropic-didnt-block-your-private-chats-from-search-engines-483748
掌握 AI 搜尋的每一步
會牽動你排名和 AI 引用的每個變化，加上該怎麼應對——趁還沒讓你付出代價之前。免費，每週三次。
你的公司只要在用、或正在做會產生公開分享連結的 AI 工具（對話匯出、儀表板快照），這件事的重點就一句話：robots.txt 管的是爬蟲要不要來讀，不是這一頁算不算私密。
Google 那句「一律尊重」沒有講錯，它就是照著指令做的。問題是那道指令從頭到尾講的是「別來讀這一頁」，沒有一個字在講「別把這一頁列出去」。兩者管的是不同的事：robots.txt 決定爬蟲把時間花在哪裡，noindex 才決定一頁會不會出現在搜尋結果裡。
還有一件事，最好趁你的團隊還沒「順手修一下」就先知道：一頁如果已經在 robots.txt 被封住，再去加 noindex 標籤是沒有用的，因為爬蟲根本不准進來讀那一頁，也就永遠看不到那個標籤。要讓 noindex 生效，那一頁反而得讓爬蟲進得來。真的完全不能被外人看到的東西，該做的是擺在登入後面，不是在一個文字檔裡寫一行指令。
這不是什麼冷門知識。robots.txt 是網路上最老的一個檔案，這次它完全照文件寫的方式運作，然後把一家最懂機器怎麼讀文字的公司絆倒了。那道封鎖一直都在，也正因為它一直都在，才沒有人回頭去看它一眼。
下次跟廠商開會，要問到白紙黑字的只有一件事：這個工具產生出來的連結，預設能不能被搜尋引擎收錄，廠商裡面誰能出面確認。
建議行動：
- 請網站或技術團隊把站上所有用 robots.txt 封起來的網址樣式列出來，再加上團隊在用、會產生公開分享連結的 AI 工具，一條一條確認：這些頁面有沒有可能在沒被爬過的情況下還是被列出去。凡是牽涉隱私的，要補的是 noindex 標籤或 X-Robots-Tag 標頭，不是再加一行封鎖。
- 要導入任何會產生分享連結的 AI 工具（對話匯出、儀表板快照、報告連結）以前，先用書面向廠商問清楚：分享連結預設能不能被索引、有沒有設定 noindex。產品介面上寫著「私人」，跟搜尋引擎收不收錄是兩回事。
- 如果某一頁一定要讓 AI 爬蟲讀得到（才有機會被引用），但又不想出現在一般搜尋結果裡，把這個決定的理由寫下來。noindex 和 AI 爬蟲的存取權限是兩個各自獨立的開關，混在一起處理，不是不小心曝光，就是白白丟掉被 AI 引用的資格。
Search Engine Land: "Google indexed Claude Chats because Anthropic didn't block your private chats from search engines," July 28, 2026, https://searchengineland.com/google-indexed-claude-chats-because-anthropic-didnt-block-your-private-chats-from-search-engines-483748