這禮拜 OpenAI 的爬蟲怎麼運作，其實一點都沒變。變的是那份說明文件——偏偏會悄悄出事的，就是文件這一塊。2026 年 7 月 14 日，OpenAI 在它的爬蟲文件（developers.openai.com/api/docs/bots）裡把兩件事講清楚。一是 user-agent 字串裡的版本號可能會變。二是它去抓你的 robots.txt 的時候，字串後面可能多掛一個「robots.txt」標記。Search Engine Roundtable 抓到這次修訂，把改動前後的對照圖也貼了出來。照字面讀，OpenAI 等於白紙黑字告訴你：機器人規則拿去精確比對的那串字，它保留隨時改掉的權利。
可信度：高。主要依據就是 OpenAI 自己的公開爬蟲文件，任何人都能打開來對。Search Engine Roundtable 還貼了修訂前後的對照截圖。要保留的地方也講清楚：目前只有這一家業界媒體報導，而且它自己也說，這是把文件講清楚，不是爬蟲行為變了——這個但書一併留著。
- 修訂後的文件寫明，範例 user-agent 字串裡的版本號「可能變動」（developers.openai.com/api/docs/bots，2026 年 7 月 14 日記錄）。
- 新增一段：抓取 robots.txt 檔案時，OpenAI「可能使用帶有額外 robots.txt 標記的 user-agent 字串」。文件給的範例是：「Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot」。
- OpenAI 說這個標記的用途：讓網站主在不記錄網址路徑的伺服器日誌裡，也認得出哪些是 robots.txt 請求。
- Search Engine Roundtable 在 2026 年 7 月 14 日貼出文件修訂的對照圖，並註明 OpenAI 沒有宣布任何爬蟲行為的變更。
掌握 AI 搜尋的每一步
會牽動你排名和 AI 引用的每個變化，加上該怎麼應對——趁還沒讓你付出代價之前。免費，每週三次。
對任何靠 ChatGPT 引用自家內容的企業主來說，風險在機器人管理的設定，不在內容本身。很多網站在 CDN、WAF 或日誌儀表板裡，是拿一整串完整的 user-agent 去比對 OpenAI 的爬蟲。規則要是精確比對「OAI-SearchBot/1.2」，版本號一動，規則就不再匹配，而且不會報錯：允許清單無聲無息不再放行，爬蟲活動圖上掉下去的那一段，其實只是比對失誤。新的 robots.txt 標記，又多出一種精確比對規則從沒見過的字串。這不是叫你把機器人規則整組拆掉。如果它本來就用爬蟲名稱、或 OpenAI 公布的 IP 範圍在比對，你什麼都不用改。但要是團隊裡沒有人敢打包票，那就值得花一個下午查一遍。
行動：
- 請網站團隊把 CDN、WAF、機器人管理裡所有提到 OpenAI 爬蟲（OAI-SearchBot、GPTBot、ChatGPT-User）的規則翻一遍，確認是用爬蟲名稱、或 OpenAI 公布的 IP 範圍在比對，不是那串帶版本號的完整字串。
- 更新日誌解析規則和爬蟲儀表板，讓它們同時容得下版本號變動和 robots.txt 標記這個變體，免得 AI 爬蟲的趨勢線出現一段其實是比對失誤的假性下滑。
- 把哪些 OpenAI 爬蟲是你刻意封鎖的、又是怎麼封的，記下來。真要封，就寫在 robots.txt 裡（字串再怎麼變都不受影響），別靠 user-agent 比對，下次版本一改就破功。
Search Engine Roundtable: OpenAI Crawlers Can Update Its User Agent String, Barry Schwartz, July 14, 2026 — https://www.seroundtable.com/openai-crawlers-user-agent-string-41649.html
OpenAI: Bots and crawlers documentation, OpenAI, accessed July 15, 2026 — https://developers.openai.com/api/docs/bots