robots.txt 產生器
輕鬆控制搜尋引擎爬蟲並阻擋 AI 爬蟲。
只需使用表單即可自動產生格式正確的 robots.txt。
⚙️ 預設規則 (所有爬蟲)
🤖 AI 爬蟲防護
防止被 ChatGPT、Claude、Applebot 等未經授權的爬蟲抓取資料。
🕷️ 個別機器人設定
✨ 產生的 robots.txt
關於 robots.txt 產生器
robots.txt 產生器是一款實用工具，能讓您輕鬆建立文字檔，指示搜尋引擎爬蟲 (蜘蛛程式) 允許抓取或禁止存取您網站上的哪些頁面。
除了傳統的 Googlebot 和 Bingbot 等搜尋引擎控制之外，它還具有一項功能，可以**批量阻擋「AI 爬蟲」** (如 ChatGPT (GPTBot)、Claude (ClaudeBot) 和 Apple 的 AI) 未經授權的資料收集 (網頁抓取)，這些爬蟲最近越來越多。您的設定會即時反映在程式碼中，並且可以一鍵複製並立即使用。
使用方法
選擇預設規則
首先，選擇是要「允許」或「阻擋」所有爬蟲存取整個網站。
機器人與目錄設定
設定是否阻擋 AI 機器人，並限制存取特定目錄 (例如 `/admin/`)。
複製程式碼
使用「複製程式碼」按鈕複製同時產生在右側 (手機版則在下方) 的文字。
安裝至伺服器
將複製的內容儲存為 `robots.txt`，並將其放置在您網站的頂層目錄 (根目錄) 中。
robots.txt 名詞解釋
- robots.txt
- 放置在網站根目錄中的文字檔案。它包含指示自動化程式 (爬蟲，如搜尋引擎) 可以或不能存取網站哪些部分的規則。
- User-agent (使用者代理)
- 代表存取爬蟲或瀏覽器身分的識別碼。在 robots.txt 中，寫入 "User-agent: Googlebot" 會將規則套用於特定的爬蟲。"*" 代表所有。
- Allow / Disallow (允許 / 阻擋)
- 「允許」和「阻擋」爬蟲的指令。寫入 "Disallow: /admin/" 會禁止存取 /admin/ 下的所有頁面。
- AI Crawler (AI 爬蟲)
- 由 OpenAI (ChatGPT) 和 Anthropic (Claude) 等 AI 公司用來收集網際網路上的資料以訓練 AI 模型的自動化程式。GPTBot 就是一個典型的例子。
- Sitemap (網站地圖)
- 一個告訴爬蟲網站頁面結構的 XML 檔案。透過在 robots.txt 中寫入 "Sitemap: https://..."，您可以有效地將網站的全貌傳達給爬蟲。
常見問題
- Q.robots.txt 和 HTML meta robots 有什麼差別？
- robots.txt 是一個控制爬蟲是否可以存取網站上哪些頁面的檔案。另一方面，meta robots (如 noindex) 則是控制被抓取的頁面是否要在搜尋結果中被索引 (顯示)。使用 robots.txt 來防止存取本身，並使用 meta robots 來防止被索引。
- Q.阻擋 AI 爬蟲會影響正常的搜尋排名嗎？
- 不會。像是 Googlebot 等主要搜尋爬蟲，與 ChatGPT (GPTBot) 或 Claude (ClaudeBot) 等 AI 爬蟲，它們有不同的 User-agent。只阻擋 AI 爬蟲 (Disallow) 並不會影響您的 Google SEO 評價。
- Q.我應該將產生的 robots.txt 放在哪裡？
- 請將它上傳到您網站的根目錄 (最高層級)，檔名為 "robots.txt"。例如，如果您的網站是 https://example.com/，那麼它應該可以透過 https://example.com/robots.txt 來存取。
- Q.如果我設定錯誤會發生什麼事？
- 如果您在預設規則中選擇了「全部阻擋」，或者不小心 Disallow: /，Googlebot 將無法抓取您的整個網站，這可能會導致您的網站從搜尋結果中消失。安裝前請仔細檢查設定與預覽。
使用場景
阻擋未經授權的 AI 訓練
當您想要防止您的原創內容和部落格文章被任意抓取作為 AI 訓練資料時，請使用批量阻擋 AI 爬蟲。
保護管理員和私人頁面
批量拒絕抓取您不希望出現在 Google 搜尋結果中的目錄，例如 WordPress 的 /wp-admin/、會員專屬頁面和動態搜尋結果頁面。
SEO 效率 (抓取預算最佳化)
在大型網站上，限制抓取不重要的頁面，以引導 Googlebot 優先抓取重要的頁面 (如新文章)。
隱藏開發/測試網站
阻擋整個網站，以防止網站製作期間或更新前的測試環境意外被搜尋引擎索引。
發送反饋
請告訴我們您的想法，以幫助我們改進工具。
Feedback is temporarily suspended
The server is busy or spam protection is active. Please try again later.