robots.txt 產生器
輕鬆控制搜尋引擎爬蟲並阻擋 AI 爬蟲。
只需使用表單即可自動產生格式正確的 robots.txt。
⚙️ 預設規則 (所有爬蟲)
🤖 AI 爬蟲防護
防止被 ChatGPT、Claude、Applebot 等未經授權的爬蟲抓取資料。
🕷️ 個別機器人設定
✨ 產生的 robots.txt
關於 robots.txt 產生器
robots.txt 產生器是一款實用工具，能讓您輕鬆建立文字檔，指示搜尋引擎爬蟲 (蜘蛛程式) 允許抓取或禁止存取您網站上的哪些頁面。
除了傳統的 Googlebot 和 Bingbot 等搜尋引擎控制之外，它還具有一項功能，可以**批量阻擋「AI 爬蟲」** (如 ChatGPT (GPTBot)、Claude (ClaudeBot) 和 Apple 的 AI) 未經授權的資料收集 (網頁抓取)，這些爬蟲最近越來越多。您的設定會即時反映在程式碼中，並且可以一鍵複製並立即使用。
使用方法
選擇預設規則
首先，選擇是要「允許」或「阻擋」所有爬蟲存取整個網站。
機器人與目錄設定
設定是否阻擋 AI 機器人，並限制存取特定目錄 (例如 `/admin/`)。
複製程式碼
使用「複製程式碼」按鈕複製同時產生在右側 (手機版則在下方) 的文字。
安裝至伺服器
將複製的內容儲存為 `robots.txt`，並將其放置在您網站的頂層目錄 (根目錄) 中。
robots.txt 名詞解釋
- robots.txt
- 放置在網站根目錄中的文字檔案。它包含指示自動化程式 (爬蟲，如搜尋引擎) 可以或不能存取網站哪些部分的規則。
- User-agent (使用者代理)
- 代表存取爬蟲或瀏覽器身分的識別碼。在 robots.txt 中，寫入 "User-agent: Googlebot" 會將規則套用於特定的爬蟲。"*" 代表所有。
- Allow / Disallow (允許 / 阻擋)
- 「允許」和「阻擋」爬蟲的指令。寫入 "Disallow: /admin/" 會禁止存取 /admin/ 下的所有頁面。
- AI Crawler (AI 爬蟲)
- 由 OpenAI (ChatGPT) 和 Anthropic (Claude) 等 AI 公司用來收集網際網路上的資料以訓練 AI 模型的自動化程式。GPTBot 就是一個典型的例子。
- Sitemap (網站地圖)
- 一個告訴爬蟲網站頁面結構的 XML 檔案。透過在 robots.txt 中寫入 "Sitemap: https://..."，您可以有效地將網站的全貌傳達給爬蟲。
常見問題
- Q.robots.txt 和 HTML meta robots 有什麼差別？
- robots.txt 是一個控制爬蟲是否可以存取網站上哪些頁面的檔案。另一方面，meta robots (如 noindex) 則是控制被抓取的頁面是否要在搜尋結果中被索引 (顯示)。使用 robots.txt 來防止存取本身，並使用 meta robots 來防止被索引。
- Q.阻擋 AI 爬蟲會影響正常的搜尋排名嗎？
- 不會。像是 Googlebot 等主要搜尋爬蟲，與 ChatGPT (GPTBot) 或 Claude (ClaudeBot) 等 AI 爬蟲，它們有不同的 User-agent。只阻擋 AI 爬蟲 (Disallow) 並不會影響您的 Google SEO 評價。
- Q.我應該將產生的 robots.txt 放在哪裡？
- 請將它上傳到您網站的根目錄 (最高層級)，檔名為 "robots.txt"。例如，如果您的網站是 https://example.com/，那麼它應該可以透過 https://example.com/robots.txt 來存取。
- Q.如果我設定錯誤會發生什麼事？
- 如果您在預設規則中選擇了「全部阻擋」，或者不小心 Disallow: /，Googlebot 將無法抓取您的整個網站，這可能會導致您的網站從搜尋結果中消失。安裝前請仔細檢查設定與預覽。
使用場景
阻擋未經授權的 AI 訓練
當您想要防止您的原創內容和部落格文章被任意抓取作為 AI 訓練資料時，請使用批量阻擋 AI 爬蟲。
保護管理員和私人頁面
批量拒絕抓取您不希望出現在 Google 搜尋結果中的目錄，例如 WordPress 的 /wp-admin/、會員專屬頁面和動態搜尋結果頁面。
SEO 效率 (抓取預算最佳化)
在大型網站上，限制抓取不重要的頁面，以引導 Googlebot 優先抓取重要的頁面 (如新文章)。
隱藏開發/測試網站
阻擋整個網站，以防止網站製作期間或更新前的測試環境意外被搜尋引擎索引。
Send Feedback
Please let us know your thoughts to help us improve the tool.
Feedback is temporarily suspended
The server is busy or spam protection is active. Please try again later.