เครื่องมือสร้าง robots.txt
ควบคุม Crawler เครื่องมือค้นหาและบล็อก AI Crawler อย่างง่ายดาย
เพียงใช้แบบฟอร์มเพื่อสร้างไฟล์ robots.txt ในรูปแบบที่ถูกต้องอัตโนมัติ
⚙️ กฎเริ่มต้น (Crawler ทั้งหมด)
🤖 ป้องกัน AI Crawler
ป้องกันการดึงข้อมูลโดยไม่ได้รับอนุญาตจาก ChatGPT, Claude, Applebot ฯลฯ
🕷️ การตั้งค่า Bot แต่ละตัว
✨ robots.txt ที่สร้าง
เกี่ยวกับเครื่องมือสร้าง robots.txt
เครื่องมือสร้าง robots.txt เป็นยูทิลิตี้ที่ช่วยให้คุณสร้างไฟล์ข้อความเพื่อสั่งให้ Crawler ของเครื่องมือค้นหาทราบว่าหน้าใดในเว็บไซต์ของคุณที่พวกเขาสามารถรวบรวมข้อมูลหรือถูกห้ามเข้าถึงได้อย่างง่ายดาย
นอกเหนือจากการควบคุมเครื่องมือค้นหาแบบดั้งเดิมอย่าง Googlebot และ Bingbot แล้ว ยังมีฟังก์ชัน **บล็อกการรวบรวมข้อมูล (Scraping) โดยไม่ได้รับอนุญาตจาก "AI Crawler" อย่างครอบคลุม** เช่น ChatGPT (GPTBot), Claude (ClaudeBot) และ AI ของ Apple ซึ่งกำลังเพิ่มขึ้นอย่างมากในปัจจุบัน การตั้งค่าของคุณจะแสดงในโค้ดแบบเรียลไทม์ และสามารถคัดลอกไปใช้ได้ทันทีด้วยคลิกเดียว
วิธีใช้งาน
เลือกกฎเริ่มต้น
ขั้นตอนแรก เลือกว่าจะ "อนุญาต" (Allow) หรือ "บล็อก" (Disallow) การเข้าถึงทั้งเว็บไซต์สำหรับ Crawler ทั้งหมด
ตั้งค่า Bot และไดเรกทอรี
กำหนดการบล็อก AI Bot และจำกัดการเข้าถึงไดเรกทอรีเฉพาะ (เช่น `/admin/`)
คัดลอกโค้ด
คัดลอกข้อความที่สร้างขึ้นพร้อมกันทางด้านขวา (หรือด้านล่างบนมือถือ) โดยใช้ปุ่ม "คัดลอกโค้ด"
ติดตั้งบนเซิร์ฟเวอร์
บันทึกเนื้อหาที่คัดลอกเป็นไฟล์ `robots.txt` และวางไว้ที่ไดเรกทอรีระดับสูงสุด (Root) ของเว็บไซต์คุณ
คำศัพท์ที่เกี่ยวข้องกับ robots.txt
- robots.txt
- ไฟล์ข้อความที่วางอยู่ในไดเรกทอรีรากของเว็บไซต์ ซึ่งมีกฎสั่งให้โปรแกรมอัตโนมัติ (Crawler) เช่น เครื่องมือค้นหาทราบว่าส่วนใดของเว็บไซต์ที่พวกเขาสามารถเข้าถึงหรือไม่สามารถเข้าถึงได้
- User-agent
- ตัวระบุที่แสดงข้อมูลของ Crawler หรือเบราว์เซอร์ที่กำลังเข้าถึง ใน robots.txt การเขียน "User-agent: Googlebot" จะเป็นการใช้กฎกับ Crawler ที่ระบุ เครื่องหมาย "*" หมายถึงใช้กับทั้งหมด
- Allow / Disallow
- คำสั่งสำหรับ "อนุญาต" (Allow) และ "บล็อก" (Disallow) Crawler การเขียน "Disallow: /admin/" จะห้ามการเข้าถึงหน้าทั้งหมดที่อยู่ภายใต้ /admin/
- AI Crawler (AI Bot)
- โปรแกรมอัตโนมัติที่รวบรวมข้อมูลบนอินเทอร์เน็ตเพื่อใช้ฝึกอบรมโมเดล AI ของบริษัทต่างๆ เช่น OpenAI (ChatGPT) และ Anthropic (Claude) โดยมี GPTBot เป็นตัวอย่างที่พบบ่อย
- Sitemap
- ไฟล์ XML ที่บอกโครงสร้างหน้าของเว็บไซต์ให้ Crawler ทราบ การเขียน "Sitemap: https://..." ใน robots.txt จะช่วยถ่ายทอดภาพรวมของเว็บไซต์ให้ Crawler ได้อย่างมีประสิทธิภาพ
คำถามที่พบบ่อย
- Q.ความแตกต่างระหว่าง robots.txt และแท็ก meta robots ของ HTML คืออะไร?
- robots.txt เป็นไฟล์ที่ควบคุมว่าหน้าใดในเว็บไซต์ของคุณที่ Crawler ได้รับอนุญาตให้รวบรวมข้อมูล ในทางกลับกัน แท็ก meta robots (เช่น noindex) จะควบคุมว่าหน้าที่รวบรวมข้อมูลแล้วจะถูกสร้างดัชนี (แสดง) ในผลการค้นหาหรือไม่ ใช้ robots.txt เพื่อป้องกันการเข้าถึง และใช้ meta robots เพื่อป้องกันการสร้างดัชนี
- Q.การบล็อก AI Crawler จะส่งผลต่ออันดับการค้นหาปกติหรือไม่?
- ไม่ส่งผลกระทบ Crawler สำหรับการค้นหาหลักเช่น Googlebot และ AI Crawler เช่น ChatGPT (GPTBot) หรือ Claude (ClaudeBot) มี User-agent ที่แตกต่างกัน การบล็อกเพียง AI Crawler (Disallow) ไม่ส่งผลต่อการประเมิน SEO บน Google ของคุณ
- Q.ฉันควรวาง robots.txt ที่สร้างขึ้นไว้ที่ไหน?
- อัปโหลดไปยังไดเรกทอรีราก (ระดับสูงสุด) ของเว็บไซต์ของคุณโดยใช้ชื่อไฟล์ "robots.txt" ตัวอย่างเช่น หากเว็บไซต์ของคุณคือ https://example.com/ ไฟล์นั้นควรเข้าถึงได้ที่ https://example.com/robots.txt
- Q.จะเกิดอะไรขึ้นหากฉันตั้งค่าผิด?
- หากคุณเลือก "บล็อกทั้งหมด" ในกฎเริ่มต้น หรือเผลอบล็อก "/" (Disallow: /) Googlebot จะไม่สามารถรวบรวมข้อมูลทั้งเว็บไซต์ของคุณได้ ซึ่งอาจทำให้เว็บไซต์ของคุณหายไปจากผลการค้นหา โปรดตรวจสอบการตั้งค่าและตัวอย่างอย่างละเอียดก่อนติดตั้ง
กรณีการใช้งาน
บล็อกการฝึกอบรม AI โดยไม่ได้รับอนุญาต
ใช้คำสั่งบล็อก AI Crawler ทั้งหมด เมื่อคุณต้องการป้องกันไม่ให้เนื้อหาและบทความบล็อกดั้งเดิมของคุณถูกดึงข้อมูลไปใช้เป็นข้อมูลการฝึกอบรม AI โดยพลการ
ปกป้องหน้าผู้ดูแลระบบและหน้าส่วนตัว
ปฏิเสธการรวบรวมข้อมูลสำหรับไดเรกทอรีที่คุณไม่ต้องการให้ปรากฏในผลการค้นหาของ Google เช่น /wp-admin/ ของ WordPress, หน้าเฉพาะสำหรับสมาชิก และหน้าผลการค้นหาแบบไดนามิก
เพิ่มประสิทธิภาพ SEO (Crawl Budget)
ในเว็บไซต์ขนาดใหญ่ ควรจำกัดการรวบรวมข้อมูลสำหรับหน้าที่ไม่สำคัญ เพื่อแนะนำให้ Googlebot ให้ความสำคัญกับการรวบรวมข้อมูลหน้าสำคัญ (เช่น บทความใหม่)
ซ่อนเว็บไซต์ระหว่างการพัฒนาหรือทดสอบ
บล็อก (Disallow) เว็บไซต์ทั้งหมดเพื่อป้องกันไม่ให้สภาพแวดล้อมการทดสอบระหว่างการสร้างเว็บไซต์หรือก่อนการปรับปรุง ถูกเครื่องมือค้นหาสร้างดัชนีโดยไม่ได้ตั้งใจ
ส่งความคิดเห็น
โปรดแจ้งให้เราทราบความคิดเห็นของคุณเพื่อช่วยปรับปรุงเครื่องมือ
การส่งความคิดเห็นถูกระงับชั่วคราว
เซิร์ฟเวอร์ไม่ว่างหรือระบบป้องกันสแปมทำงานอยู่ โปรดลองอีกครั้งในภายหลัง