robots.txt 자동 생성
검색 엔진의 크롤러 제어나 AI 크롤러의 거부를 간단하게.
폼을 선택하는 것만으로 올바른 구문의 robots.txt 를 자동 생성합니다.
⚙️ 기본 규칙 (모든 크롤러)
🤖 AI 크롤러 대책
ChatGPT, Claude, Applebot 등의 무단 크롤링을 방지합니다.
🕷️ 개별 봇 설정
✨ 생성된 robots.txt
robots.txt 자동 생성 도구의 개요
robots.txt(로봇 텍스트) 자동 생성 도구는 검색 엔진의 크롤러(거미)에게 여러분 웹사이트의 어느 페이지를 크롤링해도 되는지, 혹은 접근을 금지할지를 지시하기 위한 텍스트 파일을 간단히 작성할 수 있는 유틸리티입니다.
기존의 Googlebot이나 Bingbot 등 검색 엔진 제어에 더해, 최근 증가하고 있는 **ChatGPT(GPTBot)나 Claude(ClaudeBot), Apple의 AI 등 'AI 크롤러'에 의한 무단 데이터 수집(스크래핑)을 일괄적으로 차단**하는 기능도 탑재하고 있습니다. 입력한 설정은 실시간으로 코드에 반영되며, 클릭 한 번으로 복사하여 즉시 이용할 수 있습니다.
사용법
기본 규칙 선택
먼저 모든 크롤러에 대해 사이트 전체로의 접근을 '허용'할지 '거부'할지 선택합니다.
봇·디렉터리 설정
AI 봇 차단 여부나 특정 디렉터리(예: `/admin/`)로의 접근 제한을 설정합니다.
코드 복사
설정과 동시에 우측(스마트폰에서는 하단)에 생성된 텍스트를 '코드 복사' 버튼으로 복사합니다.
서버에 설치
복사한 내용을 `robots.txt`라는 파일 이름으로 저장하고, 사이트의 최상위 디렉터리(루트)에 배치합니다.
robots.txt 관련 용어집
- robots.txt
- 웹사이트의 루트 디렉터리에 배치하는 텍스트 파일입니다. 검색 엔진 등의 자동 프로그램(크롤러)에게 사이트 내의 어느 부분에 접근해도 좋은지, 안 되는지에 대한 규칙을 작성합니다.
- User-agent (유저 에이전트)
- 접근해 오는 크롤러나 브라우저의 신원을 나타내는 식별자입니다. robots.txt 에서는 "User-agent: Googlebot"처럼 작성함으로써 특정 크롤러에 대해 개별 규칙을 적용할 수 있습니다. "*"는 모든 것을 의미합니다.
- Allow / Disallow
- 크롤러에 대한 "허용 (Allow)"과 "거부 (Disallow)" 명령입니다. "Disallow: /admin/"이라고 작성하면 /admin/ 하위의 모든 페이지에 대한 접근을 금지할 수 있습니다.
- AI 크롤러 (AI Bot)
- OpenAI(ChatGPT)나 Anthropic(Claude) 등의 AI 기업이 자사의 AI 모델을 학습시키기 위해 인터넷상의 데이터를 수집하는 자동 프로그램을 말합니다. GPTBot 등이 대표적입니다.
- Sitemap (사이트맵)
- 사이트 내의 페이지 구조를 크롤러에게 전달하는 XML 파일입니다. robots.txt 내에 "Sitemap: https://..."라고 작성함으로써 크롤러에게 사이트의 전체적인 모습을 효율적으로 전달할 수 있습니다.
자주 묻는 질문
- Q.robots.txt 와 HTML의 meta robots 의 차이는 무엇인가요?
- robots.txt 는 크롤러가 사이트 내의 어떤 페이지를 크롤링(순회)해도 되는지를 제어하는 파일입니다. 반면에, meta robots(noindex 등)는 크롤링된 후에 검색 결과에 인덱싱(표시)할지 여부를 제어합니다. 접근 자체를 막으려면 robots.txt, 인덱싱을 막으려면 meta robots 를 사용합니다.
- Q.AI 크롤러를 차단해도 일반적인 검색 순위에 영향은 없나요?
- 영향은 없습니다. Googlebot 등의 주요 검색 크롤러와, ChatGPT(GPTBot)나 Claude(ClaudeBot) 등의 AI 크롤러는 다른 User-agent 를 가지고 있기 때문에, AI 크롤러만 거부(Disallow)하더라도 Google의 SEO 평가에는 영향을 주지 않습니다.
- Q.생성한 robots.txt 는 어디에 설치하면 되나요?
- 웹사이트의 루트 디렉터리(최상위 폴더)에 "robots.txt"라는 파일 이름으로 업로드해 주세요. 예를 들어, 당신의 사이트가 https://example.com/ 이라면, https://example.com/robots.txt 로 접근할 수 있어야 합니다.
- Q.설정을 잘못하면 어떻게 되나요?
- 기본 규칙에서 "모두 거부"를 선택하거나 실수로 "/"를 Disallow 해버리면, Googlebot 이 사이트 전체를 크롤링하지 못하게 되어 검색 결과에서 사이트가 사라질 위험이 있습니다. 설정 내용과 미리보기를 잘 확인한 후 설치해 주세요.
활용 씬
AI에 의한 무단 학습 차단
자사의 오리지널 콘텐츠나 블로그 기사가 AI의 학습 데이터로 무단 스크래핑되는 것을 막고 싶을 때, AI 크롤러 일괄 차단 기능을 이용합니다.
관리자 화면이나 비공개 페이지 보호
WordPress의 /wp-admin/ 이나 회원 전용 페이지, 검색 결과의 동적 페이지 등 Google 검색 결과에 표시하고 싶지 않은 디렉터리를 일괄로 크롤링 거부합니다.
SEO 효율화 (크롤 버짓 최적화)
거대한 웹사이트에서 중요하지 않은 페이지로의 크롤링을 제한하여, Googlebot이 중요한 페이지(새 기사 등)를 우선하여 크롤링할 수 있도록 유도합니다.
개발 중·테스트 사이트 비공개
사이트 제작 중이거나 리뉴얼 전의 테스트 환경이 실수로 검색 엔진에 인덱싱되는 것을 막기 위해 사이트 전체를 Disallow 합니다.
Send Feedback
Please let us know your thoughts to help us improve the tool.
Feedback is temporarily suspended
The server is busy or spam protection is active. Please try again later.