robots.txt 생성기

사용자 에이전트, 허용·차단 경로, crawl-delay, 사이트맵 URL, 그리고 흔한 AI 크롤러를 한 번에 차단하는 프리셋으로 robots.txt 파일을 생성합니다.

도구를 불러오는 중…

robots.txt 생성기 — 허용하거나 차단할 경로를 입력하고, 선택적으로 crawl-delay와 사이트맵 URL을 설정한 뒤, AI 크롤러 프리셋에 체크하면 바로 업로드할 수 있는 깔끔한 robots.txt가 만들어집니다. 파일은 입력하는 대로 실시간으로 조립되며 복사하거나 다운로드할 수 있습니다. 모든 작업은 브라우저 안에서 이루어지며, 경로나 규칙은 서버로 전송되지 않습니다.

robots.txt 생성기란?

robots.txt 생성기는 웹 크롤러가 사이트 루트에서 읽고 무엇을 가져올지 결정하는 robots.txt 파일을 만들어 주는 무료 브라우저 내 도구입니다. User-agent(기본값 *)를 설정하고, Disallow에 차단 경로를 한 줄에 하나씩, Allow에 예외를 입력하며, 필요하면 Crawl-delay와 Sitemap URL을 추가하면 도구가 이를 올바른 지시문으로 바꿔 줍니다. 또한 잘 알려진 AI 학습 크롤러(GPTBot, ClaudeBot, CCBot, Google-Extended)를 차단하는 체크박스 프리셋이 있어, 각 봇마다 별도 그룹을 덧붙입니다. 사이트 운영자, SEO 담당자, 개발자가 사이트를 공개할 때, 관리자·스테이징 경로를 검색엔진에서 숨길 때, 또는 AI 스크래핑을 거부할 때 사용합니다. 결과를 도메인 루트의 robots.txt라는 이름의 파일에 복사하거나, 다운로드 버튼을 사용하세요.

robots.txt 생성기 사용법

  1. 규칙을 적용할 사용자 에이전트를 입력하거나, 모든 크롤러 대상으로 *로 둡니다.
  2. Disallow 상자에 차단할 경로를 한 줄에 하나씩 입력합니다(예: /admin/ 또는 /private/).
  3. 차단한 폴더 안의 하위 경로를 다시 허용하려면 Allow에 예외를 한 줄에 하나씩 추가합니다.
  4. 필요하면 crawl-delay를 초 단위로 설정하고 전체 사이트맵 URL을 붙여 넣습니다.
  5. AI 크롤러 체크박스(GPTBot, ClaudeBot, CCBot, Google-Extended)에 체크해 콘텐츠 스크래핑을 막습니다.
  6. 생성된 robots.txt를 복사하거나 다운로드를 눌러 사이트 루트에 파일을 둡니다.

예시

관리자·스테이징 차단

입력

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

출력

User-agent: *
Disallow: /admin/
Disallow: /staging/

Sitemap: https://example.com/sitemap.xml

차단 폴더 안에서 허용

입력

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

출력

User-agent: *
Disallow: /downloads/
Allow: /downloads/public/

AI 크롤러 거부

입력

GPTBot, ClaudeBot, CCBot, Google-Extended 차단

출력

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

자주 묻는 질문

robots.txt는 실제로 무슨 일을 하나요?
사이트 루트에 있는 일반 텍스트 파일로, User-agent별로 묶은 Allow와 Disallow 규칙으로 규약을 지키는 크롤러에게 어떤 경로를 요청해도 되는지 알려 줍니다. 강제가 아니라 요청입니다. Googlebot 같은 예의 바른 봇은 따르지만, 이를 무시하는 도구의 접근은 막지 못하므로 정말 민감한 데이터를 숨기는 용도로는 절대 쓰지 마세요.
AI 크롤러 차단 프리셋은 어떻게 동작하나요?
각 체크박스는 'User-agent: GPTBot' 다음에 'Disallow: /'를 두는 전용 그룹을 덧붙여, 그 크롤러에게 어떤 페이지도 가져오지 말라고 요청합니다. GPTBot은 OpenAI, ClaudeBot은 Anthropic의 크롤러이고, CCBot은 Common Crawl, Google-Extended는 Google의 AI 모델에 콘텐츠가 쓰이는지를 제어합니다. 체크하면 해당 그룹이 추가되고, 해제하면 제거됩니다.
Allow와 Disallow의 차이는 무엇인가요?
Disallow는 크롤러가 요청하지 말아야 할 경로 접두사를 나열하고, Allow는 차단된 폴더 안의 더 구체적인 하위 경로를 다시 허용합니다. 예를 들어 Disallow: /files/와 Allow: /files/public/을 함께 쓰면 폴더 전체를 차단하면서도 public 하위 폴더는 크롤링 가능하게 둡니다. 각 상자에 한 줄에 하나씩 경로를 입력하세요.
생성된 파일은 어디에 두나요?
이름이 정확히 robots.txt인 파일로 저장해 도메인 루트에 업로드하면 https://yourdomain.com/robots.txt에서 접근할 수 있습니다. 크롤러는 그곳만 보며, 하위 폴더의 robots.txt는 무시됩니다. 다운로드 버튼으로 바로 저장할 수 있습니다.
입력한 내용이 서버로 전송되나요?
아니요. robots.txt는 전적으로 브라우저 안에서 JavaScript로 생성됩니다. 경로, 사용자 에이전트, 사이트맵 URL, 선택 사항은 업로드·저장·전송되지 않으므로 비공개나 출시 전 사이트의 규칙을 작성해도 안전합니다.

관련 도구

hreflang 태그 생성기

로캘과 URL 쌍 목록으로 다국어 페이지용 hreflang link 태그를 생성하며, x-default와 자기참조 태그도 선택할 수 있습니다.

JSON-LD 생성기

간단한 폼으로 Article·Product·FAQPage·HowTo·LocalBusiness·Event·Recipe·BreadcrumbList·Organization 스키마용 유효한 JSON-LD 구조화 데이터를 생성합니다.

키워드 밀도 검사기

임의의 텍스트를 분석해 1·2·3개 단어 구 단위로 단어 빈도와 키워드 밀도를 집계하고, 과최적화 경고를 표시합니다.

메타 태그 생성기

제목, 설명, 정식 URL, 이미지, 사이트 이름으로 페이지의 SEO·Open Graph·트위터 카드 메타 태그를 생성합니다.