서버 로그를 다 뒤져도 다음 검색 로봇이 한 번도 오지 않았습니다. 막힌 것이 아니라 등록이 안 되어 있었습니다. 다음에는 사람이 심사하는 "검색등록"과, 글이 실제로 수집되는 "웹마스터도구"가 따로 있습니다. 웹마스터도구에서 사이트 주소와 PIN 으로 등록하고, 받은 인증 줄을 robots.txt 맨 끝에 넣어 인증한 뒤 사이트맵을 제출합니다.
로봇이 한 번도 안 왔다
운영 중인 사이트의 nginx 로그를 남아 있는 것까지 전부 훑었는데 다음 검색 로봇의 방문이 한 줄도 없었습니다. robots.txt 로 막은 것도 아니었습니다. 처음부터 다음에 사이트가 등록되어 있지 않았던 것입니다.
찾아보니 창구가 둘이었습니다. 이름이 비슷해서 헷갈리기 쉽습니다.
| 창구 | 방식 | 이 글에서 |
|---|---|---|
| 검색등록 | 사람이 심사, 1에서 2주 걸림 | 쓰지 않음 |
| 웹마스터도구 (webmaster.daum.net) | 소유 인증 뒤 사이트맵, RSS 제출. 글이 실제로 수집되는 통로 | 이것으로 등록 |
계정이 아니라 PIN 으로 들어간다
웹마스터도구에는 따로 회원 가입이나 계정 로그인이 없습니다. 사이트 주소와 내가 정한 PIN 코드가 아이디와 비밀번호 역할을 합니다. PIN 은 영문과 숫자를 섞어 8에서 12자로 정합니다.
순서는 이렇습니다. PIN 을 정해 사용할 수 있는지 먼저 검사하고, 이용동의를 확인하면 인증용 문자열이 나옵니다. 이 문자열을 robots.txt 에 넣고 인증을 마치면, 그다음부터는 사이트 주소와 PIN 으로 들어갑니다.
PIN 이 곧 비밀번호이니 따로 적어 둡니다. 이용동의 뒤 24개월이 지나면 PIN 이 초기화된다고 안내되어 있습니다.
인증 줄은 robots.txt 맨 끝에
PIN 발급 화면에서 이용동의를 확인하면 robots.txt 하단에 넣으라는 한 줄이 나옵니다. #DaumWebMasterTool: 로 시작하는 주석 줄입니다. 아래는 값을 가린 모양입니다.
#DaumWebMasterTool:xxxxxxxx
주석이라 다른 검색 로봇의 규칙에는 영향이 없습니다. 다만 넣는 과정에서 기존 Sitemap: 줄을 지우면 안 됩니다. 워드프레스 SEO 플러그인의 robots 편집 화면은 기본 내용을 통째로 덮어쓰는 경우가 있어, 그 때문에 사이트맵 줄이 사라져 있던 적이 있었습니다. 이 문제는 robots.txt 에서 Sitemap 줄이 사라질 때에 따로 적었습니다.
워드프레스 가상 robots.txt 에 필터로 붙이기
이 사이트의 robots.txt 는 서버에 있는 실제 파일이 아니었습니다. 워드프레스가 요청을 받을 때마다 만들어 주는 가상 파일이었습니다. 그래서 파일을 새로 만들지 않고 robots_txt 필터로 맨 끝에 한 줄을 붙였습니다.
<?php
// wp-content/mu-plugins/daum-verify.php
add_filter( 'robots_txt', function ( $out ) {
return rtrim( $out ) . "\n\n#DaumWebMasterTool:xxxxxxxx\n";
}, 99 );
우선순위 99 는 다른 플러그인이 내용을 다 만든 뒤에 붙이려고 준 값입니다. mu-plugin 폴더에 두면 테마나 플러그인을 바꿔도 꺼지지 않습니다.
반대로 웹 루트에 실제 robots.txt 파일이 있으면 워드프레스의 가상 파일과 필터는 쓰이지 않습니다. 그때는 그 파일을 직접 고쳐야 합니다. 어느 쪽인지 모르겠으면 서버에서 웹 루트에 robots.txt 파일이 있는지부터 봅니다.
원본에는 있는데 바깥에서 안 보였다
필터를 넣고 서버 안에서 열어 보니 인증 줄이 바로 보였습니다. 그런데 바깥 주소로 열면 옛 내용 그대로였습니다. 응답 헤더를 보니 Cloudflare 가 robots.txt 를 캐시하고 있었습니다.
curl -sI https://example.com/robots.txt | grep -i -E "cf-cache-status|^age"
cf-cache-status: HIT
age: 417
HIT 은 캐시에 저장된 사본을 줬다는 뜻이고, age: 417 은 그 사본이 417초 전에 저장된 것이라는 뜻입니다. 원본이 바뀌어도 캐시가 풀릴 때까지는 옛 내용이 나갑니다.
원본에 반영됐는지만 먼저 보고 싶을 때는 주소 뒤에 쿼리 문자열을 붙여 캐시를 비켜 갑니다. 이렇게 하니 새 내용이 바로 보였습니다.
curl -s "https://example.com/robots.txt?x=$(date +%s)" | tail -n 3
바깥 주소에서도 몇 분 뒤에는 인증 줄이 보였습니다. 인증은 웹마스터도구가 바깥 주소를 읽어 확인하므로, 쿼리 없는 주소에 인증 줄이 보인 다음에 진행해야 헛걸음이 없습니다. 서버 앞단 캐시가 robots.txt 를 며칠씩 잡고 있던 경우(Age: 808226, 9일 치)도 있었는데, 그런 캐시를 지우는 이야기는 고친 파일이 CDN 캐시 때문에 옛것으로 보일 때에 모았습니다.
등록한 뒤 숫자를 API 로 읽을 때 생기는 착각은 서치콘솔 API 결과를 잘못 읽는 네 가지를 보세요.
인증 뒤 요약 화면과 확인
바깥 주소에 인증 줄이 보인 뒤 로봇룰 테스트와 인증을 거쳤습니다. 들어가 본 요약 화면은 이랬습니다.
| 요약 화면 항목 | 첫날 값 |
|---|---|
| 응답코드 | 200 |
| 서버연결 | 가능 |
| 수집상태 | 가능 |
| 수집, 색인, 검색 숫자 | 0 |
숫자가 0 인 것은 고장이 아니라 아직 수집 전이라는 뜻으로 봅니다. 그다음은 사이트맵과 RSS 주소를 제출하는 단계입니다. 이전에 등록할 때는 사이트맵 제출까지 실패 없이 됐습니다. 숫자가 언제부터 오르는지는 아직 확인하지 못했습니다.
실제로 검색에 들어갔는지는 다음 검색에서 site: 로 물어 확인합니다. 이때 주소의 w=tot 를 써야 결과가 바로 나옵니다. w=web 으로 물으면 자바스크립트로 다른 주소로 넘기는 화면이 먼저 와서 프로그램으로 확인할 때 헷갈립니다.
https://search.daum.net/search?q=site%3Aexample.com&w=tot
등록한 환경
| 항목 | 값 |
|---|---|
| 사이트 | 워드프레스, robots.txt 는 가상 파일 |
| 앞단 | Cloudflare 프록시 (robots.txt 캐시됨) |
| 인증 줄 넣은 곳 | mu-plugin 의 robots_txt 필터 |
| 등록한 날짜 | 2026년 10월 5일 |
이 글의 내용은 2026년 10월 17일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.