증상: robots.txt에서 Sitemap: 줄이 사라졌거나, 워드프레스에서 고쳐도 반영되지 않았습니다.
원인: Rank Math의 robots 편집이 기본 내용을 통째로 덮어쓰고, 물리 파일이 설정을 이기고, 캐시가 옛 파일을 잡고, 클라우드플레어가 덮어쓰는 경우가 있었습니다.
해결: 편집할 때 Sitemap: 줄을 함께 적고, 물리 파일과 캐시와 클라우드플레어 설정을 차례로 확인하고, 사이트맵은 검색엔진에 직접 제출합니다.
있어야 할 한 줄이 없었다
robots.txt의 Sitemap: 줄은 검색엔진이 사이트맵 주소를 스스로 찾게 해 주는 줄입니다. 그런데 제 사이트에서 이 줄이 사라져 있던 일이 한 번이 아니었습니다. 누가 지운 기억은 없었습니다.
비슷한 일이 다른 모양으로도 나타났습니다. 한 번은 워드프레스에서 robots 설정을 바꿔도 화면에 반영되지 않았습니다. 또 한 번은 고친 robots.txt를 열었는데 9일 묵은 옛 내용이 나왔습니다. 또 다른 때는 넣은 적 없는 AI 봇 차단 줄이 저절로 붙어 있고 사이트맵 줄은 보이지 않았습니다.
네 곳이 robots.txt를 만들거나 가로챈다
robots.txt는 하나의 파일처럼 보이지만, 실제로 응답을 만드는 곳이 여럿입니다. 어느 층이 응답을 만들었는지에 따라 고칠 곳이 다릅니다.
| 증상 | 원인 | 고칠 곳 |
|---|---|---|
| Sitemap 줄이 사라짐 | Rank Math의 robots 편집은 기본 내용을 통째로 덮어쓴다 | 편집 칸에 Sitemap 줄을 직접 함께 적는다 |
| 워드프레스에서 바꿔도 그대로 | 서버에 물리 robots.txt 파일이 있으면 워드프레스 설정이 무시된다 | 그 파일을 직접 고친다 |
| 고쳤는데 옛 내용이 나옴 | 관리형 호스팅의 Varnish 캐시가 robots.txt를 며칠씩 잡는다(Age: 808226, 9일) | 고친 뒤 캐시를 비운다 |
| AI 봇 차단 줄이 붙고 Sitemap 줄이 안 보임 | 클라우드플레어 Managed robots.txt가 워드프레스 것을 덮어쓴다 | 그 기능을 끄거나, 사이트맵을 직접 제출한다 |
첫째 경우는 robots.txt에 다른 줄 하나를 넣으려다 생겼습니다. 편집 칸에 새 줄만 적고 저장하니, 그동안 자동으로 나오던 기본 내용과 Sitemap: 줄이 함께 사라졌습니다. 편집 칸에 적는 순간 그 내용이 robots.txt 전체가 되는 방식이기 때문입니다.
바깥 층부터 차례로 확인한다
먼저 지금 실제로 나가는 응답을 봅니다. 응답 머리글의 Age가 크면 캐시가 준 것이고, 내용에 넣은 적 없는 AI 봇 차단 줄이 있으면 클라우드플레어가 만든 것을 의심합니다.
curl -sI https://example.com/robots.txt | grep -i -E "^age|cache"
curl -s https://example.com/robots.txt다음으로 서버에 물리 파일이 있는지 봅니다. 워드프레스 설치 폴더에 robots.txt 파일이 있으면, 플러그인 설정 화면에서 아무리 바꿔도 이 파일이 나갑니다.
ls -l /var/www/example.com/robots.txt원인에 맞게 고칩니다.
- Rank Math에서 robots를 편집한다면 편집 칸에
Sitemap:줄을 반드시 함께 둡니다. - 물리 파일이 있으면 그 파일을 직접 고칩니다.
- 고친 뒤에는 호스팅의 캐시를 비웁니다. 관리형 호스팅이라면 패널의 캐시 비우기나 호스팅 API의 퍼지 기능을 씁니다.
- 클라우드플레어를 쓰면 대시보드에서 Managed robots.txt를 끄거나, 그대로 두고 사이트맵을 검색엔진마다 직접 제출합니다.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml위는 Rank Math 편집 칸에 넣을 때의 예시 모양입니다. 사이트맵 주소는 각자 사이트의 실제 주소로 바꿉니다. 사이트맵 자체가 404라면 robots.txt보다 그쪽이 먼저인데, Rank Math 사이트맵이 404일 때에 따로 적었습니다.
고쳐졌는지 확인하는 법
캐시를 비운 뒤 다시 받아서 Sitemap: 줄이 있는지, Age가 0에 가까운지 봅니다. 그리고 robots.txt에만 기대지 않습니다. 사이트맵은 서치콘솔 같은 검색엔진 도구에 직접 제출하는 것이 어차피 정공법입니다.
제출한 사이트맵이 실제로 읽히는지는 제출 여부가 아니라 마지막으로 읽힌 날짜로 봐야 합니다. 이 부분은 서치콘솔 사이트맵이 안 읽힐 때에 정리했습니다. 네 원인은 서로 다른 때, 다른 사이트에서 겪은 것이고, 한 사이트에서 차례로 재현해 보지는 않았습니다.
확인한 환경
| 항목 | 값 |
|---|---|
| CMS | 워드프레스, Rank Math SEO |
| 캐시 | 관리형 호스팅의 Varnish |
| CDN | 클라우드플레어 |
이 글의 내용은 2026년 10월 5일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.