서버 로그로 검색봇을 셀 때 내 curl 요청이 섞이는 문제

먼저 결론

겪은 일: 서버 로그로 검색봇이 사이트맵을 읽는지 세는데, 결론이 네 번 연속 뒤집혔습니다.

원인: 봇 UA 를 흉내 내 보낸 내 검증용 curl 이 로그에 그대로 쌓여 진짜 봇으로 세어졌습니다. 보던 로그 파일도 진짜가 아니었습니다.

이렇게 풀었다: 검증 요청 UA 끝에 고정 표식을 붙여 집계에서 빼고, nginx 의 access_log 지시어로 진짜 파일을 찾고, 다른 봇을 대조군으로 세웁니다.

검색봇이 내 사이트를 어떻게 읽는지 알고 싶을 때 가장 먼저 여는 것이 access.log 입니다. 그런데 로그에는 봇만 남는 것이 아닙니다. 진단하려고 내가 보낸 요청도 같이 남고, 그 요청이 봇과 똑같이 생겼다면 둘을 가를 방법이 없습니다.

아래는 운영 중인 서버에서 실제로 틀린 순서대로 적은 것입니다. 한 번은 내 요청 때문에, 한 번은 엉뚱한 파일 때문에, 한 번은 꺼져 있던 기록 때문에 틀렸습니다.

결론이 네 번 뒤집힌 하루

한 검색엔진(아래에서는 검색엔진 B 라고 부릅니다)의 크롤러가 사이트맵을 읽는지 확인하던 날이었습니다. "안 읽는다"에서 "읽고 있다"로, 다시 "안 읽는다"로 결론이 네 번 오갔습니다. 매번 원인은 같았습니다.

응답을 확인하려고 그 크롤러의 UA 를 흉내 내 curl -A 로 요청을 보냈고, 그 요청이 로그에 쌓였습니다. 다음 집계 때는 그 줄이 진짜 크롤러 방문으로 세어졌습니다. 네 번 중 한 번은 또 다른 실수였는데, 결과의 상위 몇 줄만 보고 "사이트맵 요청이 없다"고 단정한 것입니다.

틀린 이유 그때 내린 판정 바로잡은 뒤
내 curl 이 봇으로 세어짐 검색엔진 B 가 사이트맵을 읽는다 대조군을 세우자 구글은 3에서 8회, 검색엔진 B 는 0에서 1회
공용 로그 파일을 봄 구글봇은 robots.txt 만 가져간다 도메인별 로그로는 글 1편, 빙은 318편
정적 파일 기록이 꺼져 있음 CSS 와 이미지를 받은 방문이 0 nginx 가 정적 파일 기록을 남기지 않았음
상위 몇 줄만 봄 사이트맵 요청이 없다 전수로 세어야 했음

캐시버스터를 붙여도 못 거른 이유

처음 떠올린 방법은 내 요청에만 ?cb=1 같은 파라미터를 붙여 나중에 빼는 것이었습니다. 그런데 이것만으로는 다 걸러지지 않았습니다.

curl -L 로 리다이렉트를 따라가면 두 번째 요청에는 파라미터가 붙지 않습니다. 예를 들어 /RSS?cb=1 이 301 로 /feed/ 를 가리키면, 로그에는 /feed/ 가 파라미터 없이 한 줄 더 남습니다. 이 줄은 진짜 봇 방문과 구별할 수 없습니다.

UA 끝에 표식을 붙이고 집계에서 뺀다

리다이렉트를 따라가도 UA 는 그대로 유지됩니다. 그래서 검증 요청의 UA 끝에 나만 쓰는 고정 표식을 붙이는 것이 가장 확실했습니다. 표식 문자열은 무엇이든 되지만, 진짜 UA 에 나올 일이 없는 말로 고릅니다.

# 검증 요청: 봇 UA 뒤에 표식을 붙인다
curl -sL -A "Mozilla/5.0 (compatible; SomeBot/1.0) MyVerify" "https://example.com/sitemap.xml" -o /dev/null

# 집계: 표식이 있는 줄을 먼저 빼고 센다
grep -v MyVerify /var/log/nginx/example.com.access.log | grep -c "SomeBot.*sitemap"

표식 없이 이미 보낸 요청이 섞여 있다면, 내가 검증을 돌린 시간대를 통째로 빼고 셉니다. 아깝더라도 그 구간을 남겨 두는 것보다 낫습니다.

그 로그 파일이 진짜인지부터

다른 날에는 공용 /var/log/nginx/access.log 를 보고 "구글봇이 robots.txt 만 가져간다"고 판정했습니다. 그런데 그 사이트의 진짜 기록은 server 블록의 access_log 지시어가 가리키는 도메인별 파일에 있었습니다. 공용 로그로는 글 크롤이 0회였지만 도메인별 로그로는 구글이 1편, 빙이 318편을 읽고 있었습니다.

grep -rn "access_log" /etc/nginx/

이 한 줄로 사이트마다 어느 파일에 기록하는지, access_log off 로 꺼 둔 곳이 있는지가 바로 나옵니다. 로그를 열기 전에 먼저 돌립니다.

꺼져 있던 기록이 만든 0

사람과 봇을 "CSS 와 이미지도 받아 갔나"로 가르려 한 적이 있습니다. 결과는 사람까지 전부 0 이었습니다. nginx 설정에서 정적 파일 위치에 access_log off 가 걸려 있어 애초에 기록이 없었던 것입니다.

그 0을 믿었다면 사람 방문까지 봇으로 몰았을 것입니다. 어떤 잣대를 쓰기 전에, 그 잣대가 로그에 남는 값인지부터 확인해야 합니다. 결과가 지나치게 깔끔하게 0 이거나 100% 라면 측정 쪽을 먼저 의심합니다.

대조군을 세우면 결론이 선다

네 번 뒤집힌 진단을 끝낸 것은 대조군이었습니다. 같은 구간에서 구글봇이 같은 사이트맵을 몇 번 읽는지를 나란히 셌습니다. 구글은 3에서 8회, 검색엔진 B 는 0에서 1회였습니다.

이렇게 보면 "서버가 막고 있나"와 "그 검색엔진이 안 오나"가 바로 갈립니다. 서버 문제라면 구글봇도 똑같이 못 읽어야 하기 때문입니다. 한쪽만 0 이면 서버가 아니라 그 크롤러 쪽 사정입니다.

  1. 로그 파일 위치를 access_log 지시어로 확인한다
  2. 내 검증 요청은 표식으로 빼거나 그 시간대를 뺀다
  3. 같은 구간의 다른 봇을 함께 센다
  4. 상위 몇 줄이 아니라 전수를 센다

함께 보면 좋은 글

로그 줄의 시각과 파일 시각을 헷갈린 일은 로그로 상태를 판정하다 틀리는 세 가지에 적었습니다. 로그의 방문자 IP 가 전부 프록시 주소로 찍힌다면 nginx 뒤 워드프레스에서 방문자 IP 가 클라우드플레어 주소로 찍힐 때를 먼저 보세요.

이 글의 내용은 2026년 10월 9일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.