감시 화면은 늘 초록인데 뒤에서는 멈춰 있을 때, 0 개와 자료 없음

먼저 결론
증상: 관리 화면이 세는 대상이 0 개일 때 초록 "정상"을 내서, 자료를 만드는 쪽이 죽어도 화면은 계속 초록이었습니다.
원인: 0 은 "일이 없었다"와 "자료가 안 들어왔다" 둘 다를 뜻하는데, 화면이 둘을 같은 색으로 그렸습니다.
해결: 0 이면 초록 대신 "그 자료가 오지 않았습니다"로 가르는 부품 하나를 만들어 모든 칸이 쓰게 했고, 멈춤은 자료가 실제로 들어온 마지막 때로 쟀습니다.

감시 화면은 두 방향으로 틀릴 수 있습니다. 멈췄는데 정상이라고 하거나, 멀쩡한데 멈췄다고 하는 것입니다. 운영 중인 관리 화면에서 두 가지를 다 겪었습니다. 앞의 것은 아무도 못 보고 지나가서 더 위험했고, 뒤의 것은 거짓 경보가 쌓이면 진짜 경보까지 못 믿게 만듭니다.

틀린 방향 둘을 나란히

초록인데 멈춰 있음 빨간데 멀쩡함
본 것 검사가 죽었는데 "경보 없음, 정상" 1분마다 도는 작업이 "8분째 안 돈다"
뿌리 0 과 자료 없음을 같은 초록으로 그림 살아 있음 기록을 지금 시각과 비교
발견 전체 코드 점검에서 여덟 군데 화면을 만들자마자 거짓 경보
고친 것 0 이면 "자료가 오지 않았습니다" 자료 만든 때(generated_at) 기준으로 나이 계산

초록인데 멈춰 있던 경우

가장 위험했던 것은 경보 칸이었다

화면 코드 전체를 점검하니, 세는 대상이 0 개일 때 초록을 내는 길이 여덟 군데 있었습니다. 가장 위험한 것은 같은 결과물이 두 번 나간 것을 잡는 중복 결과물 경보였습니다. 이 경보는 검사 자체가 죽어도 화면에 "경보 없음, 정상"을 띄웠습니다. 검사가 안 돌면 경보도 0 개이기 때문입니다.

그 전에 예약 작업 하나가 이틀 멈췄을 때도 같은 모양이었습니다. 화면이 깨지는 결함은 눈에 띄지만, 문제가 있는데 조용한 것은 아무도 보지 못합니다.

0 이 숨는 다른 길 셋

  • 빈 날을 0 으로 세는 지표. 처리 건수처럼 아무 일이 없던 날을 0 으로 채우면 마지막 날짜가 늘 오늘이 됩니다. "마지막 자료가 며칠 전인가"로 멈춤을 재면 영영 안 걸립니다.
  • 자료가 없다고 칸을 지우기. 칸 9개가 8개로 줄어도 순서가 고정이라 빈자리가 안 보입니다. 아무도 눈치채지 못했습니다.
  • 빈 catch. 요청을 받는 창구가 죽었는데, 오류를 삼킨 화면은 "아직 요청이 없습니다"라고 말했습니다.

로그를 볼 때도 같은 함정이 있습니다. 아무 줄도 없다는 것이 "잘 돌았다"인지 "아예 안 돌았다"인지는 서버 로그로 상태를 판정하다 틀리는 실수와 크론이 돈다고 찍히는데 실제로는 안 돌 때에서 다뤘습니다.

빨간데 멀쩡하던 경우

이번에는 반대였습니다. 1분마다 도는 발송 작업이 멀쩡히 돌고 있는데, 화면은 "8분째 안 돈다"고 빨갛게 떴습니다.

자료 파일은 5분마다 새로 만들어지고, 화면은 3분마다 그 파일을 읽었습니다. 살아 있음 기록의 나이를 지금 시각과 비교하면, 자료 주기와 읽는 주기가 겹쳐 최대 8분까지 낡아 보입니다. 작업이 아니라 자료가 늦은 것이었습니다.

그래서 나이를 이렇게 바꿨습니다. 살아 있음의 나이는 자료를 만든 때에서 마지막 기록을 뺀 값입니다. 자료 자체가 낡은 것은 따로 "자료가 N분째 안 옵니다" 띠로 알립니다. 둘을 섞으면 자료 주기만큼 늘 거짓 경보가 납니다.

// 작업의 나이: 지금이 아니라 자료를 만든 때 기준
const workerAge = data.generated_at - data.last_heartbeat
// 자료의 나이: 이것만 지금 시각과 비교
const dataAge = Date.now() - data.generated_at

고친 규칙

  1. 부품은 하나. 0 개면 초록을 내지 않고 "그 자료가 오지 않았습니다"로 가르는 okOrNoData 하나를 만들어 관련 칸이 전부 씁니다. 같은 규칙을 칸마다 따로 적으면 반드시 어긋납니다.
  2. 칸을 지우지 않는다. 자료가 없으면 "못 읽었습니다" 한 줄이라도 남깁니다.
  3. 멈춤은 실제로 들어온 마지막 날로. 0 으로 채운 날은 세지 않고, 예약이 미리 만든 미래 날짜도 뺍니다.
  4. 허용치는 지표마다. 검색 통계 5일, 방문 2일, 작업 1일로 따로 둡니다. 하나로 뭉치면 사흘 멈춘 것을 "원래 늦게 옵니다"로 넘깁니다.
  5. 보내온 errors 를 읽는다. 자료를 만드는 쪽이 적어 보낸 errors 를 화면이 반드시 읽고 보여 줍니다.
// 자료를 받았는지 먼저 가르고, 받았을 때만 칸 고유의 판정을 쓴다
function okOrNoData(value, receivedAt, judge) {
  if (receivedAt == null) return { color: 'gray', text: '그 자료가 오지 않았습니다' }
  return judge(value)   // 예: 경보 칸이면 0 은 초록, 1 이상은 빨강
}

비슷한 사건

저장 실패가 화면에서 성공으로 보였던 비슷한 사건은 fetch 가 403 을 성공으로 넘겨 저장한 표시가 되돌아올 때에 적었습니다. 이런 결함을 잡는 시험이 정말 결함을 보고 있는지 확인하는 방법(고치기 전 코드로 먼저 돌려 보기)도 그 글에 함께 있습니다.

확인한 때

항목 내용
0 과 자료 없음 점검 2026년 9월 23일, 관리 화면 전체 코드 점검
거짓 "8분째" 경보 2026년 10월 10일, 작업 1분, 자료 5분, 화면 3분 주기

이 글의 내용은 2026년 10월 25일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.