py_compile 검사를 통과했는데 라이브 서버가 죽었을 때

먼저 결론

문법 검사, 스모크 시험을 통과시키고 설치했는데 라이브에서 깨진 파일이 돌거나, 보호 장치만 조용히 꺼지거나, 실제 실행이 전부 죽었습니다. 줄바꿈과 && 사슬이 검사 실패를 막지 못했고, py_compile 은 이름 오류를 못 잡고, 스모크 입력이 실제 데이터와 모양이 달랐습니다. 단계마다 검사 || exit 1 로 끊고, 설치 전에 후보 파일의 핵심 함수를 실제로 부르고, 실제 산출물의 필드 타입으로 시험을 짜고 끝까지 한 번 돌립니다.

검사를 넣어 두면 "통과했으니 괜찮다"는 생각이 듭니다. 그런데 검사가 무엇을 잡고 무엇을 못 잡는지를 모르면, 통과는 아무것도 보장하지 않습니다. 아래 네 가지는 모두 검사를 거친 뒤에 라이브에서 터진 일입니다.

검사마다 놓친 것

믿었던 검사 실제로 놓친 것 드러난 모습
로컬 문법 검사 실패해도 다음 줄의 설치가 그대로 돎 깨진 파일이 라이브에 설치, 1분 뒤 되돌림
서버의 py_compile ... && echo 통과 set -e 아래에서도 멈추지 않음 백업과 설치까지 진행
py_compile import re 가 없는 이름 오류 보호 장치만 꺼진 채 정상처럼 보임
직접 만든 스모크 시험 실제 필드는 문자열이 아니라 dict 실제 실행에서 AttributeError 로 3회 전부 죽음

검사가 떨어졌는데 설치까지 간 날

새벽 5시 24분, 매시 도는 작업 파일에 알림 기능을 넣다가 문법이 깨진 파일이 라이브에 설치됐습니다. 다음 실행 1분 전인 5시 25분에 백업으로 되돌려 피해는 없었습니다. 원인은 세 가지가 겹친 것이었습니다.

첫째, 로컬 파이썬 치환 스크립트의 삼중 따옴표 안에 "\\n" 을 썼더니 진짜 줄바꿈으로 들어가 문자열이 깨졌습니다. 둘째, 로컬 검사는 실패했지만 다음 줄의 scp ... && ssh ... 는 앞 줄과 && 로 이어져 있지 않아 그대로 돌았습니다. 줄바꿈이 사슬을 끊은 것입니다.

셋째, 서버 쪽 스크립트에는 set -e 가 있었지만 소용이 없었습니다. bash 의 set -e 는 && 목록 안에서 마지막이 아닌 명령이 실패할 때는 스크립트를 멈추지 않습니다.

set -e
python3 -m py_compile new_job.py && echo "통과"   # 실패해도 여기서 안 멈춘다
cp /opt/app/job.py /opt/app/job.py.bak
cp new_job.py /opt/app/job.py                     # 깨진 파일이 설치된다

지금은 단계마다 실패하면 끝내도록 씁니다.

python3 -m py_compile new_job.py || exit 1
python3 -c "import importlib.util as u; s=u.spec_from_file_location('c','new_job.py'); m=u.module_from_spec(s); s.loader.exec_module(m); m.check_once()" || exit 1
cp /opt/app/job.py /opt/app/job.py.bak || exit 1
cp new_job.py /opt/app/job.py

로컬 준비와 원격 설치를 한 번에 돌릴 때도 줄 사이를 && 로 잇거나 줄마다 || exit 1 을 붙입니다. 치환 코드에 줄바꿈 글자가 필요하면 원시 문자열이나 chr(10) 을 씁니다.

py_compile 은 이름을 모른다

다른 날에는 검사 함수에 낱말 경계 검사를 넣으며 re 를 썼는데, 그 파일 위쪽에 import re 가 없었습니다. py_compile 은 통과했습니다. 문법 검사는 이름이 실제로 있는지, 속성이 있는지, 인자가 맞는지를 보지 않기 때문입니다.

더 나빴던 것은 그 함수가 "검사가 실패하면 막지 않고 통과시킨다"(fail-open)로 설계돼 있었다는 점입니다. 예외가 나도 본 작업은 그대로 돌아, 보호 장치만 꺼진 채 시스템은 멀쩡해 보였습니다. 직접 시험을 돌려 오류 문구를 보지 않았다면 몰랐을 것입니다.

  • 새 코드가 re, json, datetime 같은 표준 모듈을 쓰면 그 파일에 import 가 있는지 먼저 grep 합니다.
  • fail-open 자리에는 예외를 먹을 때마다 알림이나 카운터를 남깁니다. "돌고 있다"와 "보호되고 있다"는 다른 말입니다.

비슷하게, 새 필드 하나가 다른 함수의 지역변수를 참조해 NameError 로 죽은 일도 있었습니다. 이것은 로그 앞부분의 정상 문구에 가려 이틀 동안 못 봤는데, 그 이야기는 로그로 상태를 판정하다 틀리는 세 가지에 적었습니다.

내가 상상한 데이터로 짠 스모크

검사기에 낱말 검사를 붙이고 스모크 입력을 {"meta": "짧은 설명", "tags": [...]} 로 넣어 통과시켰습니다. 그런데 실제 산출물의 meta 는 {"description": ...} 모양의 dict 였고, 태그 키 이름도 tags 가 아니라 tag_names 였습니다.

결과는 두 가지였습니다. 실제 실행이 AttributeError 로 3회 전부 죽었고, 태그 검사는 없는 키를 읽어 늘 빈 목록만 보고 있었으니 처음부터 아무것도 하지 않았습니다. 스모크는 내가 상상한 모양을 시험했을 뿐입니다.

import json
d = json.load(open("output/sample_real.json"))
print(type(d.get("meta")), list(d.keys()))   # 실제 타입과 키를 먼저 본다

실제 산출물 하나를 열어 필드 타입을 확인하고, 그 구조를 그대로 복제해 스모크를 짭니다. 여러 곳에서 부르는 공용 함수라면 문자열이 아닌 입력에도 죽지 않게 타입 검사를 넣습니다.

켜기 전에 끝까지 한 번

네 경우의 공통점은 "부분을 시험하고 전체가 된다고 말했다"는 것입니다. 지금은 설치 순서를 이렇게 고정했습니다. 문법 검사, 후보 파일로 핵심 함수 한 번 호출, 실제 산출물 구조로 스모크, 그리고 라이브 경로를 바꿨다면 켜기 전에 실제 입력 하나로 끝에서 끝까지 한 번 돌리기입니다.

설치 뒤에 예약 작업이 실제로 도는지까지는 이 글의 범위 밖입니다. 그 부분은 리눅스 크론이 돈다고 찍히는데 실제로는 안 돌 때를 보세요. 패치 스크립트가 쓰기 전에 검사하게 만드는 방법은 문자열 치환 패치 사고에 있습니다.

검사는 통과했는데 다른 사본의 모듈이 불려 와 틀린 경우는 같은 이름 모듈이 sys.path 순서로 엉뚱하게 잡힐 때에 있습니다.

이 글의 내용은 2026년 10월 15일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.