rclone corrupted on transfer 로 백업이 실패할 때

먼저 결론

겪은 일: 서버 파일을 PC 로 받는 매일 백업이 10월 1일, 3일, 8일, 9일에 rclone 오류(rc=1, "corrupted on transfer")로 실패했고, 그 여파로 주말 묶음까지 두 서버를 통째로 건너뛰었습니다.

원인: 받는 동안에도 쉬지 않고 바뀌는 SQLite DB 와 nginx 기록을 그대로 받았습니다. rclone 은 받은 뒤 원본을 다시 재 대조하는데, 그새 원본이 바뀌어 손상으로 판정했습니다.

이렇게 고쳤다: DB 는 받기 직전 서버에서 안전 사본을 떠서 그 사본을 받고, 계속 덧붙는 기록은 크기와 지문 대조를 끕니다. 묶음 단계는 서버마다 따로 성공을 판정합니다.

실패한 날 넷, 원인은 두 종류

날짜 어긋난 파일 어긋난 값
10월 1일 공용 SQLite DB (148MB, WAL 모드) md5 또는 크기
10월 3일 같은 DB md5 또는 크기
10월 8일 같은 DB md5 또는 크기
10월 9일 nginx 기록 폴더 md5 또는 크기

셋은 DB 였고 하나는 기록 파일이었습니다. 둘 다 백업이 도는 시각에도 다른 프로그램이 쓰고 있는 파일이라는 점이 같았습니다. 백업 점검기가 "마지막 백업 12일 전"이라는 나쁨을 두 줄 내고서야 알았습니다.

그 점검기는 백업을 만드는 코드와 따로 돌고, 완료 표시가 아니라 실제로 받아 둔 파일의 날짜를 봅니다. 백업 코드가 스스로 "끝났다"고 적는 것만 믿었다면 더 늦게 알았을 것입니다.

rclone 이 손상이라고 한 까닭

rclone 은 파일을 받은 뒤 원본과 받은 것의 크기와 지문(md5 같은 해시)을 맞춰 봅니다. 받는 데 몇 초라도 걸리는 사이 원본이 바뀌면 둘은 어긋나고, rclone 은 이것을 전송 중 손상으로 봅니다. 파일이 실제로 망가진 것은 아니지만 그날 받기 전체가 실패로 끝납니다.

DB 는 문제가 하나 더 있습니다. WAL 모드 SQLite 는 쓰는 내용이 본 파일과 -wal 파일에 나뉘어 있습니다. 쓰이는 중에 본 파일만 그대로 복사하면 대조를 통과하더라도 내용이 한 시점으로 맞는다는 보장이 없습니다. 잠금이 걸리는 상황은 SQLite database is locked 로 배치가 죽을 때에 따로 적었습니다.

파일 성격마다 처방이 다르다

파일 성격 처방
SQLite DB (WAL) 쓰이는 중, 한 시점이 중요 서버에서 안전 사본을 떠서 그것을 받음
nginx 기록 끝에 계속 덧붙음, 조금 늦은 판도 괜찮음 크기와 지문 대조를 끔
MySQL (전 테이블 InnoDB) 쓰이는 중 mysqldump --single-transaction 으로 잠금 없이 받음

DB 안전 사본은 SQLite 의 backup 기능으로 뜹니다. 쓰는 프로그램을 멈추지 않아도 한 시점의 온전한 사본이 나옵니다. 받기 전에 그 사본이 멀쩡한지 한 번 더 봅니다.

# 받기 직전, 서버에서
sqlite3 /srv/app/shared.db ".backup '/srv/app/snap/shared.db'"
sqlite3 /srv/app/snap/shared.db "PRAGMA quick_check;"   # ok 가 나와야 함

# PC 에서: DB 는 사본 자리를, 기록 폴더는 대조를 끄고 받는다
rclone copy serverA:/srv/app/snap/ ./backup/db/
rclone copy serverA:/var/log/nginx/ ./backup/nginx/ --ignore-size --ignore-checksum

기록 파일의 대조를 끄면 받은 사본이 원본보다 몇 줄 짧을 수 있습니다. 기록은 다음 날 다시 받으니 그 정도는 받아들였습니다. 반대로 DB 에서 대조를 끄는 것은 답이 아닙니다. 어긋남을 숨길 뿐 한 시점 사본이라는 보장은 생기지 않습니다.

실패 하나가 주말 묶음을 멈춘 구조

피해를 키운 것은 그다음 단계였습니다. 매일 받기가 "실패"로 끝나자, 일요일에 그 사본을 묶어 클라우드 저장소로 올리는 단계가 두 서버를 통째로 건너뛰었습니다. DB 하나가 어긋났을 뿐인데 그 서버의 다른 파일까지 주간 보관에서 빠졌습니다.

그래서 성공 여부를 서버나 폴더 단위로 따로 판정하게 바꿨습니다. 한 폴더가 실패해도 나머지는 그대로 묶게 했습니다. 백업이 있다고 믿었는데 사실은 비어 있던 다른 경우는 서버 백업이라고 믿었는데 백업이 아니었던 경우에 적었습니다.

백업 대상을 더할 때 묻는 것

  • 그 폴더 안에 지금 쓰이는 DB 가 있는가. 있으면 사본을 뜨는 단계를 먼저 만듭니다.
  • 계속 커지는 기록 파일이 있는가. 있으면 대조를 끌지, 따로 받을지 정합니다.
  • 한 곳이 실패하면 무엇까지 멈추는가. 멈추는 범위가 크면 단위를 나눕니다.
확인한 환경 값
받는 쪽 Windows PC, rclone
보내는 쪽 리눅스 서버, SQLite WAL DB, nginx
실패한 날 2026년 10월 1일, 3일, 8일, 9일

이 글의 내용은 2026년 10월 20일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.