증상: 6코어 서버에서 ONNX 음성 합성 엔진에 코어를 전부 맡기니 한 문장에 3.67초였고, 코어를 셋으로 묶자 2.89초로 빨라졌습니다.
원인: 작은 모델은 코어를 많이 쓰면 스레드끼리 맞추는 비용이 계산 이득보다 커졌습니다.
해결:
intra_op_num_threads = 3, inter_op_num_threads = 1 로 묶고, 최적값은 자기 환경에서 None, 3, 2, 1 을 직접 재서 고릅니다.통념과 반대였던 숫자
CPU 로 도는 모델은 코어를 많이 줄수록 빠를 것이라고 생각하기 쉽습니다. 6코어 클라우드 서버에서 ONNX 기반 음성 합성 엔진(supertonic-3)으로 약 35자 한 문장을 합성하며 재 보니 결과는 반대였습니다.
| 엔진 하나에 준 코어 | 걸린 시간 | 기본값 대비 |
|---|---|---|
| 여섯 (제한 없음, 기본값) | 3.67초 | 1.00배 |
| 셋 | 2.89초 | 0.79배 |
| 둘 | 3.10초 | 0.84배 |
| 하나 | 4.90초 | 1.33배 |
셋일 때 가장 빨랐고, 기본값보다 약 20% 짧았습니다. 하나로 줄이면 그때는 느려졌습니다. 즉 "적을수록 빠르다"가 아니라 "전부는 너무 많다"에 가깝습니다.
왜 전부 주면 느려지나
ONNX Runtime 은 연산 하나를 여러 스레드로 나눠 계산합니다. 나눈 조각이 끝날 때마다 스레드끼리 서로 기다리고 맞추는 일이 생기는데, 모델이 작으면 조각 하나의 계산량이 적어 이 맞추는 비용이 이득보다 커집니다.
이런 성질은 수십에서 수백 MB 크기의 작은 모델에서 흔하다고 알려져 있습니다. 이 엔진의 정확한 모델 크기는 기록해 두지 못했습니다. 모델이 클수록 조각 하나가 무거워져 반대로 코어를 많이 줄수록 이득이 될 수 있습니다. 그래서 위 숫자는 이 모델과 이 CPU 의 결과로만 봐야 합니다.
코어 수를 거는 법
ONNX Runtime 을 직접 쓸 때는 세션 옵션에 넣습니다. intra_op_num_threads 는 연산 하나 안에서 쓰는 스레드 수, inter_op_num_threads 는 서로 다른 연산을 동시에 돌리는 스레드 수입니다(ONNX Runtime 공식 문서의 Thread management 항목). 같은 문서에 따르면 inter_op 값은 실행 방식을 병렬(ORT_PARALLEL)로 바꿨을 때만 쓰이고, 기본 실행 방식(순차)에서는 쓰이지 않습니다. 그래서 먼저 손볼 값은 intra_op 쪽입니다.
import onnxruntime as ort
opt = ort.SessionOptions()
opt.intra_op_num_threads = 3
opt.inter_op_num_threads = 1
sess = ort.InferenceSession("model.onnx", opt)
엔진이 인자를 직접 받는 경우도 있습니다. 이 음성 합성 엔진은 intra_op_num_threads=3 을 생성자에 넘기면 됐고, 0 이나 None 을 주면 코어 전부를 썼습니다.
내 환경에서 재는 법
최적값은 모델과 CPU 마다 다르므로 직접 재야 합니다. 첫 번은 모델을 올리고 데우는 시간이 섞이니 버리고, 그다음 세 번의 평균을 봅니다.
import time
for n in [None, 3, 2, 1]:
eng = make_engine(threads=n) # None 이면 제한 없음
eng.run(sample) # 첫 번은 버린다
t = time.time()
for _ in range(3):
eng.run(sample)
print(n, round((time.time() - t) / 3, 2))
여기서 make_engine 과 run 은 쓰는 엔진에 맞게 바꿔 넣는 자리입니다.
쪼개면 동시 처리가 늘어난다
이 발견이 가장 값졌던 곳은 여러 요청을 동시에 받아야 할 때였습니다. 6코어를 엔진 하나에 몰아주면 한 번에 한 요청뿐입니다. 2코어짜리 엔진 셋으로 쪼개자, 셋을 동시에 돌려도 첫 문장이 3.43초로 혼자 6코어를 쓸 때(3.67초)보다 빨랐습니다.
그 결과 세 사람이 동시에 요청했을 때 첫 소리를 듣기까지 39초 걸리던 것이 4.9초가 됐습니다. 대신 엔진은 하나에 램 약 1GB 를 써서, 개수만큼 램이 듭니다. 12GB 서버에서 셋은 여유가 있었습니다.
재기가 겹치면 숫자가 틀린다
설치형 프로그램이 그 PC 에 맞는 작업자 수와 코어 조합을 스스로 재서 고르게 했을 때 생긴 일입니다. 가장 빠른 조합이 2.09초가 아니라 3.73초로 재졌고, 그래서 엉뚱한 조합을 골랐습니다.
원인은 리액트 개발 모드의 StrictMode 였습니다. 화면 효과를 일부러 두 번 불러서 재기가 둘 동시에 돌았고, 서로 CPU 를 뺏었습니다. 화면 쪽 방어는 믿기 어려워 재는 함수 안에서 한 줄로 막았습니다.
let running = null
export function measure() {
if (running) return running // 이미 재는 중이면 그 결과를 같이 기다린다
running = realMeasure().finally(() => { running = null })
return running
}
배포판에서는 StrictMode 가 돌지 않지만, 개발 중에 고른 값이 설정에 저장되면 그 오염이 남습니다. 여러 작업이 같은 자원을 붙잡아 생기는 다른 문제는 SQLite database is locked로 배치가 죽을 때에 적었습니다.
가장 빠른 조합보다 램이 먼저
같은 16코어 PC 에서 문장 8개를 만드는 데 걸린 시간입니다. 재는 데는 20초가 걸렸습니다.
| 작업자 x 코어 | 걸린 시간 | 램 |
|---|---|---|
| 1 x 8 | 10.45초 | 500MB |
| 2 x 2 | 5.05초 | 966MB |
| 4 x 2 | 3.80초 | 1,917MB |
| 8 x 1 | 3.44초 | 3,803MB |
가장 빠른 8 x 1 은 4 x 2 보다 10% 빠르지만 램을 두 배 씁니다. 8GB PC 에서는 아예 돌지 못합니다. 그래서 고르는 규칙을 이렇게 두었습니다.
- 램으로 후보를 먼저 자릅니다. 작업자 하나의 사용량 곱하기 개수가 남은 램의 절반, 전체의 4분의 1 을 넘지 않게 합니다
- 남은 후보만 재고, 가장 빠른 값의 10% 안에서 작업자가 가장 적은 것을 고릅니다
- 코어 수나 램이 바뀌면 다시 잽니다
GPU 쪽에서 비슷하게 속도와 용량을 저울질한 기록은 GTX 1660 6GB에서 35B 로컬 모델 돌리기 실측에 있고, CPU 로 돌린 다른 모델 실측은 한국어 임베딩 모델 고르기 실측에 있습니다. 로컬 모델의 속도와 정확도를 함께 따져 설정을 고른 다른 기록은 로컬 LLM 으로 한국어 짧은 문장 분류할 때 정확도 올리는 법에 적었습니다.
이 글의 내용은 2026년 10월 27일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.