한국어 임베딩 모델 고르기 실측, MiniLM 과 bge-m3 비교

먼저 결론
증상: 짧은 한국어 질문을 주제 목록에 배정하는 데 다국어 MiniLM 을 썼더니 맞는 비율이 60% 에 그쳤습니다.
원인: MiniLM 은 이 일에 정확도가 모자랐습니다. 같은 표본에서 bge-m3 는 70% 였습니다.
해결: 서버 CPU 에서는 bge-m3 를 쓰고 캐시와 오프라인 설정을 챙겼습니다. PC 에서는 임베딩젬마 2 가 조금 더 나았지만 윈도우에서는 llama.cpp 로 띄워야 했습니다.

무엇을 쟀나

임베딩은 문장을 숫자 묶음(벡터)으로 바꿔, 뜻이 비슷한 것끼리 가깝게 놓는 방법입니다. 짧은 한국어 질문이 주제 목록의 어느 칸에 들어가야 하는지를 이 거리로 정하려 했습니다.

두 곳에서 따로 쟀습니다. 하나는 GPU 가 없는 서버(6코어, 램 11GB)에서 CPU 로 돌린 시험이고, 다른 하나는 GTX 1660 SUPER 가 달린 PC 에서 세 모델을 비교한 시험입니다. 두 시험은 표본이 달라서 숫자를 서로 섞어 비교하지 않습니다.

서버 CPU: MiniLM 과 bge-m3

2026년 10월 11일, 같은 질문 표본 361개를 두 모델로 배정해 맞는 비율을 봤습니다.

모델 판정 맞음 정답 주제에 배정
paraphrase-multilingual-MiniLM-L12-v2 60% 58%
BAAI/bge-m3 70% 81%

차이가 뚜렷해서 MiniLM 은 이 일에 쓰지 않기로 했습니다. 서버에서 돌린 bge-m3 의 결과는 PC 의 올라마로 돌린 bge-m3 결과와 똑같았습니다. 같은 모델이면 서버에서 돌려도 답이 달라지지 않는다는 것을 확인했고, 그래서 서버에서 bge-m3 를 돌리기로 정했습니다.

CPU 로 걸린 시간

작업 걸린 시간
주제 라벨 6,243개 임베딩 447초 (CPU 400%)
질문 361개 배정 21에서 42초
모델 올리기 램 약 2.3GB

한 시간에 수십에서 수백 개를 배정하는 데는 충분했습니다. 라벨 전체를 다시 임베딩하는 무거운 일은 7분 넘게 코어 넷을 쓰므로 새벽에 돌립니다.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("BAAI/bge-m3", device="cpu")
vecs = model.encode(texts, normalize_embeddings=True)

처음 받을 때 캐시가 4.3GB 가 된다

bge-m3 를 처음 온라인으로 올리자 허깅페이스 캐시가 4.3GB 가 됐습니다. 같은 가중치가 pytorch_model.bin 과 model.safetensors 두 형식으로 모두 받아졌기 때문입니다. 디스크가 80% 찬 서버라 바로 문제가 됐습니다.

스냅샷 폴더에서 쓰지 않는 쪽 가중치를 지우니 2.2GB 로 줄었습니다. 그리고 예약 실행은 인터넷에서 다시 받지 않게 오프라인으로 돌립니다.

du -sh $HOME/.cache/huggingface/hub/models--BAAI--bge-m3
HF_HUB_OFFLINE=1 python assign.py

모델이 엉뚱한 곳에 쌓이는 비슷한 문제는 OLLAMA_MODELS 바꿨는데 모델이 엉뚱한 드라이브에 받아질 때에 적었습니다.

PC: 임베딩젬마 2 까지 세 모델

2026년 10월 7일 PC 에서는 한국어 질문 42개로 주제 77개 중 정답을 찾게 했습니다.

모델 1등에 정답 3등 안에 정답
임베딩젬마 2 38 42
임베딩젬마 (1편) 38 41
bge-m3 36 38

임베딩젬마 2 가 조금 나았지만 1편과 큰 차이는 없었습니다. 표본이 42개라 이 정도 차이는 크게 읽지 않습니다.

윈도우에서 띄우는 법

올라마판 embeddinggemma-2 는 2026년 10월 기준 맥 전용(MLX) 형식뿐이라 윈도우에서 받아지지 않았습니다. 허깅페이스의 GGUF 파일을 올라마(0.40.0)에 넣어도 엔진이 모델 구조를 몰랐습니다.

된 길은 llama.cpp b11457 vulkan 판과 ggml-org/embeddinggemma-2-GGUF 의 BF16 본체, mmproj 파일이었습니다.

llama-server -m embeddinggemma-2-BF16.gguf --mmproj mmproj.gguf --embeddings
curl http://127.0.0.1:8080/props

문장 앞에는 정해진 앞말을 붙입니다. 질문은 task: search result | query: , 문서는 title: none | text: 입니다. 사진을 보낼 때는 고정 기호 <__media__> 를 쓰면 안 되고, /props 가 알려 주는 media_marker 값을 넣어야 했습니다.

다른 프로그램 안에서 띄운 명령 창처럼 평소와 권한이 다른 창에서 winget 으로 올라마를 업데이트하면, 올라마가 그 창의 권한으로 다시 켜집니다. 그 뒤 새 모델에서 "untrusted mount point" 오류가 나면 올라마를 일반 권한으로 껐다 켜면 풀립니다. 기존 모델은 멀쩡했습니다.

잘하는 일과 못 하는 일

  • 사진 641장이 자기 글 주제를 맞히는 시험은 1등 36%, 5등 안 61%, 큰 분야 86% 였습니다. 비슷한 주제가 많아 1등 맞히기는 어렵습니다
  • 대신 주제와 가장 먼 사진 8장을 눈으로 보니 6장이 실제로 엉뚱한 사진이었습니다. 사진 한 장은 약 2.8초(896px) 걸렸습니다
  • 목소리 음색 구분은 못 했습니다. 같은 목소리를 다른 대본에서 찾기는 15개 중 5개, 같은 장르 고르기는 15개 중 15개였습니다. 목소리가 아니라 대본 분위기로 고른 것입니다

그래서 임베딩은 "1등 맞히기"보다 "너무 먼 것 걸러내기"에 씁니다. 같은 그래픽카드로 그림 모델을 돌린 기록은 GTX 1660 6GB 로 이미지 생성 모델 돌리기 실측에, 올라마의 다른 함정은 올라마가 생각만 하고 답을 안 쓸 때에 있습니다. 임베딩 대신 로컬 글 모델에게 직접 갈래를 고르게 한 기록은 로컬 LLM 으로 한국어 짧은 문장 분류할 때 정확도 올리는 법에 있습니다.

이 글의 내용은 2026년 10월 26일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.