로컬 LLM 으로 한국어 짧은 문장 분류할 때 정확도 올리는 법

먼저 결론
증상: 로컬 모델에 예시 없이 한국어 짧은 문장을 분류시키니 정확도가 60% 였고, 멀쩡한 문장을 위험하다고 과하게 막았습니다.
원인: 판단 기준이 될 예시가 없었습니다. 작은 로컬 모델은 스스로 아는 것이 적어 근거를 줘야 합니다.
해결: 세 갈래를 골고루 담은 예시 6개를 주고, 10개씩 묶어 "번호:판정"으로 받고, 헷갈리는 것에는 검색 결과 요약을 붙였습니다.

무엇을 분류했나

짧은 한국어 문장이나 낱말 묶음을 세 갈래로 나누는 일이었습니다. 이 주제에 맞는 것, 다른 주제인 것, 걸러야 하는 것(성인, 도박처럼 다루면 안 되는 것)입니다. 수백 개를 사람이 보기는 힘들어서 PC 의 로컬 모델에 맡겼습니다.

그래픽카드 메모리가 6GB 라 큰 모델은 못 씁니다. 그래서 같은 모델로 정확도를 얼마나 올릴 수 있는지가 문제였습니다.

바꾼 것과 결과 먼저

바꾼 것 전 후
예시 6개 주기 정확도 60% 100% (시험 15개)
10개씩 묶어 묻기 한 건 3.2초 한 건 0.82초 (약 4배)
두 모델이 다 틀린 40건에 검색 근거 강화 0건 맞춤 같은 모델이 15건 회복

시험 15개는 작은 표본입니다. 100% 를 "완벽하다"로 읽기보다는 예시가 있느냐 없느냐로 결과가 크게 갈렸다는 뜻으로 보시면 됩니다. 나중에 480개를 두 모델로 교차 확인했고, 그 결과가 마지막 줄입니다.

예시가 없을 때 생긴 실수

예시 없이 분류시키니 실수가 두 쪽으로 났습니다. 하나는 "다른 주제"를 "걸러야 함"과 헷갈린 것입니다. 주제가 다를 뿐 문제없는 문장을 위험하다고 막았습니다.

다른 하나는 과민 차단입니다. 인물 소개, 호텔, 주가 정보처럼 멀쩡한 것을 위험하다고 봤습니다. 모두 걸러야 할 이유가 없는 내용이었습니다.

예시 6개 고르는 법

예시는 세 갈래가 골고루 들어가게 둘씩 6개를 줬습니다. 한 갈래만 많으면 모델이 그쪽으로 기웁니다.

중요한 것은 예시를 시험 문장과 다른 것으로 고르는 일입니다. 시험에 나올 문장을 예시로 주면 정확도가 올라 보여도 실제로는 답을 미리 알려 준 것과 같습니다. 아래는 모양을 보여 드리려고 새로 만든 예시입니다(실측에 쓴 문장이 아닙니다).

분류: 맞음 / 다른주제 / 거름
예시)
캠핑 의자 고르는 법 → 맞음
텐트 방수 처리 순서 → 맞음
아파트 관리비 계산 → 다른주제
배우 프로필 정리 → 다른주제
불법 도박 사이트 주소 → 거름
성인 사이트 우회 방법 → 거름

"배우 프로필 정리"처럼 과민 차단이 났던 종류를 예시에 넣어 두면, 모델이 헷갈리는 경계를 말로 설명하는 대신 직접 보여 줄 수 있습니다. 예시 6개를 준 뒤로 앞에서 말한 두 가지 실수가 함께 줄었습니다.

10개씩 묶어 묻고 정규식으로 읽기

한 건씩 물으면 매번 지시문과 예시를 다시 읽혀야 해서 느립니다. 그래서 10개를 한 프롬프트에 번호를 붙여 넣고 "번호:판정" 형식으로만 답하게 했습니다. 한 건 3.2초가 0.82초가 됐습니다.

import re

PAT = re.compile(r"^\s*(\d+)\s*:\s*(맞음|다른주제|거름)\s*$", re.M)

def parse(answer, n):
    got = {int(m.group(1)): m.group(2) for m in PAT.finditer(answer)}
    return [got.get(i, "미정") for i in range(1, n + 1)]

형식을 어긴 줄은 버리지 않고 "미정"으로 표시해 다시 돌렸습니다. 모델 설정은 temperature=0 으로 답이 흔들리지 않게 하고, num_predict 를 작게 잡아 쓸데없이 길게 쓰지 않게 했습니다. 모델이 생각만 길게 하고 답을 안 내는 문제는 올라마 모델이 생각만 하고 답이 없을 때에 따로 적었습니다.

그래도 틀리는 것은 근거를 붙여 다시

480개를 두 모델로 교차 확인하니 둘 다 틀린 것이 40건 나왔습니다. 이 40건에 검색 결과 요약을 근거로 붙여 다시 물었습니다. 백과 항목, 질문 답변 글, 상위 결과 7개를 짧게 정리한 것입니다.

그러자 같은 모델이 0건에서 15건을 맞췄습니다. 특히 과민 차단이 실제 내용을 보고 고쳐졌습니다. 검색 결과에 답이 거의 그대로 있으면 작은 모델도 읽기만 하면 됩니다. 정확도를 가른 것은 모델 크기보다 근거의 깊이였습니다.

다만 검색 결과가 100개도 안 되는 문장이 전체의 6% 있었는데, 이것은 근거를 강화해도 어려웠습니다. 이런 것은 사람이 보는 목록으로 따로 뺐습니다.

모델마다 잘하는 일이 다르다

모델 잘한 일 주의할 점
Qwen3-4B-Instruct-2507 (q8_0) 걸러야 할 것 골라내기, 긴 지시도 형식을 지킴 예시가 없으면 과민 차단
EXAONE 3.5 7.8B 이 주제냐 아니냐의 경계 판단 긴 지시를 주면 답 형식이 무너져 파싱 실패. 상업 사용 금지 라이선스
ollama pull qwen3:4b-instruct-2507-q8_0

EXAONE 3.5 는 라이선스가 연구와 평가용이라, 결과물로 돈을 버는 데는 쓸 수 없습니다. 상업 용도라면 Apache 2.0 라이선스인 Qwen 쪽을 고릅니다. 7.8B 모델은 6GB 그래픽카드에 다 안 들어가 일부를 CPU 로 넘겨 돌았고, 그래도 한 건 0.5에서 0.8초였습니다.

수백 개를 밤새 돌릴 때는 PC 가 절전으로 들어가며 작업이 죽을 수 있습니다. 이것은 로컬 AI 작업이 절전 모드에 죽을 때를 보세요.

측정한 환경

항목 값
그래픽카드 GTX 1660 SUPER 6GB
CPU, 램 Ryzen 7 3700X, 64GB
실행기 Ollama
480개 교차 확인 2026년 6월 26일

이 글의 내용은 2026년 10월 10일에 마지막으로 확인했습니다. 틀린 곳을 발견하시면 연락처로 알려 주세요.