ONNX 모델에 CPU 코어를 다 주면 오히려 느릴 때 실측
6코어 서버에서 ONNX 음성 합성 엔진의 intra_op_num_threads 를 3 으로 묶으니 3.67초가 2.89초로 빨라졌습니다. 재는 법, 재기가 겹쳐 틀린 사례, 램으로 조합 고르는 규칙을 정리했습니다.
내 PC에서 AI 모델을 돌리며 직접 재 본 속도와 메모리, 설치와 운영 중에 만난 문제를 적습니다.
6코어 서버에서 ONNX 음성 합성 엔진의 intra_op_num_threads 를 3 으로 묶으니 3.67초가 2.89초로 빨라졌습니다. 재는 법, 재기가 겹쳐 틀린 사례, 램으로 조합 고르는 규칙을 정리했습니다.
짧은 한국어 질문을 주제 목록에 배정하며 MiniLM, bge-m3, 임베딩젬마 2 를 직접 비교한 실측입니다. 서버 CPU 실행 시간, 캐시 4.3GB 함정, 윈도우에서 임베딩젬마 2 띄우는 법을 정리했습니다.
GTX 1660 SUPER 6GB 에서 FLUX.2 klein 과 Z-Image 를 stable-diffusion.cpp 로 돌린 실측입니다. 한 장 509초를 59초로 줄인 설정과 실패 원인을 정리했습니다.
6GB 그래픽카드의 로컬 LLM 으로 한국어 짧은 문장을 세 갈래로 분류하며 정확도와 속도를 올린 기록입니다. 예시 6개, 10개씩 묶어 묻기, 검색 근거 붙이기의 효과를 실측 수치로 정리했습니다.
윈도우 PC에서 올라마로 돌리던 긴 배치 작업이 자리를 비운 뒤 약 30분 만에 죽는 원인은 절전이었습니다. 진단 명령, powercfg 설정, 이어 하기 러너를 만드는 법을 정리했습니다.
Qwen 모델의 생각 모드를 끄면 로컬에서도 클라우드에서도 빨라지지만 답이 조용히 달라집니다. 올라마에서 끄는 법, 안 되는 방법, 클라우드 API 에서 기본값이 꺼지는 함정을 실측으로 정리했습니다.
Goose 데스크톱 앱에 올라마 로컬 모델을 연결할 때 '찾을 수 없다'와 No provider configured 오류가 나는 이유, 연결한 뒤 답이 느려지는 원인과 줄이는 법을 실측 숫자로 정리했습니다.
올라마에서 Qwen 모델이 271초 동안 생각만 하고 답을 한 글자도 안 쓴 원인은 죽지 않은 llama-server 두 개였습니다. server.log 로 확인하는 법과 정리 순서를 적었습니다.
윈도우에서 OLLAMA_MODELS 환경 변수를 D 드라이브로 바꿨는데 모델이 다른 드라이브나 C 드라이브에 다시 받아진 원인 두 가지와, server.log 로 실제 경로를 확인하는 법입니다.
그래픽카드 메모리 6GB인 GTX 1660 SUPER에서 Qwen3.6-35B-A3B를 올라마로 실제로 돌려 본 기록입니다. 왜 되는지, 받는 명령, 첫 실행 시간과 속도, 메모리 차지량을 정리했습니다.