설치 제로, USB 하나로 AI 챗봇
MONKOS가 LG AI Research의 EXAONE 3.5 (2.4B)를 온디바이스로 구동하는 데 성공했습니다.
llamafile 엔진 위에 EXAONE을 올려, USB 하나에 AI 챗봇 전체를 담았습니다. 인터넷 없이, 설치 없이, 꽂으면 바로 대화가 시작됩니다.
왜 EXAONE인가
2.4B 파라미터 경량 모델 중 한국어 성능 1위 (KoMT 7.24). DeepSeek, Llama 등 경쟁 모델에서 빈번한 한영 혼합 현상이 EXAONE에서는 발생하지 않습니다.
실측 성능
| 환경 | 속도 |
|---|---|
| iMac (Intel CPU) | ~1 tok/s |
| RTX 4060 (GPU) | 30~50 tok/s |
| USB (Windows PC) | 5~15 tok/s |
소상공인에게 의미하는 것
"나보다 내 가게를 더 잘 아는 챗봇" — 사장님의 전문 지식을 학습한 AI가 24시간 고객 응대. 클라우드 비용 제로, 데이터 유출 걱정 제로.
이것이 MONKOS가 추구하는 소상공인 맞춤 AI 챗봇의 실체입니다.