스마트폰이나 노트북 안에서 바로 돌아가는 작은 AI는 빠르고, 인터넷이 없어도 쓸 수 있고, 내가 입력한 내용이 회사 서버로 나가지 않아 안전하다는 장점이 있다. 그런데 단점도 있다. 크기가 작은 만큼 가끔 틀린 답을 자신 있게 내놓는다. 그렇다고 매번 인터넷에 연결된 더 큰 AI에게 다시 물어보면, 작은 AI를 쓰는 의미가 없어진다. Cactus라는 팀은 이 고민을 다르게 풀었다. 작은 AI가 “내가 지금 이 답에 자신 있는지 없는지”를 스스로 판단하게 만든 것이다.
원리
Cactus가 손을 본 AI 모델(구글의 소형 모델 Gemma 4를 바탕으로 만듦)은 답을 내놓을 때마다 0점에서 1점 사이의 점수를 하나 같이 내놓는다. 이 점수가 높을수록 “이 답에 자신 있다”는 뜻이다. 이 점수가 정해 놓은 기준보다 낮게 나오면, 그때만 인터넷에 있는 더 크고 똑똑한 AI에게 다시 물어보고, 점수가 충분히 높으면 휴대폰 안에서 바로 답을 끝낸다. 사람으로 치면 “이건 확실히 알아요”와 “이건 잘 모르겠으니 선배한테 물어볼게요”를 스스로 구분하는 셈이다.
얼마나 효과가 있나
가장 작은 크기의 이 모델은 훨씬 크고 비싼 구글의 AI(Gemini 3.1 Flash-Lite)와 비슷한 수준의 답을 내놓으면서도, 질문의 15~55% 정도만 그 큰 AI에게 넘긴다. 나머지 절반 넘는 질문은 휴대폰 안에서 바로 처리가 끝난다는 뜻이다. 이렇게 하면 큰 AI를 쓸 때 드는 비용과 기다리는 시간을 크게 줄일 수 있다. 특이한 점은, 이 판단 능력을 글로 된 질문으로만 학습시켰는데도 음성을 알아듣는 작업에서까지 꽤 정확하게 “자신 있는지 없는지”를 구분해냈다는 것이다.
이 기술은 코드로 공개되어 있어서, AI 모델을 직접 다루는 개발자라면 깃허브 저장소에서 직접 확인해볼 수 있다.