어두운 공간에서 하나의 빛이 수많은 갈래로 빠르게 나뉘어 퍼져 나가는 모습

Blog

문장 대신 판단을 돌려주는 AI, 제브(Jev)가 에이전트 설계에 던진 질문

이정민

9월 15일, 샌프란시스코 스타트업 TypeSafe AI가 제브(Jev)라는 모델을 공개했습니다. ChatGPT나 Claude처럼 문장을 이어 쓰는 모델이 아닙니다. 상황 정보와 미리 정해 둔 질문을 보내면, 정해진 형식의 답과 그 답이 맞을 확률을 돌려줍니다. TypeSafe는 이 모델을 ‘시스템 원(System One) 모델’이라고 부릅니다.

공개 직후 개발자들의 요청이 몰려 API가 한때 멈췄고, Vercel과 LangChain, Netlify 같은 플랫폼이 잇달아 제브를 지원하기 시작했습니다. 에이전트를 업무에 들이려는 조직이라면 이 모델이 왜 주목받는지 짚어 볼 만합니다.

글 대신 판단을 돌려줍니다

이름의 ‘시스템 원’은 대니얼 카너먼이 말한 빠르고 직관적인 사고, 곧 시스템 1에서 따왔습니다. 제브에는 텍스트나 JSON으로 된 상황 정보와 질문 목록을 함께 보냅니다. 질문은 세 가지 형식 가운데 하나로 정합니다. 예 또는 아니요로 답하는 질문, 최대 255개 보기 가운데 하나를 고르는 질문, 2~10단계 기준표에 따라 점수를 매기는 질문입니다.

예를 들어 고객 문의 메일을 넣고 ‘환불 요청인가’, ‘어느 부서로 보내야 하는가’, ‘긴급도는 몇 단계인가’를 물으면, 제브는 세 질문의 답과 확률을 한 번에 돌려줍니다. 문장을 만들지 않으니 형식이 어긋난 답이 나오지 않고, 확률을 보고 다음 동작을 코드로 정할 수 있습니다. TypeSafe는 이런 사용 방식을 ‘똑똑한 if 문’이라고 설명합니다.

학습 방식도 다릅니다. 사람이 선호하는 답에 보상을 주는 RLHF 대신, 모델이 말한 확률이 실제 정답률과 맞을수록 보상을 주는 RLCD라는 방식을 사용했다고 밝혔습니다. CEO 디오고 알메이다(Diogo Almeida)는 OpenAI에서 InstructGPT와 ChatGPT의 RLHF 연구에 참여했던 인물로, 이번에 DCVC가 주도한 약 4,000만 달러의 시드 투자도 함께 발표했습니다.

빠르고 저렴하다는 주장은 어디까지 믿을 수 있을까

TypeSafe가 내세운 숫자는 파격적입니다. 입력 토큰 100만 개당 0.042달러이고, 출력에는 요금을 받지 않습니다. 응답 시간은 0.07~0.5초로, 같은 판단을 대형 언어 모델에 맡길 때보다 40~200배 빠르다고 주장합니다. 발표 자료에는 ‘193.6배 빠르고 444.6배 저렴하다’는 문구도 있습니다.

이 숫자를 그대로 받아들이기는 어렵습니다. TypeSafe 스스로 이 수치가 실제 개선 폭 가운데 높은 쪽이라고 밝혔고, 비교에 사용한 업무도 자사 직원이 설계했습니다. 지금 가격에 보조금이 들어가 있지 않다고 증명할 수 없다는 점도 인정했습니다. InfoQ가 소개한 분석에서는 출시 무렵 트윗 1만 2천여 건을 살펴본 결과, 사용자가 체감한 속도 향상의 중앙값이 7배였습니다.

정확도는 과제에 따라 다릅니다. AI/ML API가 900개 예제로 진행한 외부 테스트에서 제브는 은행 문의 분류(Banking77)에서 78.3%를 기록해 Claude Opus 5.5(85.7%)보다 낮았습니다. 반면 콘텐츠 검수에서는 유해 게시물을 잡아내는 지표(F1) 기준으로 비교한 여섯 모델 가운데 가장 좋은 결과를 냈고, 답변 품질을 평가하는 과제에서는 가장 약했습니다. 눈여겨볼 부분은 확률의 신뢰도입니다. 확신도가 0.9 이상인 답은 분류 과제에서 94~96%가 맞았습니다.

어디에 사용하면 좋을까

제브가 잘 맞는 곳은 에이전트 안에서 반복해서 내려지는 작은 판단입니다. 요청을 어느 모델이나 담당자에게 보낼지 정하는 라우팅, 입력 검수와 탈옥 시도 탐지, 에이전트가 도구를 실행하기 전의 승인 여부, 메일·문의·보안 알림 분류가 대표적입니다. LangChain은 도구 호출을 실행 전에 걸러 주는 미들웨어를 내놓았고, Vercel은 AI Gateway에서 제브를 바로 호출할 수 있게 했습니다.

실제 사례도 나오고 있습니다. Vercel의 한 엔지니어는 기존 LLM 기반 안전 분류기를 제브로 바꿔 5~18배 빨라졌다고 밝혔습니다. 앞의 외부 테스트에서는 제브가 먼저 거르고 판단이 애매한 건만 Opus에 넘겼을 때, Opus만 사용할 때와 같은 정확도를 비용의 38~45%로 얻었습니다.

TypeSafe가 권하는 설계는 단순합니다. 판단을 작은 질문으로 나누고, 확신도가 기준을 넘으면 자동으로 처리하고, 나머지는 사람이나 대형 모델에 넘깁니다. 전체 흐름은 처음부터 끝까지 코드가 제어합니다.

아직 조심해야 할 부분

‘환각이 없다’는 설명은 형식에 관한 이야기입니다. 제브도 틀린 보기를 고를 수 있고, 다만 정해진 형식 안에서 틀릴 뿐입니다. 오픈소스 에이전트 하네스 Pi를 만드는 Earendil의 CTO 아민 로나허(Armin Ronacher)는 TechCrunch에 이 방식이 환각 문제를 어느 정도 사용자에게 떠넘긴다고 지적했습니다.

TypeSafe가 직접 공개한 약점도 있습니다. 숫자 세기와 계산, 날짜 비교에 약하고, 입력이 길고 정리되지 않을수록 정확도가 떨어집니다. 논문이나 모델 가중치는 공개되지 않았고, 이런 유형의 모델을 서로 비교할 공통 벤치마크도 아직 없습니다. 주로 영어로 학습해 한국어 문서에서는 정확도가 낮아질 수 있습니다. 회사가 공개 활동을 시작한 지 몇 주밖에 되지 않았다는 점도 도입 전에 따져 봐야 합니다.

에이전트를 도입하는 조직이 챙길 것

제브가 보여 주는 방향은 분명합니다. 모든 일을 하나의 대형 모델에 맡기던 방식에서, 계획과 글쓰기는 대형 모델에, 정확한 계산은 코드에, 반복되는 판단은 작고 빠른 모델에 나누어 맡기는 방식으로 옮겨 가고 있습니다.

이때 확신도 기준이 중요해집니다. 어느 정도 확신이 있으면 자동으로 처리하고 어디부터 사람이 검토할지를 숫자로 정할 수 있기 때문입니다. 규제가 많은 업종이라면 이 기준이 곧 운영 원칙이 됩니다. 기준을 정하기 전에 정답을 붙여 둔 우리 데이터 200~300건 정도로 확률이 실제로 맞는지 먼저 확인하고, 모델 버전은 jev-1.13.0처럼 고정해 사용하는 것이 좋습니다.

제브를 당장 도입하지 않더라도 얻을 것이 있습니다. TypeSafe가 공개한 평가에서 판단을 작은 질문으로 나누고 로직을 코드로 옮기자, 비교한 모든 대형 모델이 기준 답안과 더 많이 일치했습니다. Claude Opus 5는 64.8%에서 73.1%로 올랐습니다. 모델을 바꾸기 전에 업무를 질문 단위로 설계하는 습관을 들이는 것이 먼저입니다.

다른 글

AI 도입 성과를 높이는 1분

참여자의 역할, 규모에 맞추어 과정을 구성합니다.
신청 후에는 담당자가 1영업일 내로 연락드릴게요.

1분 내로 문의하기