Jev 의 한계 — '환각 불가'의 진짜 뜻과 jaggedness 페이지

TypeSafe 는 버전마다 '이 모델이 못하는 것' 목록(jaggedness)을 공개합니다. 출시 전에 읽어야 할 실패 모드를 정리했습니다.

Jev 의 강점은 형식 오류가 구조적으로 없다는 것이지 판단이 항상 맞다는 것이 아닙니다. 이 둘을 분리해 두면 나머지 한계가 또렷해집니다.

'환각 불가' 의 정확한 범위

• 내가 정의한 스키마 밖의 값은 절대 나오지 않는다 ✅
• 스키마 안에서 틀린 답을 고를 수 있다 ❌
• 신뢰도는 RLCD 로 캘리브레이션돼 있어, 90% 라고 답한 것들은 집계상 약 90% 맞는다. 단, 개별 답 하나에 대해서는 아무것도 보장하지 않는다.

① 문자 그대로 읽는다 — 부정문·범위 한정어·암묵적 조건이 액면 그대로 처리됩니다. 틀린 답을 보고 "내가 진짜 뜻한 건…" 하고 설명하게 된다면, 그 설명이 지시문에 빠진 절반입니다.
② 계산기가 아니다 — 개수를 신뢰성 있게 세지 못하고, 대상이 클수록 오차가 커집니다. 코드에서 순회하며 항목마다 Noul 하나씩 묻는 것이 해법입니다.
③ 날짜는 텍스트다 — 어느 날짜가 먼저인지, 며칠 차이인지, 기간 안에 드는지 전부 불안정합니다. 추출은 Choice(월·일 열거 + '명시 안 됨'), 순서·계산은 코드.
④ 컨텍스트 부패 — 질문에 불필요한 자료가 state 를 채울수록 정확도가 떨어집니다. 먼저 거르고 필요한 필드만 보냅니다.
⑤ state 를 적대적으로 보지 않는다 — 스스로를 특정 분류로 몰아가는 문장이 답을 움직일 수 있습니다. 사용자 입력이 state 에 들어간다면 그 위협 모델은 개발자 몫입니다.
⑥ 모순된 지시·기준에 약하다 — true 가 '아니오' 를 뜻하는 Noul 은 성능이 떨어집니다.

자유 텍스트에서 값을 뽑아야 하면 정규식이나 생성 모델로 후보를 먼저 만들고 Jev 가 고르게 합니다. Jev 는 글·코드·요약을 만들지 않습니다. 문서의 메타 규칙은 두 줄입니다 — 코드가 정확히 계산할 수 있는 건 묻지 말라. 한 질문에 여러 판단을 숨기지 말라.

버전을 고정하세요. jev-latest 는 지금 jev-1.13.0 이지만 새 릴리스가 나오면 옮겨 가고, 그때 튠해 둔 임계값이 조용히 어긋날 수 있습니다. 응답의 model 필드에 실제 답한 버전이 오니 로그에 남기고, 클라이언트 생성 시 model="jev-1.13.0" 으로 못박는 편이 안전합니다.

본문 사진 — 아래 2장은 이 편 주제에 맞춰 제작한 연출 사진(실사 스타일)입니다.

이번 호 키워드

· jaggedness
· 캘리브레이션 ≠ 정답
· 버전 고정
· 컨텍스트 부패