「TypeSafe Jev 시리즈 9/10 — 확률과 다른 확신 신호」 | DAKER 커뮤니티
설명용 생성 이미지입니다.
Confidence는 TypeSafe가 확실성을 어떻게 보고하는지, 확률과 무엇이 다른지, 시스템 행동을 어떻게 통제하는지 설명합니다.
1. 확률 분포의 모양
Score·Choice 답에는 옵션(또는 수준)에 걸친 probabilities가 있습니다. 한 결과에 모이면 확신 있는 답이고, 퍼지면 불확실한 답입니다. confidence는 그 모양을 0–1 한 숫자로 접어, 임계값만으로 쓸 수 있게 합니다. Noul에는 없습니다.
2. confidence는 파생 통계
이미 있는 확률 분포에서 계산한 통계이며, TypeSafe가 Choice·Score마다 돌려줍니다. 기본값으로 쓰기 좋지만, 정의에 묶이지 않습니다. 다른 지표가 필요하면 전체 probabilities를 직접 쓰면 됩니다.
Choice에서 낮은 confidence는 명확한 승자가 없다는 뜻인 경우가 많고, Score에서는 수준이 애매하거나 다차원이거나 state 정보가 부족한 경우가 많습니다.
3. “모르겠다”는 유용한 신호
문서의 표현대로, 정직한 불확실성을 표현하지 못하면 시스템을 믿을 수 없습니다. confidence는 모델이 “이 건은 확신이 없다”고 말할 장치이며, 신뢰 가능한 시스템의 기초입니다.
4. 세 갈래 행동
높은 confidence — 자동 실행
중간 — 확인·검토·추가 정보
낮은 — 실행하지 않음. 사람·명확화·다른 시스템으로
경계는 이해관계(stakes)에 따라 다릅니다.
5. 위험도에 비례한 임계값
같은 시스템의 행동마다 임계값이 달라야 합니다. 문서 예시는 confidence < 0.5면 사람 라우팅, 잔액 조회처럼 낮은 위험은 바로 진행, 이체 승인처럼 높은 위험은 confidence > 0.9일 때만 확인 후 실행합니다. 올바른 숫자는 도메인·모델 성능에 따라 다르므로, 보수적으로 시작해 데이터로 조정합니다.
오늘 할 일
서비스의 “읽기 전용” 행동과 “되돌리기 힘든” 행동에 서로 다른 confidence 임계값을 표로 적어 둡니다.
출처
이전: 8/10 yes 확률 하나면 충분 · 다음: 10/10 코드가 통제하는 AI 워크플로