「TypeSafe Jev 시리즈 7/10 — 스펙트럼 위치와 확률」 | DAKER 커뮤니티

설명용 생성 이미지입니다.
Score는 순서 있는 서술 수준(levels)에 대해 콘텐츠를 평가하는 질문 유형입니다. 답에는 score, 수준별 확률, confidence가 포함됩니다.
1. 언제 쓰나
답이 스펙트럼 위의 위치이고, 각 단계를 말로 설명할 수 있을 때 씁니다. 버그 심각도, 고객 감정, 경험치처럼요. 순서 없는 카테고리면 Choice, 예/아니면 Noul입니다.
2. 요청 구조
type:"score"instructions: 무엇을 평가하는지criteria: 낮은 끝부터 높은 끝까지의 수준 설명 배열(최소 2, API 상한 10)
수준 번호는 배열 위치(0부터)입니다. 모델은 설명만 보고, 각 수준을 state에 대해 따로 판단합니다.
3. score·confidence 읽는 법
score는 수준 번호의 확률 가중 평균입니다. 문서 예시: 확률 0→0.0, 1→0.57, 2→0.43이면 score = 0×0 + 1×0.57 + 2×0.43 = 1.43입니다. 두 수준 사이에 떨어질 수 있습니다.
confidence는 분포가 한 수준에 모이면 높고, 여러 수준에 퍼지면 낮습니다. 같은 score라도 분포가 다를 수 있으니 probabilities와 함께 봅니다.
4. 좋은 수준 쓰기
“적당히 심각” 같은 정도 표현보다, “기능은 깨졌지만 우회가 있음”처럼 상황을 적습니다. 모델은 이웃 수준 번호나 “이전보다 나쁨”을 보지 않으므로, 숫자만 criteria에 넣으면 문서 예시처럼 확률이 갈라집니다.
한 Score는 한 차원만 측정합니다. “시간 엄수이고 똑똑하고 경험 많음”을 한 수준에 넣으면 배치가 어렵고 confidence가 떨어집니다. 차원별로 쪼갭니다.
5. 복합 판단을 여러 Score로
심각도·좌절감·리포트 품질처럼 나눠 묻고, 코드에서 정규화(score / (len(criteria)-1))한 뒤 가중 합으로 우선순위를 만듭니다. 가중치는 코드에 두고, 팀 판단과 안 맞으면 계수만 바꿉니다. 이것이 Composite scoring 패턴입니다.
6. 구조화 수준 설명
이웃 수준에서 자주 헷갈리면 각 수준을 객체로 바꾸고, 커버 범위와 예시 상황을 같은 필드 이름으로 맞춥니다. 예시는 실제 입력과 비슷할 때만 도움이 됩니다.
오늘 할 일
업무 루브릭 하나를 3수준 Score criteria로 다시 쓰고, 숫자만 쓴 버전과 서술 버전의 차이를 메모합니다.
출처
이전: 6/10 고정 옵션에서 하나 고르기 · 다음: 8/10 yes 확률 하나면 충분