검증기 증거로 긴 에이전트 궤적의 보상을 나눕니다 | DAKER 커뮤니티

2026년 8월 28일 Pengcheng Li 연구팀이 긴 구간 LLM 에이전트 강화학습에서 검증기 쪽 증거로 신용을 추적하는 VICT를 arXiv에 공개했습니다. EMNLP2026에 채택되었습니다. 표준 목표는 프로그램으로 검증 가능한 최종 보상을 궤적의 모든 행동에 넓게 뿌리는 경우가 많습니다. 기존 세분 신용 방법은 주로 롤아웃 쪽에서 보조 신호나 비교를 만듭니다. 그 경우에도 성공을 판정한 검증기는 스칼라 보상으로만 쓰이고 내부 과제 구조는 버려집니다. VICT는 검증기 안의 실행·증거 원자를 드러내고, 의존이 유효한 증명 간선으로 행동까지 추적한 뒤, 그 간선을 따라서만 그룹 상대 어드밴티지를 재분배합니다.

논문은 2026년 8월 28일 arXiv에 올라왔습니다. 초록은 arXiv:2608.28128에서 확인할 수 있습니다. 저자는 Pengcheng Li, Zhengyang Zhang, Dongxu Zhang, Sui Huang, Shaohua Ma입니다. 코멘트에는 accepted by EMNLP2026이라고 적혀 있습니다. PDF는 같은 번호의 pdf입니다. 오늘 본문은 초록이 적은 범위만 옮깁니다. 초록에 없는 벤치 퍼센트는 쓰지 않습니다.

검증기 구조를 신용에 씁니다

긴 구간 LLM 에이전트 RL에서 세분 신용 할당은 중심 과제입니다. 표준 목표는 검증 가능한 최종 보상을 궤적의 모든 행동에 방송하는 방식이 흔합니다. 롤아웃 쪽 방법은 보조 궤적 신호나 추가 비교로 행동 중요도를 추정합니다. 유용하지만 검증기를 스칼라로만 다루면 내부 과제 구조가 사라집니다.

VICT의 핵심 통찰은 많은 검증 가능 과제가 이미 최종 검증기 안에 관련 검사를 담고 있다는 점입니다. VICT는 학습 시점 인터페이스로 실행 가능하거나 증거에 뒷받침된 원자를 노출하고, 의존이 유효한 증명 간선으로 행동까지 추적합니다. 그룹 상대 어드밴티지는 그 간선을 따라서만 재분배됩니다. 신용 할당의 중심이 롤아웃 추론에서 검증기 쪽 추적으로 옮겨 갑니다.

DACON과 DAKER처럼 팀이 검증 스크립트로 제출을 가르는 자리에서는, “최종 점수만 전체 로그에 붙이기”와 “검증기 체크 항목을 행동에 연결하기”를 같은 칸에 두지 말아야 합니다. 오늘 팀이 가져갈 한 줄은 이것입니다. 검증기 원자와 행동 간선을 표로 남기십시오.

최종 보상은 유지하고 증거 없으면 棄权합니다

VICT는 원래 최종 보상을 보존합니다. 증거가 불완전하거나 모호하면 기권합니다. 바꾸는 것은 학습 시점 어드밴티지 텐서뿐입니다. 학습된 크리틱, 프로세스 라벨, 분기 롤아웃, 추론 시점 검증기 접근이 필요 없다고 적습니다. 이 네 가지를 요구하지 않는다는 점이 운영 부담을 줄입니다.

ALFWorld와 WebShop에서 VICT는 outcome-only 학습을 크게 개선하고, 최근 세분 신용 방법과 나란히 강한 성능을 낸다고 보고합니다. ablation은 밀도 높은 원자 보상, 최종 커밋 신용, 시간 근접, 희소성만으로는 설명이 충분하지 않다고 가릅니다. 없는 퍼센트를 짓지 않습니다. 초록이 준 과제 이름과 개선 방향만 옮깁니다.

빌더 팀에 옮기면 세 줄입니다. 첫째, 검증 스크립트가 내놓는 체크 원자를 로그에 노출합니다. 둘째, 원자와 행동 사이의 의존 간선을 적습니다. 셋째, 증거가 비면 그 구간의 보상 재분배를 멈춥니다. 해커톤에서 최종 점수만 CSV에 붙이지 마십시오.

롤아웃 쪽 보조 신호와 구별합니다

초록은 기존 방법이 롤아웃 쪽에서 보조 궤적 신호나 비교를 만든다고 정리합니다. VICT는 검증기 쪽 추적으로 옮깁니다. 팀이 오늘 설계하는 학습 루프에도 “추가 롤아웃으로 중요도 추정”과 “검증기 증거 간선”을 표에서 분리합니다.

DAKER 제출 README에는 검증기 입력·출력 스키마와, 어떤 원자가 어떤 도구 호출에 연결되는지를 한 페이지에 둡니다. “보상=1/0만” 적힌 문서는 VICT가 지적한 구조 폐기를 그대로 남깁니다. 배포가 제출입니다. 올린 링크가 제출입니다.

크리틱 네트워크나 프로세스 라벨 데이터가 없어도 시작할 수 있다는 점은, 데이터가 부족한 해커톤 팀에 실무적으로 중요합니다. 대신 검증기 코드가 원자를 드러내야 합니다. 검증기가 스칼라만 반환하면 VICT식 추적이 성립하지 않습니다.

해커톤 검증 스크립트를 원자 단위로 나눕니다

팀이 오늘 할 일은 제출 검증 스크립트를 “최종 통과”와 “중간 원자”로 나누는 것입니다. 중간 원자에는 실행 가능한 검사나 증거 파일을 연결합니다. 증거가 없으면 해당 행동에 어드밴티지를 재분배하지 않는다고 규칙을 적습니다. 초록이 말한 기권은 이 규칙이 문서에 있을 때 성립합니다.

ALFWorld·WebShop 이름을 우리 과제 점수와 같다고 쓰지 않습니다. 대신 우리 검증기에 원자가 몇 개인지, 간선이 비는 경우가 얼마나 되는지만 적습니다. 없는 리더보드 순위를 붙이지 않습니다.

outcome-only 베이스라인과 VICT식 재분배 후보를 같은 기간에 비교하려면, 최종 보상 정의는 동일하게 유지해야 합니다. 초록은 최종 보상을 보존한다고 명시합니다. 보상 정의를 바꾸면서 방법만 바꿨다고 적지 마십시오.

프로세스 라벨을 사람이 붙이는 비용과, 검증기 원자를 코드로 노출하는 비용을 표로 비교합니다. VICT는 후자 쪽에 가깝습니다. 해커톤처럼 라벨러가 없으면 검증기 쪽을 먼저 강화하는 편이 맞습니다.

검증기 원자는 “파일이 존재하는가”, “명령이 0으로 끝났는가”, “스키마가 맞는가”처럼 실행으로 확인할 수 있는 단위여야 합니다. 사람 주관 점수만 원자로 두면 증거 간선이 흔들립니다. 팀 검증 스크립트를 리팩터할 때 스칼라 return을 원자 리스트로 바꾸십시오.

의존 간선은 “이 원자가 true이려면 이전 행동이 필요했다”는 방향만 남깁니다. 시간이 가깝다는 이유만으로 간선을 긋지 않습니다. 초록의 ablation이 시간 근접만으로 설명이 충분하지 않다고 가른 이유를 팀 규칙에 한 줄로 옮깁니다.

기권 비율이 높으면 두 가지를 의심합니다. 원자가 너무 거칠거나, 행동이 원자를 생성하지 않거나. 전자면 원자 정의를 쪼개고, 후자면 에이전트 도구가 증거를 남기게 합니다. 기권을 숨기고 억지로 재분배하지 마십시오.

그룹 상대 어드밴티지를 쓰는 학습 루프가 아니어도, 사람 리뷰에서 “최종 성공에 기여한 행동만 하이라이트”하는 습관은 VICT와 같은 방향입니다. 실패 궤적에서도 통과한 원자와 연결되지 않은 행동을 먼저 걷습니다.

WebShop·ALFWorld 이름을 우리 쇼핑몰·가정 시뮬레이션 과제에 붙여 점수를 비교하지 마십시오. 과제 구조가 다르면 원자 정의도 다릅니다. 우리 검증기 원자 목록을 먼저 공개하고, 그다음에 학습 방법을 적습니다. 순서만 지켜도 리뷰가 명확해집니다.

이 글이 아닌 것입니다

특정 벤치 점수표가 아닙니다. 초록은 ALFWorld와 WebShop에서 outcome-only 대비 개선과 최근 세분 방법과 나란한 성능을 말하지만 퍼센트를 적지 않습니다. 없는 점수를 지어내지 않습니다.

학습된 크리틱이 필요하다는 처방이 아닙니다. 크리틱·프로세스 라벨·분기 롤아웃·추론 시점 검증기가 필요 없다고 적습니다.

최종 보상을 바꾼다는 주장도 아닙니다. 최종 보상은 보존하고 어드밴티지 텐서만 바꿉니다.

증거가 없어도 항상 재분배한다는 방법도 아닙니다. 증거가 불완전하거나 모호하면 기권합니다.

특정 회사 제품 출시 공지가 아닙니다. 연구 논문 안내입니다.

오늘 할 일

첫째, 초록과 PDF를 직접 여십시오. arXiv:2608.28128와 pdf를 같은 탭에 둡니다. EMNLP2026 채택과 제출일 2026-08-28을 메모 첫 줄에 적습니다.

둘째, 우리 검증 스크립트 출력을 원자 단위로 나누십시오. 최종 통과 한 줄만 남기지 않습니다. 실행·증거 원자를 JSON이나 로그로 노출합니다.

셋째, 원자와 행동(도구 호출) 사이 의존 간선 표를 쓰십시오. 간선이 비면 재분배하지 않는다는 규칙을 같이 적습니다. DAKER 월간 해커톤이나 에이전트 과제에 맞춰 둡니다.

넷째, outcome-only 베이스라인을 고정하십시오. 최종 보상 정의를 유지한 채 어드밴티지 재분배만 바꾸는 비교를 설계합니다.

다섯째, 크리틱·프로세스 라벨·추가 분기 롤아웃 없이 돌릴 수 있는지 점검하십시오. 초록이 요구하지 않는 구성요소를 먼저 들이지 않습니다.

여섯째, 증거가 모호한 구간 비율을 세십시오. 기권 비율이 높으면 검증기 원자 정의를 고칩니다. 없는 퍼센트를 리더보드에 올리지 않습니다.

일곱째, 원자 스키마와 간선 표를 공개 링크로 올리십시오. DAKER와 DACON에는 빌더와 대회 기록이 쌓여 있습니다. 배포가 제출입니다. 올린 링크가 제출입니다.

출처: arXiv:2608.28128 — VICT (2026-08-28) · PDF · EMNLP2026