합성 보상으로 인과 탐색 추론 에이전트를 학습합니다 | DAKER 커뮤니티

2026년 9월 9일 TRACE 논문이 arXiv에 공개되었습니다. 영문 제목은 TRACE: Training Reasoning Agents for Causal Exploration with Synthesized Rewards이며 arXiv 번호는 2609.10315입니다. 초록은 검증 가능한 보상으로 하는 강화학습(RLVR)이 수학·코드처럼 답을 싸게 확인할 수 있는 영역에서 언어모델 추론을 진전시켰다고 적습니다. 복잡한 데이터에 대한 진단 추론은 그 이점이 없고, 이상 원인을 확정하려면 값비싼 전문가 조사가 필요하며 사후에도 모호할 수 있다고 합니다. 저자들은 이 검증 비대칭을 설계로 만들 수 있는지 묻습니다. 개입을 샘플링해 통제 시뮬레이터에 주입하고, 그 개입이 만들 관측을 생성합니다. 숨은 개입은 오라클 라벨과 객관 보상을 주고, 에이전트는 여전히 노이즈·교란·분산된 증거를 조사해야 합니다. TRACE는 디지털 광고 진단 환경으로, 루트 원인 12개와 세분 세그먼트 귀속을 둔다고 소개합니다. 오늘 팀은 합성 보상 학습과 프롬프트 베이스라인을 같은 표에 섞지 말고, 평가 문장을 README에 분리해 적습니다.

저자는 Sun, Rui, Shi, Zhan, He, Bing입니다. 오늘 본문은 제공된 초록과 정리된 사실 범위만 옮깁니다. 초록에 없는 점수·연구소 순위·외부 저장소 주소는 쓰지 않습니다. 본문 공개 링크는 DAKER 커뮤니티와 DACON만 둡니다. 논문 영문 제목과 arXiv 2609.10315는 일반 텍스트로만 적습니다.

왜 합성 보상이 필요한가

초록은 RLVR이 수학·코드처럼 객관 답을 싸게 확인할 수 있는 영역에서 성과를 냈다고 적습니다. 진단 추론은 원인 확정이 비싸고 모호할 수 있어 같은 이점이 없다고 합니다. TRACE는 개입을 샘플링·주입하고 관측을 생성해, 숨은 개입으로 오라클 라벨과 객관 보상을 만드는 방식을 제안합니다. 에이전트는 노이즈·교란·분산 증거를 조사해야 합니다.

해커톤에서 「진단을 한다」와 「보상을 합성한다」를 한 문장으로 합치지 마십시오. DACON 알고리즘 대회와 DAKER 바이브코딩 해커톤 모두, 환경 설계와 정책 학습을 문서에서 분리하는 습관이 필요합니다.

초록에 없는 추가 도메인이나 점수를 붙이지 않습니다. 루트 원인 12개, held-out 235 에피소드, 보고된 FullAttr@1 수치만 옮깁니다.

에이전트에게 원인을 찾아라만 시키면 실패 원인을 나누기 어렵습니다. 오늘은 환경·프롬프트 베이스라인·SFT·RL 단계를 체크리스트에서 분리합니다.

TRACE 환경과 수치가 덮는 범위

TRACE는 디지털 광고 진단 환경이며 루트 원인 12개와 세분 세그먼트 귀속을 둔다고 적습니다. 에이전트는 각 에피소드에서 Python과 SQL로 조사하고, 루트 원인과(해당 시) 영향 세그먼트 할당을 함께 식별해야 합니다. held-out 235 에피소드 테스트에서 가장 강한 프롬프트 베이스라인 Claude Opus 5는 FullAttr@1 0.686에 도달한다고 적습니다. 지도 미세조정은 Qwen3.5-35B-A3B를 0.159에서 0.637로 올리고, 이어서 합성 보상 RL로 0.757에 도달해 평가한 모든 프롬프트 베이스라인(프론티어 폐쇄형과 프롬프트 Qwen3.5-122B-A10B 포함)을 능가한다고 합니다. 결과 정책은 프롬프트 35B 베이스보다 도구 호출을 실질적으로 더 적게 쓴다고 적습니다.

팀이 오늘 가져갈 표 헤더는 단순합니다. 프롬프트 베이스라인, SFT, 합성 보상 RL을 서로 다른 행에 둡니다. 0.686·0.159·0.637·0.757을 한 평균으로 합치지 마십시오.

제출 문서에는 어떤 학습 단계인지 한 줄씩 적습니다. 없는 저장소 주소를 만들지 않습니다. 공개 안내는 DAKER 커뮤니티와 DACON만 사용합니다.

FullAttr@1은 초록에 나온 지표 이름만 쓰고, 정의를 추측해 늘리지 않습니다. 도구 호출이 줄었다는 문장은 「실질적으로 더 적다」는 초록 표현만 옮기고, 횟수 숫자를 만들지 않습니다.

실험이 남기는 메시지

초록은 확장 가능한 객관 학습 신호에 대한 접근이 모델 규모만으로의 제약보다 더 중요한 제약일 수 있다는 증거를 제공한다고 적습니다. 더 넓게는, 시뮬레이션 기반 검증이 모호한 진단 추론 과제를 확장 가능한 강화학습에 맞게 만들 수 있다고 정리합니다.

큰 모델이면 진단이 끝난다는 문장은 쓰지 마십시오. 초록이 말하는 것은 합성 보상과 시뮬레이션 검증의 역할입니다. DAKER 월간 해커톤 README에는 규모 우승 대신 학습 신호 설계를 나란히 둡니다.

DAKER 해커톤에서 진단·에이전트·RL 과제를 고를 때도, 평가 스크립트가 프롬프트인지 SFT인지 RL인지 먼저 적습니다. 랭킹 가이드 기준으로 활동을 쌓을 때도, 환경 이름과 학습 단계를 같은 설명에 섞지 않습니다.

학습 자료가 필요하면 학습 트랙에서 강화학습·에이전트 항목을 복습하고, 팀 내부 용어표를 TRACE·FullAttr@1 문구에 맞춥니다. 용어가 바뀌면 실험 비교가 무너집니다.

빌더 팀에 옮기는 점검

에이전트 프롬프트에 원인을 찾아라만 넣지 말고, 허용 도구(Python·SQL)·루트 원인 집합·세그먼트 귀속 요구를 파일로 고정합니다. 프롬프트·SFT·RL의 성공 기준을 서로 다른 체크리스트로 둡니다. 실행 로그에는 어떤 단계인지 태그를 붙입니다.

DACON 코드 제출 과제라면 재현 명령과 환경 고정 파일을 분리합니다. DAKER 바이브코딩 해커톤이라면 배포 주소와 함께 학습 단계 문장을 상단에 둡니다. 배포가 제출입니다. 올린 링크가 제출입니다.

초록에 없는 추가 FullAttr 수치나 도구 호출 횟수를 만들지 않습니다. 비교표를 만들 때는 12·235·0.686·0.159·0.637·0.757 문구만 열로 복제합니다.

팀 회고에서는 규모와 학습 신호를 같은 문단에서 다루되, 학습 신호 설계를 숨기지 않습니다.

이 글이 아닌 것입니다

특정 폐쇄형 모델이 진단에서 무조건 1등이라는 발표가 아닙니다. 초록은 프롬프트 베이스라인과 SFT+RL 수치를 보고합니다.

합성 보상이 모든 진단 도메인에 통한다는 보증이 아닙니다. 디지털 광고 진단 환경 TRACE의 보고입니다.

도구 호출 횟수 절감 수치를 공개한다는 약속이 아닙니다. 「실질적으로 더 적다」는 문장만 옮깁니다.

DACON·DAKER 공식 RL 공지가 아닙니다. arXiv 2609.10315 초록 안내입니다.

시뮬레이터 코드를 공개한다는 약속이 아닙니다. 시뮬레이션 기반 검증 아이디어만 옮깁니다.

합성 보상 환경을 문서로 고정하는 법

초록이 강조하는 핵심은 검증 비대칭을 설계로 메우는 일입니다. 관측만 주고 원인을 묻으면, 보상이 주관적으로 남습니다. 숨은 개입과 오라클 라벨이 있으면 객관 보상이 가능해집니다.

팀 실무에서는 과제 카드를 세 장으로 나눕니다. 첫 장은 환경(루트 원인 12·세그먼트 귀속)입니다. 둘째 장은 프롬프트 베이스라인 평가입니다. 셋째 장은 SFT와 합성 보상 RL입니다. 세 장을 한 성공 문장으로 합치지 마십시오.

공개 안내는 DAKER 커뮤니티와 DACON처럼 허용된 주소만 링크합니다. 광고 프로덕션 데이터를 우리가 열었다는 식으로 쓰지 않습니다.

에이전트 로그를 남길 때는 단계 태그를 필수 필드로 둡니다. prompt, sft, rl 중 하나를 고릅니다.

오늘 할 일

첫째, 영문 제목과 arXiv 2609.10315를 메모 첫 줄에 적으십시오. 요약 카드만 보고 TRACE를 정의하지 않습니다.

둘째, 팀 평가표를 세 행으로 나누십시오. 환경, 프롬프트 베이스라인, SFT+RL입니다.

셋째, 프롬프트에 도구·루트 원인·세그먼트 요구를 명시하십시오. 학습 단계를 한 과제에 섞지 않습니다.

넷째, 실패 로그에 단계 태그를 붙이십시오. 0.686과 0.757을 한 숫자로 합치지 않습니다.

다섯째, 공개 산출물을 DAKER·DACON 링크로만 올리십시오. 커뮤니티에 점검표를 공유하고, 알고리즘 연습은 DACON에서 이어 갑니다.

여섯째, 규모만으로 우승이라는 말을 README에 쓰기 전에 근거 문장을 두십시오. 초록은 학습 신호의 중요성을 말합니다.

일곱째, FullAttr@1 수치를 홍보 문장과 분리하십시오. 조건(프롬프트·SFT·RL)과 함께 둡니다.

여덟째, 환경·베이스라인·RL 카드 세 장을 저장소에 커밋하십시오. 카드가 없으면 평가 범위를 다시 논쟁하게 됩니다.