터미널 환경을 세대별로 어렵게 키워 에이전트를 학습합니다 | DAKER 커뮤니티
2026년 9월 4일 Environment Evolution for Terminal Agents 논문이 arXiv에 공개되었습니다. 터미널 에이전트 학습에 필요한 상호작용·검증 가능 환경을, on-policy 롤아웃 약점에만 묶지 않고 난이도를 off-policy로 키우는 방법을 제안합니다. 진화한 환경을 세대별로 스케줄해 연속 학습 신호를 줍니다. multi-turn 학습 목적에서 난이도에 영향을 주는 진화 방향 세 가지를 도출하고, loop-engineered multi-agent harness로 구현합니다. Hy4 preview, Claude Opus 5, GPT-5.6 Sol 롤아웃에서 진화 환경이 더 어렵다고 정량 확인합니다. Qwen3.6-27B와 Qwen3.6-35B-A3B에 긴 구간 RL을 적용해 Terminal-Bench 2.1에서 각각 14.4포인트, 18.0포인트 올렸다고 보고합니다. 초록에 코드 URL은 없습니다. 오늘 팀은 “환경 난이도 스케줄”과 “벤치 점수”를 README에 나눕니다.
논문은 2026-09-04 arXiv에 올라왔습니다. 초록은 arXiv:2609.04128에서 확인할 수 있습니다. 영문 제목은 Environment Evolution for Terminal Agents입니다. 저자는 Zhiyuan Fan, Tinghao Yu, Yuanjun Cai 외 9명입니다. PDF는 같은 번호의 pdf입니다. 오늘 본문은 제공된 사실과 초록에서 확인한 범위만 옮깁니다. 없는 숫자는 쓰지 않습니다. 코드 주소는 초록에 없으므로 추측해 만들지 않습니다.
환경을 세대별로 어렵게 만듭니다
프론티어 모델이 강해질수록 처음부터 합성한 환경은 도전 신호가 약해집니다. 최근 co-evolution은 롤아웃에서 드러난 약점 근처로 환경을 반복 합성하지만, on-policy 롤아웃에 의존하면 일반화와 연속 신호가 제한됩니다. 이 논문은 environment evolution으로 난이도를 off-policy로 점진 상승시키고, 진화 환경을 세대 단위로 학습 일정에 넣습니다.
multi-turn 학습 목적에서 난이도에 영향을 주는 진화 방향 세 가지를 도출합니다. 구현은 loop-engineered multi-agent harness로 이 방향들을 따라 환경을 진화시킵니다. 방향의 세부 이름과 수식은 초록에 없으므로 오늘 본문에 쓰지 않습니다.
DACON·DAKER에서 에이전트 과제를 만들 때도, 고정 난이도 한 세트만 두지 말고 세대별 난이도 표를 남깁니다.
보고된 검증과 점수
Hy4 preview, Claude Opus 5, GPT-5.6 Sol로 정량 롤아웃 실험을 해, 환경 진화가 더 어려운 환경을 일관되게 만든다고 적습니다. 세부 난이도 지표 값은 초록에 없으므로 채우지 않습니다.
Qwen3.6-27B와 Qwen3.6-35B-A3B에 단순한 긴 구간 RL을 적용해 효과를 검증합니다. Terminal-Bench 2.1에서 각각 14.4 percentage points, 18.0 percentage points 향상을 보고합니다. 기준선 절대 점수와 시드 수는 초록에 없으므로 쓰지 않습니다.
해커톤 README에 점수를 옮길 때는 벤치 이름(Terminal-Bench 2.1)과 모델 크기, 상승 폭만 한 줄에 고정합니다. 배포가 제출입니다. 올린 링크가 제출입니다.
빌더 팀에 옮기는 점검
팀이 오늘 할 일은 터미널 학습 파이프라인을 “고정 과제 풀”이 아니라 “진화 방향 → 세대 스케줄 → RL” 단계로 나누는 것입니다. on-policy 약점 합성만 쓰는지, off-policy 난이도 상승을 쓰는지 선택지를 문서 상단에 둡니다.
multi-agent harness 루프가 환경을 어떻게 바꾸는지를 로그로 남깁니다. 세대마다 난이도 검증에 쓰는 프론티어 모델 이름을 적습니다. 초록에 나온 Hy4 preview, Claude Opus 5, GPT-5.6 Sol을 우리 실측처럼 쓰지 말고 비교 축만 복제합니다.
코드 URL이 초록에 없으므로 PDF와 저자 공지에서 확인한 주소만 나중에 추가합니다. 출처 arXiv 번호와 PDF 링크를 README 상단에 둡니다. DAKER 월간 해커톤 데모라면 배포 주소와 세대 번호·벤치 버전을 같이 올립니다.
Controller와 Worker를 나누는 팀이면, 환경 생성 프롬프트와 학습 설정 파일을 한 메시지에 섞지 마십시오. 환경 스냅샷 해시와 학습 로그 해시를 나란히 둡니다.
공유 샌드박스를 쓰는 팀이면 전역 설정을 별도 파일로 둡니다. API 키를 프롬프트나 공개 저장소에 넣지 않습니다.
난이도 스케줄을 제출 문서로 옮기는 방법
이 논문이 강조하는 점은 환경을 한 번 만들고 끝내는 것이 아니라, 세대별로 난이도를 올려 학습 신호를 유지한다는 것입니다. 팀 문서에도 같은 구조를 둡니다. 진화 방향 세 가지, harness 루프, 프론티어 롤아웃 검증, Qwen RL 결과 표를 절로 나눕니다.
Terminal-Bench 2.1 상승 폭은 모델별로만 인용합니다. 27B는 +14.4, 35B-A3B는 +18.0입니다. 다른 벤치 점수를 만들어 붙이지 마십시오.
데모 페이지에는 “세대별 환경 진화” 문장을 크게 두고, 바로 옆에 벤치 상승 폭을 둡니다. 없는 GitHub 경로를 만들지 마십시오.
팀 회고에는 “환경이 어려워졌는지”와 “모델 점수가 올랐는지”를 서로 다른 항목에 적습니다. 한 항목에 섞으면 원인 추적이 어렵습니다.
제출 전에 로컬에서 작은 세대 수로 파이프라인을 한 바퀴 돌립니다. 결과는 로그만 남기고 과장 문구를 붙이지 않습니다.
세대 스케줄을 학습 루프에 넣는 방법
environment evolution은 난이도를 off-policy로 올리고 세대별로 스케줄한다고 적습니다. 팀 학습 루프에도 세대 번호를 메타데이터로 붙입니다. 세대가 바뀌면 환경 스냅샷 디렉터리를 새로 만들고, 이전 세대를 덮어쓰지 않습니다.
multi-agent harness가 환경을 진화시키는 로그를 JSONL로 남깁니다. Hy4 preview, Claude Opus 5, GPT-5.6 Sol로 난이도를 확인했다는 문장은 논문 인용으로만 두고, 우리 검증 모델 이름은 별도 열에 적습니다.
Qwen3.6-27B와 Qwen3.6-35B-A3B의 Terminal-Bench 2.1 상승 폭(+14.4, +18.0)은 모델별로 표를 나눕니다. 긴 구간 RL을 단순하게 적용했다는 점도 초록에 있으므로, 우리 실험이 더 복잡하면 차이를 한 줄로 명시합니다.
코드 URL이 없을 때는 PDF 버전과 저자 공지 날짜만 추적 목록에 둡니다. 추측 저장소를 README에 넣지 않습니다.
이 글이 아닌 것입니다
모든 터미널 벤치에서 같은 상승 폭이라는 보증이 아닙니다. Terminal-Bench 2.1에서의 보고입니다.
진화 방향 세 가지의 세부 정의를 이 글이 확정한다는 뜻이 아닙니다. 초록에 없는 항목은 쓰지 않습니다.
코드가 이미 공개되었다는 주장이 아닙니다. 초록에 URL이 없습니다.
DACON·DAKER 공식 우승 공지가 아닙니다. 빌더가 옮길 수 있는 방법과 숫자 안내입니다.
언급된 프론티어 모델 평가가 우리 팀 실측이라는 뜻이 아닙니다. 논문 보고만 옮깁니다.
오늘 할 일
첫째, 초록과 PDF를 직접 여십시오. arXiv:2609.04128와 pdf를 같은 탭에 둡니다. 제출일 2026-09-04를 메모 첫 줄에 적습니다.
둘째, 코드 URL은 PDF·공지에서만 추적하십시오. 초록에 없는 주소를 만들지 않습니다.
셋째, 우리 환경 파이프라인을 세대 스케줄 표로 옮기십시오. on-policy/off-policy 열을 만듭니다.
넷째, Terminal-Bench 2.1 숫자는 모델별로만 인용하십시오. +14.4와 +18.0을 우리 실측과 섞지 않습니다.
다섯째, 난이도 검증에 쓸 롤아웃 모델을 문서에 고정하십시오. 이름을 체크리스트에 둡니다.
여섯째, harness 루프 로그 해시를 재현 노트에 적으십시오. 환경 스냅샷과 나란히 둡니다.
일곱째, 데모와 스케줄 표를 공개 주소로 올리십시오. 배포가 제출입니다. 올린 링크가 제출입니다.
출처: arXiv:2609.04128 — Environment Evolution for Terminal Agents (2026-09-04) · PDF