Alibaba Qwen의 QwenGyre가 몇 시간짜리 코딩 에이전트 강화학습을 최대 1.85배 빠르게 돌립니다 | DAKER 커뮤니티
코딩 에이전트가 저장소 하나를 통째로 만드는 작업은 한 번 실행에 몇 시간이 걸리고, 모델과 환경 사이를 수백 번 오갑니다. 이런 작업에 온라인 강화학습을 붙이면 GPU가 오래 걸리는 실행 몇 개를 기다리며 놀게 됩니다. Alibaba Qwen 팀은 2026년 10월 12일 이 문제를 다룬 강화학습 프레임워크 QwenGyre를 공개했습니다. 발표는 Qwen 공식 X 계정 https://x.com/Alibaba_Qwen/status/2109633085658808515로 이뤄졌고, 상세 내용은 논문 https://arxiv.org/abs/2609.33848에 정리되어 있습니다. 이 글은 10월 16일 기준으로 논문을 확인해 핵심 수치와 의미를 정리합니다.
초장기 에이전트 학습이 어려운 두 가지 이유
논문은 실행 하나가 몇 시간 동안 이어지고 수백 번의 상호작용과 약 100만 토큰을 처리하는 작업을 xLong 구간이라고 부릅니다. 첫 번째 문제는 실행 시간의 편차입니다. 대부분의 실행이 끝나도 몇 개가 늦게 끝나면 학습이 막히고, 그동안 GPU가 쉬게 됩니다. 두 번째 문제는 궤적의 분기입니다. Claude Code 같은 하네스는 긴 기록을 요약해 압축하고, 하위 에이전트에 일을 나누고, 실패한 경로를 다시 시도하기 때문에 실행 하나가 직선이 아니라 여러 갈래의 그래프가 됩니다. 이 갈래를 모두 학습 샘플로 펼치면 공통 앞부분이 중복되어 학습 비용이 크게 늘어납니다.
QwenGyre는 진행 중인 실행을 끊지 않고 GPU를 롤아웃과 학습 사이에서 옮기며, 갈라진 실행 기록은 트리로 정리해 실행당 학습 궤적 수를 제한합니다.
탄력 스케줄러와 궤적 처리기
해결책은 두 부분으로 나뉩니다. 탄력 스케줄러는 남은 롤아웃 작업량을 보고 GPU 묶음을 하나씩 학습 쪽으로 넘깁니다. 이때 진행 중인 하네스의 모델 호출은 다른 추론 엔진으로 경로를 바꿔 계속 처리하므로 실행이 중단되지 않습니다. 논문이 보고한 평균 전환 시간은 롤아웃에서 학습으로 8.52초, 학습에서 롤아웃으로 3.46초로, 몇 시간짜리 실행에 비하면 무시할 수준입니다.
궤적 처리기는 모델 호출 기록을 공통 앞부분을 공유하는 트리로 저장합니다. 시간 초과로 끝난 실행도 평가할 수 있는 결과물이 있으면 부분 진행도로 점수를 매기고, 실행 하나에서 학습에 쓰는 궤적은 역할 우선순위에 따라 최대 5개로 제한합니다. 논문 실험에서는 이 상한 5개가 모든 궤적을 쓰는 경우와 비슷한 학습 점수를 내면서 순전파·역전파 시간을 25.2% 줄였습니다. 실험은 수정하지 않은 블랙박스 하네스인 Claude Code 2.1.220 위에서 진행됐습니다.
논문이 보고한 수치
플래그십 모델 Qwen 3.8 2.4T를 NL2RepoBench로 학습한 결과, 48스텝 동안 점수가 52.5%에서 58.5%로 올랐습니다. 같은 48스텝을 마치는 데 QwenGyre는 75.42시간이 걸렸고, 고정 분할 방식인 Async는 134.55시간, GPU 풀 전체를 번갈아 쓰는 Colocate는 91.47시간이 걸렸습니다. 여러 작업을 통틀어 Colocate 대비 최대 1.85배, Async 대비 최대 1.78배 빨랐다고 보고합니다. 모두 같은 GPU 예산과 같은 정책 지연 조건에서 비교한 수치입니다. 실행이 얼마나 긴지도 수치로 나옵니다. Qwen 3.8 2.4T 실험에서는 기록이 온전한 질의 가운데 61.1%가 4시간 이상 걸렸고, 이런 조건에서도 학습 점수는 두 비교 방식과 같은 수준을 유지했다고 합니다.
한국 연구자와 실무자가 볼 지점
이 논문은 수십 개 노드 규모를 전제로 하므로 작은 팀이 그대로 따라 하기는 어렵습니다. 논문도 GPU 예산이 아주 작은 환경의 효율은 평가하지 않았다고 밝힙니다. 그래도 에이전트 강화학습을 시도하는 국내 연구실이나 기업이라면 참고할 설계 원칙이 분명합니다. 하네스를 고치지 않고 모델 호출만 프록시로 기록하는 구조, 시간 초과 실행을 버리지 않고 부분 점수로 쓰는 평가 방식, 실행당 궤적 수 상한으로 비용을 묶는 방식은 규모가 작아도 적용해 볼 수 있습니다.
여러분이 에이전트를 학습하거나 평가할 때 가장 시간을 많이 잡아먹는 구간은 롤아웃 대기인가요, 아니면 긴 궤적 처리인가요? 경험을 댓글로 나눠 주세요.