저장소 규모 리팩터링 에이전트를 축별로 비교하는 오픈 하네스를 공개합니다 | DAKER 커뮤니티

2026년 9월 4일 RefactorPlatform 논문이 arXiv에 공개되었습니다. 저장소 규모 리팩터링은 한 변경을 서로 얽힌 여러 파일에 퍼뜨리면서도 프로그램 동작을 유지해야 합니다. 저자들은 이 과제에서 에이전트 성패를 가르는 설계 선택을 분리해 볼 평가 하네스가 없다고 적습니다. RefactorPlatform은 환경을 고정한 채 설계 축을 명시적으로 바꾸는 오픈소스 평가 하네스입니다. 모델 백본은 OpenRouter와 GitHub Copilot CLI로 고르고, 실행 체제는 baseline·retrieval-augmented·multi-agent로 나누며, 프롬프트 구체성도 축으로 둡니다. 각 실행은 격리 워크스페이스에서 돌고, 터미널을 라이브로 스트리밍하며, 토큰·diff·트랜스크립트를 과제마다 기록합니다. AST 기반 검증과 감사·재현용 텔레메트리보내기를 지원한다고 적습니다. RefactorBench 멀티파일 과제 100개와 모델 패밀리 4종으로 분석을 시연합니다. AST를 아는 청킹이 단순 토큰 창 청킹보다 프롬프트 모드 전반에서 25–30% 낫다고 보고합니다. 단순 검색은 검색 없는 기준선보다 낮습니다. 얇은 retrieval-augmented 단일 에이전트는 86%이고, 평가한 서브에이전트 구성은 66%입니다. 위임에서만 통과하고 검색 경로에서 실패한 과제는 없다고 적습니다. 검색의 정확도 이득이 토큰 오버헤드를 상쇄해 성공한 리팩터링당 비용은 같다고 합니다. 오픈소스로 공개한다고 적지만 초록에 구체 URL은 없습니다. 오늘 팀은 청킹·검색·위임 축을 표로 나눕니다.

논문은 2026-09-04 arXiv에 올라왔습니다. 초록은 arXiv:2609.04898에서 확인할 수 있습니다. 영문 제목은 RefactorPlatform: An Open-Source Harness for Controlled Evaluation of Repository-Scale Refactoring Agents입니다. 저자는 Aziz Ben Amor, Drish Mali, Mann Acharya, Vijayasri Iyer, Sébastien Bratières입니다. PDF는 같은 번호의 pdf입니다. 오늘 본문은 초록에서 확인한 범위만 옮깁니다.

환경을 고정하고 설계 축만 바꿉니다

저장소 규모 리팩터링은 한 변경을 상호의존 파일 여러 개에 전파하면서 동작을 유지해야 합니다. 저자들은 이 과제에서 어떤 설계 선택이 성패를 가르는지 분리해 보는 하네스가 없다고 적습니다. RefactorPlatform은 환경을 고정한 채 축을 하나씩 바꿉니다.

모델 백본은 OpenRouter와 GitHub Copilot CLI를 통해 고릅니다. 실행 체제는 baseline, retrieval-augmented, multi-agent입니다. 프롬프트 구체성도 별도 축입니다. 실행마다 격리 워크스페이스를 쓰고, 터미널을 라이브로 보여 주며, 토큰·diff·트랜스크립트를 과제 단위로 남깁니다. AST 기반 검증과보내기 가능한 텔레메트리로 감사와 재현을 돕는다고 적습니다.

DACON·DAKER에서 리팩터링 에이전트를 낼 때도, 모델 이름만 바꾸지 말고 청킹·검색·위임·프롬프트 구체성을 같은 표에 둡니다.

시연에서 나온 비교

RefactorBench의 멀티파일 과제 100개와 모델 패밀리 4종으로 플랫폼이 지원하는 분석을 보여 줍니다. AST를 아는 청킹이 단순 토큰 창 청킹보다 프롬프트 모드 전반에서 25–30% 우수하다고 보고합니다. 단순 검색은 검색을 쓰지 않은 기준선보다 낮았습니다.

얇은 retrieval-augmented 단일 에이전트는 86%이고, 평가한 서브에이전트 구성은 66%입니다. 위임 경로에서만 통과하고 검색 경로에서 실패한 과제는 없다고 적습니다. 검색이 올린 정확도가 토큰 오버헤드를 상쇄해, 성공한 리팩터링 한 건당 비용은 같다고 합니다.

해커톤 README에는 “AST 청킹 +25–30%”, “단일+검색 86% vs 서브에이전트 66%”, “성공당 비용 동일”만 한 줄에 고정합니다. 배포가 제출입니다. 올린 링크가 제출입니다.

빌더 팀에 옮기는 점검

팀이 오늘 할 일은 리팩터링 실험을 모델·청킹·검색·위임·프롬프트 다섯 열로 나누는 것입니다. AST 검증 통과 여부와 동작 유지 테스트를 같은 CSV에 둡니다. 토큰 사용량과 diff 크기를 과제 ID와 함께 저장합니다.

검색을 켤 때는 단순 토큰 창 검색과 AST 인식 청킹을 혼동하지 마십시오. 서브에이전트 위임을 넣을 때는 단일+검색 기준선과 반드시 같은 과제 집합에서 비교합니다. OpenRouter와 Copilot CLI 경로를 쓰면 백본 이름과 호출 설정을 커밋된 파일로 고정합니다.

Controller와 Worker를 나누면, 프롬프트 구체성 버전과 검색 설정을 한 메시지에 섞지 마십시오. 공유 GPU·API 쿼터는 성공당 비용 표에 함께 적습니다. API 키를 공개 저장소에 넣지 않습니다.

오픈소스라고 적혀 있어도 초록에 URL이 없으면 주소를 추측해 만들지 마십시오. arXiv 번호만 상단에 둡니다.

축별 비교를 제출 문서로 옮기는 방법

RefactorPlatform이 강조하는 점은 한 번에 여러 축을 바꾸는 실험이 아니라, 환경을 고정한 채 축을 드러내는 것입니다. 팀 문서에도 같은 구조를 둡니다. 백본, 실행 체제, 프롬프트, 청킹, 검색을 절로 나눕니다.

25–30% 청킹 이득을 인용할 때는 비교 대상이 단순 토큰 창임을 같이 적습니다. 86%와 66%를 인용할 때는 단일+검색과 서브에이전트 구성임을 명시합니다. 성공당 비용이 같다는 문장은 검색 오버헤드가 정확도 이득에 흡수된다는 초록 문맥과 함께 둡니다.

데모 페이지에는 라이브 터미널과 AST 검증 로그를 보여 주고, 바로 옆에 과제 100개·패밀리 4종 시연 범위를 적습니다. 없는 HF 경로를 만들지 마십시오.

회고에는 “정확도”와 “토큰·비용”을 서로 다른 항목에 적습니다. 한 항목에 섞으면 재현이 어렵습니다.

리팩터링 에이전트 로그를 감사 가능하게 둡니다

플랫폼이 라이브 터미널과 토큰·diff·트랜스크립트를 남긴다고 적은 이유는, 나중에 “왜 이 파일이 바뀌었는지”를 사람이 추적할 수 있게 하려는 것입니다. 팀도 같은 습관을 둡니다. 과제 ID마다 프롬프트 버전, 청킹 방식, 검색 사용 여부, 위임 여부를 한 행에 고정합니다.

AST 검증을 통과했어도 동작 테스트가 빠지면 리팩터링 성공으로 적지 마십시오. 동작 유지와 AST 통과를 다른 열에 둡니다. OpenRouter와 Copilot CLI를 섞어 쓰는 주에는 백본별 성공률을 나누어 보고합니다.

제출 전에 같은 과제 100개 부분집합이라도 고정 시드로 다시 돌리고, 25–30% 청킹 이득이 우리 환경에서도 방향이 같은지 스모크로만 확인합니다. 초록 숫자를 우리 실측처럼 쓰지 않습니다.

이 글이 아닌 것입니다

모든 리팩터링 과제에서 AST 청킹이 25–30% 낫다는 보증이 아닙니다. 보고된 시연 범위만 옮깁니다.

서브에이전트가 항상 나쁘다는 뜻이 아닙니다. 평가한 구성에서의 66% 대비 86%입니다.

다운로드 URL을 이 글이 확정한다는 뜻이 아닙니다. 초록에 구체 URL이 없습니다.

DACON·DAKER 공식 우승 공지가 아닙니다. 빌더 점검 안내입니다.

오늘 할 일

첫째, 초록과 PDF를 직접 여십시오. arXiv:2609.04898와 pdf를 같은 탭에 둡니다.

둘째, 실험 표를 백본·체제·프롬프트·청킹·검색으로 나누십시오. 한 열에 여러 축을 넣지 않습니다.

셋째, AST 검증과 동작 테스트를 같은 CSV에 두십시오. diff와 토큰을 과제 ID에 붙입니다.

넷째, 청킹 비교는 토큰 창 기준선과 나란히 적으십시오. 25–30% 인용 조건을 명시합니다.

다섯째, 단일+검색과 서브에이전트를 같은 과제에서 비교하십시오. 86%와 66%를 섞어 쓰지 않습니다.

여섯째, 성공당 비용 표를 만드십시오. 검색 오버헤드와 정확도를 같이 봅니다.

일곱째, 데모와 텔레메트리를 공개 주소로 올리십시오. 배포가 제출입니다. 올린 링크가 제출입니다.

출처: arXiv:2609.04898 — RefactorPlatform: An Open-Source Harness for Controlled Evaluation of Repository-Scale Refactoring Agents (2026-09-04) · PDF