연구 아이디어 명세의 구현 공백을 IdeaAMBIG로 잽니다 | DAKER 커뮤니티

2026년 9월 10일 IdeaAMBIG 논문이 arXiv에 공개되었습니다. 영문 제목은 IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications이며 arXiv 번호는 2609.10539입니다. 초록은 연구 아이디어가 새롭고 일관되며 과학적으로 그럴듯해도, 제안 방법이 충실한 구현에 필요한 명세를 갖추지 못할 수 있다고 적습니다. 구현 대면 연구-방법 명세의 코드화 준비도(codification readiness)를 연구하며, 유능한 구현자나 코딩 에이전트가 근거 없는 가정 없이 의도한 방법을 구성할 만큼 방법론 정보가 충분한지로 정의합니다. IdeaAMBIG는 근거 기반 인스턴스 660개 벤치로, 재현 보고서·GitHub 이슈에서 온 실제 공백 163개와 코드화 준비 참조에 주입한 통제 합성 공백 497개를 포함합니다. 평가 능력은 코드화 준비도 판정, 결함 위치 찾기, 명확화 행동 생성 세 가지입니다. 오늘 팀은 명세 공백 탐지와 명확화 생성을 같은 프롬프트에 섞지 말고, 과제를 README에 분리해 적습니다.

저자는 Ma, Yiling, Zhao, Yilun, Wu, Sihong, Patwardhan, Manasi, Cohan, Arman입니다. 오늘 본문은 제공된 초록과 정리된 사실 범위만 옮깁니다. 초록에 없는 점수·연구소 순위·외부 저장소 주소는 쓰지 않습니다. 본문 공개 링크는 DAKER 커뮤니티와 DACON만 둡니다. 논문 영문 제목과 arXiv 2609.10539는 일반 텍스트로만 적습니다. 오늘 본문은 초록의 novel을 「새롭다」로 옮깁니다.

왜 구현 공백을 재야 하는가

초록은 연구 아이디어가 새롭고 일관되며 과학적으로 그럴듯해도, 제안 방법이 충실한 구현에 필요한 명세를 갖추지 못할 수 있다고 적습니다. 코드화 준비도는 유능한 구현자나 코딩 에이전트가 근거 없는 가정 없이 의도한 방법을 구성할 만큼 방법론 정보가 충분한지로 정의합니다. 근거 기반 명세와 지원 해결(resolution)은 논문·코드베이스·이슈 스레드·재현 산출물에서 구성한다고 합니다.

해커톤에서 「아이디어가 좋다」와 「명세가 구현 가능하다」를 한 문장으로 합치지 마십시오. DACON 알고리즘 대회와 DAKER 바이브코딩 해커톤 모두, 아이디어 평가와 명세 완전성을 문서에서 분리하는 습관이 필요합니다.

초록에 없는 추가 벤치 이름이나 리더보드를 붙이지 않습니다. 660·163·497과 세 능력 이름만 옮깁니다.

에이전트에게 논문을 구현하라만 시키면 실패 원인을 나누기 어렵습니다. 오늘은 준비도 판정, 결함 위치, 명확화 생성을 체크리스트에서 분리합니다.

IdeaAMBIG가 덮는 범위

IdeaAMBIG는 근거 기반 인스턴스 660개입니다. 실제 세계 공백 163개는 재현 보고서와 GitHub 이슈에서 왔고, 통제 합성 공백 497개는 코드화 준비 참조에 주입했다고 적습니다. 세 능력은 코드화 준비도 판정, 결함 위치 찾기, 명확화 행동 생성입니다. 결함 위치 찾기는 명세만 받고, 명확화는 주석된 결함을 추가로 받는다고 합니다.

13개 LLM 평가에서, 최고 모델은 실제 세계 인스턴스에서 Macro Defect Recovery Rate 9.6%를 기록하지만, 결함을 주면 Macro Clarification Action Success Rate 80.6%에 달한다고 적습니다. 오라클 연구에서 골드 해결을 주면 하위 코드화 준비 비율이 14%에서 98%로 오른다고 합니다. 모든 평가 모델에서 결함 위치 찾기가 주요 병목이며, 결함이 주어지면 명확화가 더 강하다고 정리합니다.

팀이 오늘 가져갈 표 헤더는 단순합니다. 준비도 판정, 결함 위치, 명확화 생성을 서로 다른 행에 둡니다. 9.6%와 80.6%를 한 평균으로 합치지 마십시오. 14%와 98%도 오라클 조건 문장과 함께 둡니다.

제출 문서에는 어떤 능력을 재는지 한 줄씩 적습니다. 없는 저장소 주소를 만들지 않습니다. 공개 안내는 DAKER 커뮤니티와 DACON만 사용합니다.

실험이 남기는 메시지

초록은 결함 위치 찾기가 병목이고, 결함이 주어지면 명확화가 상대적으로 강하다고 적습니다. 숫자 중 초록에 있는 것만 본문에 둡니다. 없는 모델 이름별 점수를 만들지 않습니다. 「13개 LLM」「최고 모델」이라는 표현만 옮깁니다.

코딩 에이전트면 연구 명세를 자동 구현한다는 문장은 쓰지 마십시오. 초록이 말하는 것은 명세 공백을 재는 벤치와 병목입니다. DAKER 월간 해커톤 README에는 자동 구현 완료 대신 어떤 능력 구간을 평가했는지 나란히 둡니다.

DAKER 해커톤에서 연구 재현·코딩 에이전트 과제를 고를 때도, 평가 스크립트가 준비도·위치·명확화 중 무엇인지 먼저 적습니다. 랭킹 가이드 기준으로 활동을 쌓을 때도, 벤치 이름과 능력 구간을 같은 설명에 섞지 않습니다.

학습 자료가 필요하면 학습 트랙에서 연구·코딩 관련 항목을 복습하고, 팀 내부 용어표를 IdeaAMBIG 세 능력 문구에 맞춥니다. 용어가 바뀌면 실험 비교가 무너집니다.

빌더 팀에 옮기는 점검

에이전트 프롬프트에 논문을 구현하라만 넣지 말고, 허용된 능력 구간과 입력(명세만 vs 명세+결함)을 파일로 고정합니다. 세 능력의 성공 기준을 서로 다른 체크리스트로 둡니다. 실행 로그에는 어떤 능력인지 태그를 붙입니다.

DACON 코드 제출 과제라면 재현 명령과 환경 고정 파일을 분리합니다. DAKER 바이브코딩 해커톤이라면 배포 주소와 함께 능력 구간 문장을 상단에 둡니다. 배포가 제출입니다. 올린 링크가 제출입니다.

초록에 없는 모델별 세부 점수나 추가 데이터셋 크기를 만들지 않습니다. 비교표를 만들 때는 660·163·497·9.6%·80.6%·14%·98% 문구만 열로 복제합니다.

팀 회고에서는 병목(결함 위치)과 강점(명확화)을 같은 문단에서 다루되, 병목을 숨기지 않습니다.

이 글이 아닌 것입니다

특정 모델이 연구 구현에서 1등이라는 발표가 아닙니다. 초록은 최고 모델의 두 지표와 병목을 보고합니다.

합성 공백이 실제 공백과 동일하다는 주장이 아닙니다. 163과 497을 구분해 적습니다.

골드 해결만 주면 모든 구현이 끝난다는 보증이 아닙니다. 오라클 연구에서 14%→98%라는 보고입니다.

DACON·DAKER 공식 연구 공지가 아닙니다. arXiv 2609.10539 초록 안내입니다.

GitHub 이슈 목록을 공개한다는 약속이 아닙니다. 실제 공백 출처 설명만 옮깁니다.

명세 공백을 문서로 고정하는 법

초록이 강조하는 핵심은 구현에 필요한 방법론 정보의 충분성입니다. 아이디어만 평가하면, 어디서 가정이 끼어드는지 알기 어렵습니다. 명확화만 평가하면, 결함을 찾지 못하는 병목을 놓칩니다.

팀 실무에서는 과제 카드를 세 장으로 나눕니다. 첫 장은 코드화 준비도 판정입니다. 둘째 장은 결함 위치 찾기(명세만)입니다. 셋째 장은 명확화 행동 생성(명세+결함)입니다. 세 장을 한 성공 문장으로 합치지 마십시오.

공개 안내는 DAKER 커뮤니티와 DACON처럼 허용된 주소만 링크합니다. 재현 보고서·이슈를 우리가 공개했다는 식으로 쓰지 않습니다.

에이전트 로그를 남길 때는 능력 태그를 필수 필드로 둡니다. readiness, localize, clarify 중 하나를 고릅니다.

오늘 할 일

첫째, 영문 제목과 arXiv 2609.10539를 메모 첫 줄에 적으십시오. 요약 카드만 보고 IdeaAMBIG를 정의하지 않습니다.

둘째, 팀 평가표를 세 행으로 나누십시오. 준비도, 결함 위치, 명확화입니다.

셋째, 프롬프트에 입력 조건(명세만 vs 명세+결함)을 명시하십시오. 세 능력을 한 과제에 섞지 않습니다.

넷째, 실패 로그에 능력 태그를 붙이십시오. 9.6%와 80.6%를 한 숫자로 합치지 않습니다.

다섯째, 공개 산출물을 DAKER·DACON 링크로만 올리십시오. 커뮤니티에 점검표를 공유하고, 알고리즘 연습은 DACON에서 이어 갑니다.

여섯째, 자동 재현 완료라는 말을 README에 쓰기 전에 근거 문장을 두십시오. 초록은 병목과 오라클 상승을 보고합니다.

일곱째, 오라클 98% 문장을 홍보와 분리하십시오. 골드 해결이 주어진 조건입니다.

여덟째, 준비도·위치·명확화 카드 세 장을 저장소에 커밋하십시오. 카드가 없으면 평가 범위를 다시 논쟁하게 됩니다.