Kaggle Orbit Wars 2위는 우승자 컴퓨팅의 약 8분의 1로 규칙 기반, 모방 학습, 자가 대전 순서를 밟았습니다 | DAKER 커뮤니티

Kaggle이 연 시뮬레이션 대회 Orbit Wars에서 2위를 한 Simon Jégou는 우승자보다 컴퓨팅이 약 8분의 1 수준이었지만, 규칙 기반 에이전트, 모방 학습, 자가 대전을 차례로 거치며 순위를 끌어올렸습니다. 그 첫 단계에서 그가 만든 것은 모델이 아니라 Kaggle 리더보드를 흉내 낸 자기만의 내부 리더보드였습니다. 제출 횟수가 하루 몇 번으로 묶인 대회에 참가하는 분이라면, 오늘 할 일도 여기서 나옵니다. 공식 제출을 쓰기 전에 내 후보들끼리 먼저 겨루게 하는 작은 평가 장치를 만드는 것입니다.

이 글은 Kaggle 공식 유튜브 채널의 「The Compute Divide: Inside Orbit Wars | Beyond the Leaderboard」(2026년 10월 27일 공개) 영상의 자막을 확인해 정리했습니다. 영상에서 직접 나온 내용만 옮겼고, 수치는 출연자가 말한 그대로 적었습니다. 영상에 없는 성능 수치나 코드는 덧붙이지 않았습니다.

Orbit Wars는 어떤 대회였습니까

진행자인 Kaggle 대회 운영 책임자 Addison Howard는 Orbit Wars를 Kaggle이 연 대회 가운데 가장 큰 축에 든다고 소개했습니다. 그는 참가 규모가 평소 대회의 4~5배였다고 말했습니다.

게임은 고전 AI 대회 과제인 Planet Wars를 바탕으로 합니다. 화면에 행성 여러 개가 흩어져 있고, 행성 크기에 따라 함선이 생산되는 속도가 다릅니다. 참가자의 에이전트는 함대를 보내 중립 행성이나 상대 행성을 점령하고, 점령한 행성이 늘수록 매 차례 얻는 함선 수도 늘어납니다. 게임을 설계한 Kaggle 엔지니어 Bovard Doerschuk-Tiberi는 Orbit Wars가 여기에 세 가지를 더했다고 설명했습니다.

• 가운데에 태양이 있어 함대가 태양을 통과하지 못합니다.
• 궤도를 도는 행성과 고정된 행성이 섞여 있습니다.
• 함대는 직선으로만 날아가기 때문에, 보낸 함대가 도중에 다른 행성과 겹치는지 미리 계산해야 합니다.

최대 4명이 네 귀퉁이에서 시작할 수도 있습니다. 규칙은 짧지만 풀기는 어렵다는 점이 참가자들이 공통으로 꼽은 매력이었습니다.

1위는 150억 스텝을 돌렸습니다

우승자 Isaiah Pressman은 Two Sigma Labs에서 일하며 회사 클러스터를 쓸 수 있었습니다. 그는 영상에서 「150억 스텝의 시뮬레이션을 돌릴 수 있었고, 이는 과거 대회에서 제가 할 수 있던 것보다 두세 자릿수 많은 양」이라고 말했습니다. 2위 Simon Jégou는 Isaiah가 B200 노드 4개를 썼다고 기억했습니다.

Isaiah는 강화학습이 컴퓨팅을 늘리면 거의 그대로 좋아지는 알고리즘이라고 설명했습니다. 컴퓨팅을 더 넣어도 별 도움이 안 되는 문제도 있지만, 강화학습은 그런 경우가 아니라는 것입니다. 흥미로운 점은 그가 반대 처지도 겪어 봤다는 사실입니다. 지난해 Lux AI 대회에서 그는 집에 있는 개인 컴퓨터로 2위를 했고, H100 8장을 쓴 팀에게 졌습니다. 그는 아이디어에서 밀려 진 것이 아니라 10배, 100배 많은 컴퓨팅에 밀려 진 경우에는 그저 받아들이게 된다고 말했습니다. 올해는 반대로 데이터센터 GPU를 쓸 수 있게 되자, 그 축으로 어디까지 밀어붙일 수 있는지 보고 싶었다고 했습니다.

컴퓨팅이 무제한은 아니었습니다. Isaiah는 제출 파일이 100MB로 제한돼 있었다는 점을 짚었습니다. 아무리 큰 클러스터로 학습해도 최종 에이전트는 그 크기 안에 들어가야 했습니다.

2위는 규칙, 모방, 자가 대전을 차례로 밟았습니다

Simon Jégou는 10년 가까이 Kaggle 대회에 참가해 왔지만 시뮬레이션 대회도, 강화학습도 Orbit Wars가 처음이었습니다. 그는 H100 8장이 달린 노드 하나를 썼고, 우승자와의 차이를 대략 8배에서 16배로 봤습니다. 진행자는 그의 계산대로라면 Simon이 우승자 컴퓨팅의 약 8분의 1로 2위를 했다고 정리했습니다. 그가 거친 단계는 다음과 같습니다.

1. 규칙 기반 에이전트를 코딩 에이전트로 대량 생성했습니다. 처음 목표는 Claude Code나 Codex 같은 코딩 에이전트 사용법을 익히는 것이었습니다. 그는 Kaggle 리더보드를 본뜬 내부 리더보드를 하네스로 만들고, 코딩 에이전트가 규칙 기반 에이전트를 수십 가지 변형으로 만들게 했습니다. 변형끼리 내부 리더보드에서 싸우게 한 뒤 1등만 실제 플랫폼에 제출했습니다. 이 방식으로 50위권까지 올랐지만 곧 정체됐습니다.
2. 모방 학습으로 넘어갔습니다. 포럼에서 강화학습이 잘 된다는 이야기를 보고 방향을 바꾸되, 먼저 다른 참가자의 플레이를 데이터셋으로 모아 그대로 따라 하게 하는 지도학습을 택했습니다. 그는 이 방법을 지루하다고 표현했지만, 이 단계에서 10위권에 들었습니다.
3. 모방 학습 체크포인트에서 자가 대전을 시작했습니다. 강한 플레이어를 흉내 낼 수 있게 된 뒤에야 환경을 충분히 이해했다고 판단했고, 모방 학습 모델을 출발점으로 자가 대전을 돌렸습니다. 자가 대전은 빠르게 모방 학습을 앞질렀습니다.
4. 마지막에는 처음부터 자가 대전만 돌렸습니다. 대회 종료 6~7일 전, 그는 모방 학습 부분을 완전히 빼고 아무것도 없는 상태에서 자가 대전을 다시 시작했고, 그 결과가 2위였습니다.

Simon은 처음부터 자가 대전으로 시작했다면 1위를 노려 볼 수도 있었겠다고 말했습니다. 그래도 각 단계가 다음 단계를 위한 학습이었다고 덧붙였습니다. 그는 이 대회를 리처드 서튼의 에세이 「쓰라린 교훈(The Bitter Lesson)」의 좋은 예로 봤습니다. 사람이 정한 전략을 넣기보다 학습과 탐색으로 컴퓨팅을 따라 성능이 늘어나는 방법이 결국 이긴다는 주장입니다. 그는 「이런 구조에서는 컴퓨팅이 가장 많은 사람이 이깁니다」라고 정리했습니다.

그가 털어놓은 고민도 있습니다. 자가 대전으로 만든 에이전트는 자신이 읽을 수 없는 시스템이라는 점입니다. 그는 바둑을 두지 못하는 사람이 AlphaZero를 만든 것과 비슷하다며, 초보의 수와 뛰어난 수를 자신은 구별할 수 없다고 했습니다.

GPU 한 장으로 상위 2%에 든 참가자는 한 달을 환경 최적화에 썼습니다

아르헨티나의 Gerardo Nahuel Del Toro는 책상 위 컴퓨터의 GPU 한 장으로 상위 2%에 들었습니다. 그는 이전 대회 경험에서 강화학습을 하려면 초당 많은 게임을 돌려 100만~200만 판 정도를 학습해야 한다는 것을 알고 있었습니다. 그래서 첫 한 달을 거의 게임 환경 최적화에 썼습니다. 코딩 에이전트의 도움을 받아 각 값에 1바이트가 필요한지 2바이트, 4바이트가 필요한지까지 따져 가며, 게임 환경 전체를 GPU 하나에 병렬로 올렸습니다.

그 과정은 순탄하지 않았습니다. 그의 에이전트가 상위 1% 안팎에 있던 시점에, 누군가 규칙 기반 에이전트 노트북을 공개하자 그는 400~500계단 아래로 밀려났습니다. 그는 두 달 작업 끝에 400명이 자신을 리더보드에서 지워 버리는 것을 보는 일이 괴로웠다고 말했습니다. 그래도 이 게임에서는 상대에 따라 강함이 달라지기 때문에, 에이전트가 정말 나아졌는지 알 수 있는 실질적인 방법은 리더보드뿐이었다고 했습니다. 공개된 노트북은 결국 그가 넘어야 할 기준이 됐습니다.

그는 대회를 이기기 위해서가 아니라 배우기 위해 한다는 원칙으로 균형을 잡았다고 했습니다. 대회가 끝난 뒤 그는 모교에서 강화학습과 사후 학습 방법을 가르치고 있고, 수업에서는 학생들이 직접 만든 30턴짜리 게임으로 겨루는 과제를 운영하고 있습니다.

사람이 짠 규칙도 상위 100위에 들었습니다

Simon은 사람들이 충분히 이야기하지 않는 사례로 Vincent Schuler를 꼽았습니다. 그는 게임을 직접 이해해서 만든 규칙만으로 상위 100위 안에 들었습니다. Simon은 그를 가장 뛰어난 인간 플레이어라고 부르며, 사람이 이해하지 못하는 시스템을 설계하는 시대에도 사람 혼자 상위권에 오를 수 있다는 점이 반갑다고 말했습니다.

Kaggle 사용자 경험 리서치를 이끄는 Erica Brick은 참가자 대부분이 업무가 아니라 퇴근 후와 주말에 스스로 찾아와 실력을 키우는 사람들이라고 설명했습니다. 다른 사람의 풀이를 보고 영감을 얻는 것이 참가 동기라는 것입니다. Gerardo도 상위권 참가자가 접근법과 교훈을 공유한 토론 글이 자신의 학습 방향을 잡는 데 큰 도움이 됐다고 말했습니다.

게임 대회와 코딩 에이전트는 같은 방식으로 학습됩니다

마지막 질문에서 Simon은 Orbit Wars와 오늘날의 코딩 에이전트가 직접 이어져 있다고 설명했습니다. 코딩 에이전트도 코딩 환경이라는 시뮬레이션 안에서 강화학습으로 학습되기 때문입니다. 차이는 출발점입니다. Orbit Wars에서는 작은 신경망을 처음부터 학습시켰고, 코딩 에이전트는 인터넷 규모로 사전학습된 대형 언어 모델에서 시작합니다. 그는 「게임은 결국 시뮬레이션일 뿐」이라고 말했습니다.

제출 횟수가 정해진 대회에서 오늘 할 일

컴퓨팅 차이는 개인이 당장 바꿀 수 없습니다. 하지만 Simon의 첫 단계와 Gerardo의 첫 한 달은 GPU가 적은 참가자도 바로 따라 할 수 있습니다. 내 후보들을 먼저 내부에서 겨루게 하고, 실험 한 번에 드는 시간을 줄이는 것입니다.

지금 DACON에서 진행 중인 항만 문제해결을 위한 AI 기술 공모전을 예로 들면, 대회 규칙상 하루 최대 제출 횟수는 5회입니다. 평가 산식은 0.7 × 한글 기록 정확도 + 0.3 × 비한글 기록 정확도이고, Public 점수는 테스트 데이터의 50%, Private 점수는 전체 테스트 데이터로 계산합니다. 대회는 2026년 11월 2일(월) 10:00에 끝나며, 10월 30일 오전 대회 페이지 기준 참가자는 1,095명입니다. 동점일 때는 추론 시간이 짧은 순서가 먼저이고, 종료 후에는 제출 코드의 재현성과 실행 규격을 검증합니다. 자세한 내용은 대회 규칙과 평가 안내에서 확인하십시오.

남은 기간에 Orbit Wars 참가자들의 방식을 옮기면 다음과 같습니다.

1. 내부 리더보드를 먼저 만드십시오. 학습 데이터에서 검증용 묶음을 떼어 두고, 대회와 같은 산식(한글 0.7, 비한글 0.3 가중)으로 점수를 내는 스크립트를 만듭니다. 후보 모델이나 후처리 규칙 여러 개를 이 스크립트로 먼저 비교하고, 1등만 공식 제출에 씁니다.
2. 한글과 비한글 점수를 따로 기록하십시오. 가중치가 7대 3이므로 어느 쪽이 오르고 내렸는지 나눠 보지 않으면 다음 실험 방향을 정하기 어렵습니다.
3. 추론 시간을 함께 재십시오. Gerardo가 환경을 바이트 단위로 줄인 것처럼, 실행 시간을 줄이면 실험 횟수가 늘고 동점 상황에서도 유리합니다.
4. 공개 코드가 나오면 기준으로 삼으십시오. 공개된 풀이에 순위가 밀리는 일은 Orbit Wars에서도 있었습니다. 그 코드를 내부 리더보드에 넣어 내 후보와 같은 조건으로 비교하면, 남은 제출을 어디에 쓸지 판단하기 쉬워집니다.

GPU 사양이 정해진 환경에서 에이전트를 만드는 대회라면 제약은 더 분명해집니다. DAKER에서 진행 중인 제주 AI Agent 챌린지의 실행 환경과 평가 기준은 이 글에서 정리했습니다.

우승자는 컴퓨팅으로 이겼고, 2위는 단계를 바꿔 가며 따라붙었고, GPU 한 장의 참가자는 환경을 줄여 상위 2%에 들었습니다. 세 사람 모두 공식 제출 전에 자기만의 비교 기준을 먼저 세웠다는 점은 같습니다. 오늘 대회 폴더에 평가 스크립트 하나를 먼저 추가해 보십시오.