공개 30%에만 맞춘 합성미세구조 제출, Private 70%에서는 어떻게 될까요? | DAKER 커뮤니티

합성 미세구조 기반 재료 물성 예측 AI 경진대회의 리더보드는 2026년 10월 19일(월) 10:00에 닫힙니다. 남은 나흘 동안 공개 점수를 한 칸이라도 더 끌어올리고 싶어지는 시기입니다. 그런데 이 대회의 평가 지표는 RMSE이고, Public은 테스트 데이터의 30%, Private는 나머지 70%로 계산됩니다. 공개 보드에만 맞춰 제출을 반복하면 Private에서 순위가 크게 흔들릴 수 있습니다. 오늘은 훈련 데이터 안에 검증 분할을 따로 두고, 그 점수가 나아진 설정만 제출에 쓰는 순서를 정리합니다.

리더보드 공개 점수만 보며 튜닝하다 검증 분할 점수를 따로 적는 참가자를 그린 합성미세구조 해커톤 설명용 고화질 일러스트 — 설명을 돕기 위해 만든 생성 이미지입니다.

오늘의 한 줄 요약: 공개 점수는 무엇을 알려 줄까요?

공개 점수는 최종 순위가 아니라 힌트입니다. 대회 안내는 평가를 RMSE로 두고 Public 30%와 Private 70%를 구분해 계산한다고 밝히며, 동점이면 그 점수를 먼저 기록한 참가자가 앞선다고 적습니다. 리더보드에 보이는 숫자는 테스트의 일부일 뿐이므로, 그 숫자만으로 모델이 Private에서도 같은 비율로 좋아졌다고 단정할 수 없습니다.

Public Score는 테스트 데이터의 30%, Private Score는 나머지 70%로 계산됩니다.

검증 분할이란 훈련 데이터를 학습용과 확인용으로 나눠, 공개 보드에 올리기 전에 같은 지표로 한 번 더 재는 자리입니다. 공개 점수와 검증 점수가 같이 움직일 때만 제출을 쓰는 편이 안전합니다.

왜 마감 직전에 공개 보드만 보면 위험할까요?

최종 수상은 Private 점수를 본 뒤 코드 검증을 통과해야 정해지기 때문입니다. Private Score 상위 10명은 10월 19일 10:00부터 22일 10:00까지 코드와 솔루션 자료를 내고, 23일부터 28일까지 코드 검증을 받습니다. 규칙은 대회 직후 공개되는 Private 랭킹이 최종 순위가 아니며 코드 검증 뒤에 수상자가 정해진다고 밝힙니다. 공개 보드에만 과하게 맞춘 설정은 Private에서 점수 차이가 크게 벌어질 수 있고, 2차 평가 대상이 돼도 같은 점수를 재현하기 어렵습니다.

test 데이터를 어떤 형태로도 학습에 쓰면 안 된다는 규칙도 같은 맥락입니다. 공개 점수를 맞추려고 테스트 쪽 신호를 학습에 섞으면 검증 단계에서 문제가 됩니다. 외부 데이터 금지, 원격 API 모델 금지 규칙과 함께, 검증은 훈련 데이터 안에서만 설계하는 것이 맞습니다.

참가 포인트: 검증 점수가 나아진 설정만 제출하기

마감이 가까울수록 순서는 단순하게 두는 편이 좋습니다.

훈련 데이터 안에서 검증 분할을 고정하고, 시드와 전처리는 그대로 둡니다.
후보 설정을 바꿀 때마다 검증 분할의 RMSE를 먼저 적습니다.
검증 점수가 이전보다 나아지지 않으면 공개 보드에 올리지 않습니다.
검증과 공개가 같은 방향으로 움직인 설정만 하루 5회 제출 가운데 한 번을 씁니다.
최종으로 남긴 설정의 전처리, 시드, 모델 불러오기 위치를 메모해 2차 평가 때 같은 코드를 복원할 수 있게 합니다.

4번이 중요한 이유는 제출 횟수와 과적합을 동시에 줄이기 위해서입니다. 공개 보드에 매번 반응하면 30% 구간에만 맞춘 선택이 쌓이고, Private 70%에서 되돌리기 어렵습니다.

4~6컷 코믹 해설: 그 점수, 전체의 얼마인가요?

아래 5컷은 공개 리더보드만 보고 튜닝하던 참가자에서 시작합니다. Public 30%와 Private 70% 규칙을 읽고 훈련 데이터 안에 검증 분할을 따로 둔 뒤, 검증 점수가 나아진 설정만 남겨 제출합니다.

공개 리더보드에만 맞춰 제출을 반복하던 참가자가 Public 30퍼센트와 Private 70퍼센트 규칙을 읽고 훈련 안에서 검증 분할을 따로 만든 뒤 검증 점수가 나아진 때만 제출하는 과정을 5컷으로 그린 DAKER 대회 해커톤 코믹 — 설명을 돕기 위해 만든 생성 이미지입니다.

제출 전 체크리스트

검증 분할은 훈련 데이터 안에서만 만들었고 test는 학습에 쓰지 않았습니다.
후보마다 검증 RMSE를 같은 방식으로 기록했습니다.
검증이 나아지지 않은 설정은 제출하지 않았습니다.
사전학습 가중치의 공개일과 라이선스 조건을 충족합니다.
원격 API 없이 로컬에서 같은 코드를 끝까지 돌릴 수 있습니다.

일정과 숫자로 보는 오늘

작성 기준일인 2026년 10월 15일 오전, DAKER 해커톤 페이지에는 참가 374명, 누적 제출 2,171건이 표시돼 있었습니다. 리더보드는 10월 19일(월) 10:00에 닫히며 하루 최대 5회까지 제출할 수 있습니다. 평가 지표는 RMSE이고 Public 30% / Private 70%입니다. 최종 수상자는 10월 29일에 발표됩니다.

공식 출처

평가 비율, 제출 한도, 2차 평가 일정과 데이터 규칙은 DAKER의 합성 미세구조 기반 재료 물성 예측 AI 경진대회 페이지에서 2026년 10월 15일 오전에 확인했습니다.

FAQ

공개 점수가 올랐는데 검증 점수는 그대로라면요?

그 설정은 공개 30% 구간에만 맞춰졌을 가능성이 큽니다. 제출을 아끼고 검증이 같이 움직이는 설정을 찾는 편이 안전합니다.

검증 분할 비율은 얼마가 좋나요?

공식 비율은 정해져 있지 않습니다. 중요한 것은 비율을 고정한 뒤 같은 방식으로 비교하는 일입니다. 마감 직전에 분할을 자주 바꾸면 비교가 흐려집니다.

Private 상위 10에 들면 공개 보드 설정 그대로 내면 되나요?

2차 평가에서는 코드와 솔루션 자료로 Private 점수를 재현할 수 있어야 합니다. 공개 보드에만 맞춘 임시 설정이 아니라, 메모해 둔 최종 설정으로 제출하는 것이 맞습니다.

여러분은 공개 점수와 검증 점수를 어떻게 나란히 보고 있나요? 마감 전 검증 분할을 나누는 자기만의 기준이 있다면 댓글로 나눠 주세요.