코드 검증에서 같은 RMSE가 안 나오면? 합성미세구조 시드와 환경을 먼저 고정합니다 | DAKER 커뮤니티
합성 미세구조 기반 재료 물성 예측 AI 경진대회의 리더보드는 2026년 10월 19일 10:00에 닫힙니다. 그다음 주에는 Private 상위 팀이 코드와 솔루션 자료를 내고 코드 검증을 받습니다. 작성 기준일인 10월 16일 오전, 해커톤 페이지에는 참가 381명·누적 제출 2,319건이 표시돼 있었습니다. 오늘 글의 초점은 공개·비공개 점수 비율이 아니라, 코드 검증에서 같은 RMSE가 다시 나오도록 시드와 실행 환경을 먼저 고정하는 일입니다.
오늘의 한 줄 요약: 코드 검증에서 점수가 달라지면 무엇을 먼저 볼까요?
시드와 라이브러리 버전, 그리고 그 점수를 낸 제출 압축 파일이 같은지부터 봅니다. 코드 검증이란 제출한 코드로 Private 점수를 다시 계산해 리더보드 기록과 맞는지 확인하는 단계로, 환경이 바뀌면 같은 코드라도 RMSE가 어긋날 수 있습니다. 규칙은 코드 검증 뒤에 수상자가 정해진다고 밝히므로, 마지막 주에 시드만 바꿔 점수를 끌어올린 설정은 검증에서 흔들리기 쉽습니다.
리더보드에 남은 점수는 힌트일 뿐이고, 코드 검증에서 같은 숫자가 다시 나와야 그 제출이 살아남습니다.
오늘 할 일은 새 모델을 더 넣는 것보다, 지금 최고점 설정의 시드·패키지 버전·전처리 순서를 한 장에 적고 같은 환경에서 한 번 더 돌려 보는 것입니다.
왜 시드와 환경을 지금 고정해야 할까요?
제출 마감이 사흘 앞으로 다가오면 점수를 한 번 더 끌어내리고 싶어집니다. 그런데 시드나 라이브러리 버전을 바꾸면 로컬에서는 좋아 보여도 검증 서버에서는 달라질 수 있습니다. 규칙은 허용되지 않은 외부 데이터·모델·API를 쓰면 실격될 수 있다고 적고 있고, 원격 API만으로 돌리는 모델도 쓸 수 없습니다. 점수가 좋을수록 재현되지 않을 때의 손해도 커집니다.
작성 기준일 기준 참가 381명·제출 2,319건이 쌓여 있는 만큼, 검증 주간에 같은 숫자를 다시 만들 수 있는 팀이 유리합니다. Public 30%·Private 70% 구조는 그대로이니, 공개 리더보드만 보고 시드를 자주 바꾼 설정일수록 오늘 점검이 필요합니다.
참가 포인트: 시드·버전·압축 파일을 한 줄에 묶기
- 지금 최고점을 낸 실행의 시드, Python과 주요 라이브러리 버전, 전처리 순서를 메모에 적습니다.
- 같은 메모의 설정으로 로컬에서 한 번 더 돌려 RMSE가 같은지 확인합니다.
- 그 점수를 낸 제출 압축 파일 이름과 생성 시각을 메모 옆에 붙입니다.
- 코드 검증용으로 남길 폴더에는 그 압축 파일과 메모만 두고, 실험용 분기 코드는 섞지 않습니다.
3번이 중요한 이유는 검증 주간에 어떤 파일이 그 점수인지 바로 꺼내기 위해서입니다. 메모 없이 폴더만 있으면 비슷한 실험 파일이 섞여 Private 점수를 복원하기 어렵습니다.
4~6컷 코믹 해설: 그 점수, 다시 나오나요?
아래 컷은 리더보드 점수만 보고 제출한 참가자에서 시작합니다. 코드 검증에서 RMSE가 달라지자 시드와 라이브러리 버전을 적고, 같은 환경에서 다시 돌려 맞춘 뒤에야 최종 압축 파일을 묶습니다.
코드 검증 전 체크리스트
- 최고점 설정의 시드와 주요 라이브러리 버전이 메모에 있습니다.
- 같은 설정으로 로컬 RMSE를 한 번 더 맞춰 봤습니다.
- 그 점수를 낸 제출 압축 파일 이름과 시각이 메모와 같습니다.
- 원격 API 없이 로컬에서 가중치를 불러와 실행됩니다.
- 학습에는 허용된 train만 쓰고 test는 학습에 넣지 않았습니다.
일정과 숫자로 보는 오늘
작성 기준일 2026년 10월 16일 오전, DAKER 해커톤 페이지 기준 참가 381명·누적 제출 2,319건입니다. 리더보드는 10월 19일 10:00에 닫히며, 이어서 코드·솔루션 자료 제출과 코드 검증이 이어집니다. 최종 수상자 발표는 10월 29일로 안내돼 있습니다.
공식 출처
제출·코드 검증 일정과 사전학습모델·API 규칙은 DAKER의 합성 미세구조 기반 재료 물성 예측 AI 경진대회 페이지에서 2026년 10월 16일 오전에 확인했습니다.
- 합성 미세구조 기반 재료 물성 예측 AI 경진대회 해커톤 페이지
- DAKER 대회 글: 공개 30%와 Private 70% 검증 분할
- DAKER 대회 글: Public Score는 힌트
FAQ
시드를 바꾸지 않았는데도 검증 점수가 달라지면요?
라이브러리 버전, 전처리 순서, 난수 발생 위치, 그리고 제출 압축 파일이 그 실행과 같은지부터 확인합니다. 메모에 없는 실험 분기가 섞였는지도 같이 봅니다.
코드 검증 전에 꼭 로컬에서 한 번 더 돌려야 하나요?
같은 숫자가 나오는지 확인하는 가장 빠른 방법입니다. 검증 서버와 환경이 달라도, 로컬에서조차 재현되지 않으면 검증에서 맞추기 어렵습니다.
이미 시드를 자주 바꾼 제출이 최고점이라면요?
그 설정의 시드·버전을 지금 메모에 고정하고, 같은 설정으로만 남은 제출을 쓰는 편이 안전합니다. 마감 직전에 시드만 바꾼 새 실험은 검증 리스크가 큽니다.
여러분은 코드 검증을 앞두고 시드와 환경 중 무엇을 먼저 적나요? 재현을 위한 자기만의 메모 양식이 있다면 댓글로 나눠 주세요.