큰 모델보다 기준선 한 줄: 합성미세구조 8일차에 단순 모델 RMSE부터 적어 두고 비교합니다 | DAKER 커뮤니티

합성 미세구조 기반 재료 물성 예측 AI 경진대회가 8일차에 들어섰습니다. 리더보드 마감은 10월 19일 10:00이고 하루 제출은 5회뿐이라, 지금 큰 사전학습 모델부터 올리면 그 점수가 정말 좋은지 판단할 기준이 없습니다. 오늘 할 일은 단순한 모델로 RMSE 한 줄을 먼저 얻어 실험 표 첫 줄에 적는 것입니다.

큰 사전학습 모델 대신 단순 기준선 점수를 먼저 기록하는 참가자를 그린 합성미세구조 해커톤 코믹 대표 이미지 — 설명을 돕기 위해 만든 생성 이미지입니다.

오늘의 한 줄 요약: 기준선이 없으면 큰 모델의 점수도 읽을 수 없습니다

기준선 모델이란, 가장 단순한 입력과 설정으로 만든 비교용 첫 번째 예측 모델을 말합니다. 합성미세구조 대회는 256×256 크기의 8비트 흑백 이미지에서 경도(hardness) 대용값을 예측하고, Train 500장과 Test 1,000장으로 RMSE를 겨룹니다. 학습 이미지가 500장으로 많지 않으니, 단순한 모델이 어디까지 오는지 먼저 알아야 무거운 모델을 붙였을 때 얻은 개선 폭을 숫자로 말할 수 있습니다.

큰 모델은 기준선 한 줄보다 나아질 때만 남깁니다.

왜 지금 주목해야 할까요

작성 기준일 공식 해커톤 정보로 참가 220명, 누적 제출 723건입니다. 제출이 빠르게 쌓이는 시기일수록 남의 점수를 보고 모델을 키우고 싶어집니다. 하지만 평가 규칙상 Public Score는 테스트 데이터의 30%, Private Score는 나머지 70%로 계산됩니다. 1,000장 기준으로 Public은 약 300장, Private는 약 700장이라, Public 점수 한 번의 변화만으로 모델 크기를 결정하면 흔들리기 쉽습니다.

규칙도 큰 모델 선택을 좁힙니다. 사전학습 모델은 가중치가 공개되고 MIT, Apache 2.0, CC BY, CC BY-NC처럼 이용이 허용된 라이선스만 쓸 수 있고, 원격 API로만 접근하는 모델은 사용할 수 없습니다. 모든 모델이 로컬에서 실행되어야 하므로, 기준선은 이후 실험이 규칙 안에 있는지 확인하는 출발점이기도 합니다.

참가 포인트: 기준선은 어떻게 만들면 될까요

기준선은 잘 만들 필요가 없고, 다시 돌렸을 때 같은 숫자가 나오면 충분합니다. 공식 설명에 따르면 이미지에는 결정립 크기와 분포, 어두운 상, 기공, 결정립의 신장과 정렬 같은 특징이 있고, 선명도·잡음·대비 차이도 섞여 있습니다. 이 특징을 대신하는 밝기 분포나 질감 통계 몇 개로 회귀 모델을 돌리면 첫 RMSE를 얻을 수 있습니다.

train 500장을 같은 방식으로 나눈 검증 세트를 하나 정하고 끝까지 바꾸지 않습니다.
단순 특징과 가벼운 회귀 모델로 검증 RMSE를 구해 실험 표 첫 줄에 적습니다.
그다음 실험부터는 한 번에 한 가지만 바꾸고, 기준선 대비 차이를 같은 표에 남깁니다.
검증 RMSE가 기준선보다 좋아진 설정만 하루 5회 제출 후보에 올립니다.

4~6컷 코믹 해설: 가장 큰 모델 앞에서 멈춘 참가자

아래 5컷은 첫날부터 가장 큰 모델을 올리려던 참가자가 데이터 조건을 다시 읽고, 기준선 한 줄을 먼저 적는 장면을 따라갑니다. 마지막 컷의 규칙은 간단합니다. 기준선보다 나아지지 않은 실험은 아무리 화려해도 제출 후보에서 뺍니다.

합성미세구조 대회에서 단순 기준선 RMSE를 먼저 적고 한 가지씩 바꿔 비교하는 과정을 5컷으로 그린 DAKER 대회 코믹 — 설명을 돕기 위해 만든 생성 이미지입니다.

실수 방지 체크리스트

검증 세트를 실험마다 새로 나누지 않았는지 확인합니다.
test 이미지 1,000장은 어떤 형태로도 학습에 쓰지 않습니다.
외부 데이터 없이 제공된 train만으로 기준선을 만들었는지 확인합니다.
기준선 설정과 RMSE를 나중에 다시 찾을 수 있는 곳에 적어 둡니다.

공식 출처

대회 일정, 데이터 구성, 평가 산식과 사전학습 모델 규칙은 아래 공식 해커톤 페이지에서 2026년 10월 6일에 확인했습니다. 일정이나 규칙이 바뀌면 공식 페이지가 우선합니다.

FAQ

합성미세구조 대회에서 사전학습 모델을 써도 되나요?

가중치가 공개되고 이용이 허용된 라이선스의 모델은 쓸 수 있습니다. 원격 API로만 쓰는 모델과 사용·수정·재배포가 제한된 모델은 쓸 수 없습니다.

기준선 점수는 리더보드에 꼭 제출해야 하나요?

공식 규칙에 그런 의무는 없습니다. 다만 검증 RMSE와 Public 점수의 차이를 한 번 확인해 두면 이후 실험을 읽기가 쉬워집니다.

마감까지 남은 제출 기회는 얼마나 되나요?

하루 5회 제출이 가능하고 리더보드 마감은 10월 19일 10:00입니다. 10월 6일부터 계산하면 최대 65회 안팎이니 후보를 골라 쓰는 편이 좋습니다.

여러분의 첫 기준선 RMSE는 몇이었나요? 어떤 단순 특징으로 시작했는지 댓글로 나눠 주시면 다른 참가자에게도 좋은 출발점이 됩니다.