벤치마크 1등이 탈락했다 | DAKER 커뮤니티
오늘 과기정통부가 독파모 2차 명단을 읽었다. 글로벌 벤치 1위 모티프의 이름은 없었다. 점수가 모자라서가 아니다. 점수를 어디에 두느냐가 달랐다.
2026년 8월 18일 정부서울청사. 다음 단계로 가는 팀은 업스테이지, SK텔레콤, LG AI연구원이다. 모티프테크놀로지스는 탈락했다. 리더보드가 선발이 아닌 날이다.
기록은 아시아경제 종합, 같은 날 브리핑 기사, 지디넷코리아의 모티프 후속에 남아 있다. 아래 점수는 그 기사들이 전한 공식 배점과 공개 AAII다. 썸네일 스코어보드의 숫자는 연출이므로 본문에 쓰지 않는다.
무엇이 나왔나
독파모는 과학기술정보통신부의 독자 AI 파운데이션 모델 프로젝트다. 2차 단계평가 배점은 벤치마크 40, 전문가 35, 사용자 25다. 합이 100이다. 벤치만 잘해도 40점에서 끝난다. 전문가와 사용자를 더한 60점이 사용성·전략·실제 서비스의 자리다. 정부가 모델을 고르는 시험이 아니라, 모델이 바깥에서 쓰이는지를 같이 보는 시험이다.
항목별 순위는 공개되지 않았다. 류제명 차관은 네 팀의 격차가 근소해 1위를 발표할 실익이 크지 않다고 했다. 다른 기업에 미치는 영향도 종합했다고 했다. 공개된 것은 평균과 1·4위 간격이다. 벤치마크 평균 22.5점, 1위와 4위의 차 4.0점. 네 팀 모두 30점을 넘지 못했다. 전문가 평균 28.8점, 간격 2.4점. 사용자 평균 17.6점, 간격 5.0점. 가장 벌어진 축이 사용자다. 벤치의 4점보다 사용자의 5점이 더 넓다. 40점짜리 벤치보다 25점짜리 사용자 평가에서 간격이 더 컸다.
절대값도 같이 봐야 한다. 벤치 평균 22.5는 40점 만점의 한가운데를 밑돈다. 전문가 평균 28.8은 35점 만점에서 상대적으로 높다. 사용자 평균 17.6은 25점 만점에서 더 헐겁다. “근소한 탈락”과 “사용성이 낮았다”가 동시에 나온 이유의 윤곽이 여기 있다. 네 팀이 벤치에서는 붙어 있었고, 사용자가 간격을 더 벌렸다.
일반 국민 평가는 1400여 명 지원, 최종 185명이 참여했다. 류 차관은 이 평가가 당락에 결정적이지 않았다고 했다. 대중의 한 방이 아니라, 전문가와 사용성을 포함한 종합이다. 185표를 국민 심판으로 과장하면 브리핑을 반대로 읽은 것이다.
진출 3팀에 GPU가 늘어난다. 당초 768장 수준이던 엔비디아 B200 지원을 1000장 수준으로 올린다. 3차 평가는 올해 말에서 내년 초, 예정대로 진행해 최종 2팀을 고른다. 그 이후는 다르다. 류 차관은 2027년 이후 두 팀에 대한 지원을 지금 형태 그대로 갈지 전면 재검토 중이라고 했다. 브리핑 뒤 기자들과의 자리에서는 최상위급 독자 모델이 필요하다는 인식 아래 새 지원체계를 관계 부처와 논의 중이라고도 했다. 기존 독파모와 범용AI 프로젝트의 연계·재편도 들여다본다고 전했다. 2차 통과가 다음 예산의 자동 연장은 아니다.
벤치 1위가 떨어진 자리
공개된 글로벌 지수인 AAII에서 모티프는 47점이다. 솔라 오픈 2(업스테이지) 37점, 에이닷엑스-K2(SK텔레콤) 35점, K-엑사원 2.0(LG AI연구원) 31점을 앞섰다. 지디넷은 한국 기업 1위, 글로벌 10위, 오픈웨이트 기준 글로벌 4위로 전했다. 벤치만 보면 모티프가 위다. 이 네 숫자만 본문에 남긴다. 가상 스코어보드의 90점대는 사실이 아니다.
정부는 모티프가 에이전트·코딩 고난도 벤치에서 글로벌 빅테크와 대등한 수준을 냈다고 인정했다. 류 차관은 작은 R&D 조직인데도 뛰어난 성과를 냈다고 했다. 탈락 이유로 짚은 것은 사용성이 타사보다 상대적으로 낮았다는 점이다. 공개 리더보드의 1위가 60점짜리 사용성에서 밀린 그림으로 읽힌다. 항목별 득점이 비공개이므로, 그 이상을 점수 계산으로 메우지 않는다.
모티프는 처음부터 있던 팀이 아니다. 중간에 합류했고, 약 5개월 만에 사전학습부터 후처리까지 자체 모델 모티프3를 올려 벤치 1위를 만들었다. 임정환 대표는 정부가 작은 스타트업에도 기회를 주지 않았다면 이 성과가 없었을 것이라고 했다. 결과에 상관없이 기술력만으로 한국에서도 프론티어급이 가능하다는 점을 증명했다고 했다. 같은 날 마감하는 모두의 AI에는 KT 컨소시엄으로 남는다. 선발에서 내려와도 모델은 남는다. 독파모 탈락을 회사의 종료로 읽으면 기사를 덜 읽은 것이다.
벤치맥싱 의혹은 이번 발표에서 선을 그었다. 류 차관은 해당 평가기관에 물었고, 체계적 암기나 과적합이 입증될 답변을 찾지 못했으며 큰 문제가 없다는 답을 받았다고 했다. 탈락의 이유를 부정행위로 읽을 근거를 정부는 제시하지 않았다. 사용성이 낮았다는 설명과, 벤치 조작이 입증되지 않았다는 설명은 같이 간다.
올라간 세 팀의 점수판이 아닌 이유
전문가위원회가 호평한 문장은 벤치 숫자가 아니다. 업스테이지는 다음·타임리와 연계해 국민이 체감할 배포를 추진하고, 퓨리오사AI NPU와 협업해 외산 하드웨어 종속성을 줄인 점이 적혔다. 모델 점수보다 출구와 칩의 이야기다. 포털과 뉴스 앱에 붙는다는 것은, 평가용 데모가 아니라 사람이 이미 여는 화면에 들어간다는 뜻이다.
SKT는 수리 추론과 한국어에서 정상을 확보했고, 대규모 상용 서비스에 실제로 올라가 사용성·실용성에서 높은 평가를 받았다. 회사는 A.X K2가 IMO 2026 문제 평가에서 금메달 기준을 충족했고, MathArena AIME 2026에서 97.1%로 공동 최고점을 냈다고 공개한 바 있다. 독파모 발표가 다시 짚은 것은 그 숫자 자체보다, 이미 서비스에 들어가 있다는 사실이다. 수학 금메달이 통과증이 아니라, 상용에 붙은 모델이 통과 사유에 가깝다.
LG AI연구원은 국제기구 등과 협업 전략, 에이전틱 AI의 차별성, 안전이 호평 문장에 있다. K-엑사원 2.0은 7500억 파라미터 규모로 공개된 모델이다. 큰 모델이 통과 사유로 호명된 것이 아니라, 파급과 에이전트와 안전의 전략이 호명됐다. 파라미터는 배경이고, 선발 문장은 쓰임이다.
AAII는 지식·추론·코딩 등 여러 벤치를 한 점수로 묶는다. 무엇을 묶느냐에 따라 흔들린다. 정부는 NIA 벤치가 한국어·한국 맥락, 안전성·신뢰성까지 본다고 설명했다. 글로벌 1위 표와 국내 선발 표가 다른 이유다. 한 장의 리더보드를 국가 대표 선발로 읽으면, 배점표의 60점을 지운 셈이다.
무엇이 아닌가
모티프의 기술 사망 선고가 아니다. 벤치는 남았고, 모델은 남았고, 다른 사업은 이어진다. 2차 선발에서 내려온 것이다. 5개월 만에 표를 만든 팀은, 표 밖의 사용성을 다음 제품에 붙이면 다시 싸운다.
항목별 1등이 공개된 날도 아니다. 누가 벤치 40점 만점에서 몇 점을 받았는지는 나와 있지 않다. 공개 AAII와 평균·간격만으로 순위를 재구성하면 과잉이다. 썸네일의 가상 점수판을 실제 결과로 인용하면 틀린다. “근소”가 공식 형용사이고, 1등 호명은 정부가 하지 않은 일이다.
2027년 지원이 확정된 이야기도 아니다. 3차는 예정대로 2팀을 고른다. 그다음 지원 방식은 전면 재검토다. 이번 통과는 결승 티켓이지, 예산의 종착역이 아니다. 1000장 수준의 GPU는 다음 단계의 연료이지, 최종 우승컵이 아니다.
이번 주에 읽을 문장
리더보드가 선발이 아니다. 배점의 60점은 전문가와 사용자다. 배포되고, 쓰이고, 서비스에 붙어 있는 쪽이 그 60점을 가져간다. 벤치 1위가 탈락한 이유는 그 문장 하나에 들어 있다. 표를 올리는 팀은 많았고, 표를 쓰는 자리가 선발을 밀었다.
한국에서 모델을 만드는 팀의 이번 주 숙제는 종합 지수를 한 점 더 올리는 일이 아니다. 다음·타임리처럼 국민이 만지는 입구, 에이닷처럼 이미 돌아가는 상용, 국제 협력과 안전처럼 바깥에서 검증되는 사용성을 한 줄로 적는 일이다. 내부 엘로가 바깥에서 쓰이지 않으면 40점짜리 숙제다. 3차까지 남은 시간은 벤치 패치를 위한 시간이 아니라, 사람이 여는 화면을 만들기 위한 시간에 가깝다.
DAKER에서도 같은 문장을 쓴다. 배포가 제출이다. 리더보드에 올라간 제출은 제출이 아니다. 다른 사람이 링크를 열어 한 번 성공하는 지점까지가 제출이다. 오늘 독파모가 국가 단위로 그 문장을 읽었다. 해커톤이든 파운데이션이든, 표에 남는 것과 사람에 남는 것은 배점이 다르다.
선발표가 빌더에게 남기는 것
오늘 발표는 네 회사의 순위표가 아니다. 정부가 어떤 40점과 어떤 60점을 더하는지를 공개한 날이다. 벤치 평균이 22.5에 머물고 누구도 30을 못 넘긴 상태에서, 전문가와 사용자가 나머지를 밀었다. 글로벌 AAII 47점이 국내 선발을 자동으로 열어 주지 않는다는 뜻이다. 모티프3의 5개월은 표가 빠르게 올라갈 수 있음을 보였다. 동시에, 표만으로는 다음 단계의 GPU 1000장에 못 오른다는 것도 보였다.
3차에 남은 세 팀의 숙제는 반대다. 벤치를 4점 더 벌리는 일이 핵심이 아니다. 이미 공개된 간격은 벤치 4.0, 전문가 2.4, 사용자 5.0이다. 사람이 만지는 화면과 상용 경로, 안전과 협력의 문장을 더 두껍게 만드는 쪽이 60점에 가깝다. 업스테이지의 다음·타임리, SKT의 상용 탑재, LG의 국제 협력과 에이전트가 호평 문장에 남은 이유다.
빌더에게는 국가 사업이 아니어도 같은 배점이 있다. 내부 벤치 40, 실제 사용자 60. 데모 데이의 표는 제출이 아니다. 링크가 열리고 한 명이 성공하는 지점이 제출이다. 오늘 독파모는 그 비율을 국가 단위로 읽었다.