MiniMind로 64M 언어 모델을 GPU 한 장에서 처음부터 직접 훈련합니다 | DAKER 커뮤니티

MiniMind는 약 6,400만(64M) 파라미터짜리 작은 언어 모델을 토크나이저부터 사전학습, 미세조정, 강화학습까지 처음부터 직접 훈련해 볼 수 있게 만든 오픈소스 프로젝트입니다. 2026년 11월 20일 GitHub 트렌딩(Daily) 4위에 올랐고, 같은 날 11:38 KST에 트렌딩 페이지에서 확인한 스타 수는 66,966개, 하루 새 스타는 238개입니다.

해 질 무렵 집 책상 위에 그래픽카드가 보이는 데스크톱 PC와 손실 곡선이 흐릿하게 뜬 모니터, 조립 중인 블록 비행기가 놓인 실사풍 사진과 MiniMind 공식 로고

무엇인가

MiniMind 저장소 README는 이 프로젝트의 목표를 약 3위안의 비용과 2시간 정도의 훈련 시간으로 64M 파라미터 언어 모델 MiniMind를 완전히 처음부터 학습시키는 것이라고 소개합니다. 메인 브랜치의 가장 작은 모델은 GPT-3의 약 2,700분의 1 크기여서 개인용 GPU에서도 전체 학습과 재현이 가능하다는 설명입니다. 핵심 알고리즘은 서드파티 라이브러리의 고수준 추상화에 기대지 않고 순수 PyTorch로 직접 구현했습니다.

README가 밝힌 학습 범위는 넓습니다. Dense와 MoE 구조, 토크나이저 학습, 사전학습(Pretrain), 지도 미세조정(SFT), LoRA, DPO, PPO·GRPO·CISPO 같은 강화학습, 도구 호출(Tool Use), 에이전트 강화학습(Agentic RL), 생각 모드를 켜고 끄는 Adaptive Thinking, 모델 증류까지 한 저장소에서 다룹니다. 모델 구조는 Qwen3·Qwen3-MoE 생태계에 맞췄고, transformers·trl·peft와 llama.cpp·vllm·ollama 같은 추론 엔진과도 호환된다고 적혀 있습니다.

왜 지금 뜨나

README는 수백억 파라미터 모델은 개인 장비에서 훈련은커녕 배포도 어렵고, 대부분의 공부가 기존 대형 모델을 LoRA로 조금 고쳐 보는 데서 멈춘다고 지적합니다. transformers나 trl 같은 프레임워크는 몇 줄이면 학습이 끝나지만, 그만큼 내부 구현과는 멀어진다는 문제의식입니다. MiniMind는 반대로 모든 코드 줄을 이해하면서 작은 모델을 손으로 처음부터 훈련해 보자는 쪽을 택했습니다.

추론만 해 보는 것이 아니라 언어 모델 하나를 0부터 1까지 직접 만들어 보는 경험이 이 프로젝트의 핵심입니다.

비용 숫자도 구체적입니다. README의 훈련 비용 표를 보면 RTX 3090 한 장 기준으로 minimind-3의 사전학습(pretrain_t2t_mini)은 약 1.21시간, 미세조정(sft_t2t_mini)은 약 1.10시간이 걸리고, 두 단계를 1에폭씩 돌리면 약 2.31시간, GPU 대여료로 약 3.0위안이 든다고 추정합니다. README는 2시간이라는 표현이 3090 한 장에서 SFT 단계를 1에폭 돌린 실측 시간이라는 주석도 함께 달아 두었습니다. 2026년 4월 공개된 minimind-3 업데이트에서 도구 호출과 에이전트 강화학습 스크립트(train_agent.py)가 추가된 점도 최근 관심을 끄는 이유로 보입니다.

어떻게 써 보나

README의 빠른 시작은 저장소를 받고 의존성을 설치하는 것에서 출발합니다. README에는 중국 내 미러 주소를 붙인 설치 예시가 있지만, 기본 PyPI로 설치해도 됩니다.

git clone --depth 1 https://github.com/jingyaogong/minimind
cd minimind && pip install -r requirements.txt

이미 학습된 모델로 대화부터 해 보려면 모델을 내려받아 eval_llm.py로 실행합니다.

modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3
python eval_llm.py --load_from ./minimind-3

직접 훈련하려면 README의 데이터셋 링크에서 pretrain_t2t_mini.jsonl과 sft_t2t_mini.jsonl을 받아 ./dataset 폴더에 넣은 뒤 trainer 폴더에서 사전학습과 미세조정을 차례로 돌립니다. README는 이 두 파일만으로 MiniMind Zero 대화 모델을 빠르게 재현할 수 있다고 설명합니다.

cd trainer
python train_pretrain.py
python train_full_sft.py
cd ..
python eval_llm.py --weight full_sft

모든 학습 스크립트는 --from_resume 1 옵션으로 중단한 지점부터 이어서 학습할 수 있고, GPU가 여러 장이면 torchrun --nproc_per_node N 방식으로 DDP 학습을 지원합니다. README는 CUDA를 쓸 수 없으면 CPU나 MPS로도 돌릴 수 있지만 속도와 호환성 차이가 크다고 안내합니다.

어디에 쓰면 좋나

여러분은 GPU 한 장과 몇 시간이 주어진다면 어떤 데이터로 나만의 작은 언어 모델을 훈련해 보고 싶으신가요? 직접 돌려 보셨다면 걸린 시간과 결과도 댓글로 나눠 주세요.

출처