nanochat speedrun.sh 실습: 토크나이저부터 chat UI까지 전체 LLM 파이프라인 점검하기 | DAKER 커뮤니티
nanochat runs/speedrun.sh는 토크나이저부터 chat UI까지 LLM 한 사이클을 한 스크립트로 읽게 해주는 실행 지도입니다. nanochat speedrun.sh란, GPU 예산을 쓰기 전에 데이터, 학습, 평가, 대화 UI, 보고서 단계를 순서대로 점검하는 스크립트를 의미합니다.
runs/speedrun.sh를 GPU 실행 전에 체크리스트로 읽는 nanochat 학습 카드.
오늘 배울 것은 무엇인가요?
한 줄 요약: runs/speedrun.sh를 실행 명령이 아니라 LLM 프로젝트의 체크리스트로 읽는다.
공식 스크립트는 blank 8XH100 GPU node를 기준으로 약 3시간 실행을 상정합니다. 한국어 학습자에게 더 중요한 포인트는 "바로 돌리기"가 아니라, 어떤 단계에서 무엇을 검증해야 비용 낭비를 줄일 수 있는지 읽는 것입니다.
이 글은 nanoGPT 학습 루프 실습 이후의 확장판입니다. attention 구조가 아직 흐릿하다면 GPT from scratch self-attention 실습을 먼저 보고 오면 흐름이 더 잘 보입니다.
핵심 개념은 speedrun을 단계별 검증 루프로 바꾸는 것입니다
speedrun.sh는 tokenizer, base model, evaluation, SFT, chat, report를 순서대로 묶습니다. 각 단계는 다음 단계의 전제입니다. tokenizer가 이상하면 base training의 손실 해석이 어려워지고, base eval을 건너뛰면 SFT 이후 품질 문제의 원인을 분리하기 어렵습니다.
단계 | 무엇을 확인하나요? | 멈춰야 하는 신호 |
|---|---|---|
setup | uv, venv, base dir | 의존성 설치 실패 |
tokenizer | dataset shard, vocab, compression | 데이터 다운로드/토큰화 오류 |
base_train | d24, batch, fp8, train log | OOM, loss 이상치 |
base_eval | BPB, CORE, samples | 평가가 재현되지 않음 |
SFT | identity conversations, chat_sft | 대화 포맷 실패 |
chat UI/report | chat_web, report.md | 결과 근거가 남지 않음 |
tokenizer, base training, evaluation, SFT, chat UI, report로 이어지는 NotebookLM 워크플로.
따라 해볼 실습은 어떤 순서가 좋나요?
스크립트를 실행하기 전
NANOCHAT_BASE_DIR와 저장 공간을 먼저 정합니다.tokenizer 단계에서 먼저 필요한 dataset shard 수와 디스크 용량을 적습니다.
base training 단계는
--depth, device batch size, fp8 여부를 따로 표시합니다.base eval에서
BPB,DCLM CORE, sample을 각각 어떤 근거로 볼지 정합니다.SFT 단계는 "대화 특수 토큰과 identity data를 입히는 단계"로 분리해 기록합니다.
마지막에
chat_web만 보지 말고report.md가 남았는지 확인합니다.
자주 막히는 지점은 무엇인가요?
chat_web화면을 먼저 기대하면 앞단 평가를 놓칩니다. 대화 UI는 마지막 확인 도구입니다.speedrun 시간을 그대로 자기 환경에 적용하면 안 됩니다. 공식 예시는 고성능 GPU 노드 기준입니다.
dataset 다운로드와 tokenizer를 한 덩어리로 보면 실패 원인을 늦게 찾습니다.
SFT 이후 답변이 좋아 보여도 base eval 기록이 없으면 개선인지 착시인지 분리하기 어렵습니다.
다음 학습 연결은 어디로 가면 좋나요?
이 글 다음에는 nanochat 전체 파이프라인 지도, Karpathy microgpt 200라인 알고리즘 연결, GPT Tokenizer BPE 실습을 이어 보면 좋습니다. 작은 코드에서 전체 파이프라인으로 올라가는 흐름이 하나로 묶입니다.
공식 출처 기준으로 무엇을 확인했나요?
2026년 6월 29일 기준으로 Karpathy 공식 nanochat README와 runs/speedrun.sh를 확인했습니다. 이 초안은 실제 GPU speedrun을 수행한 결과 보고가 아니라, 실행 전 비용과 검증 지점을 줄이기 위한 학습용 체크리스트입니다.
FAQ
nanochat speedrun.sh를 로컬 노트북에서 바로 실행해도 되나요?
권장하지 않습니다. 공식 speedrun은 8XH100급 GPU 노드를 기준으로 하므로, 로컬에서는 스크립트를 읽고 단계 구조를 익히는 용도로 보는 편이 안전합니다.
가장 먼저 봐야 할 지표는 무엇인가요?
처음에는 오류 없이 tokenizer와 base eval까지 이어지는지가 우선입니다. 이후 BPB, DCLM CORE, sample 품질을 함께 봅니다.
SFT는 왜 따로 기록해야 하나요?
SFT는 base model에 대화 형식과 행동 양식을 입히는 단계입니다. base eval과 섞어 보면 품질 변화의 원인을 분리하기 어렵습니다.
report.md는 왜 중요한가요?
보고서는 실행 환경, 단계별 결과, 평가 근거를 남기는 재현성 장치입니다. chat UI 화면만으로는 다음 실험을 비교하기 어렵습니다.
오늘은 speedrun을 실행하기 전에 여섯 단계 체크리스트를 만들고, 각 단계에서 멈출 조건을 먼저 적어보세요.