카파시식 AI 학습법: 작은 모델을 직접 만져라 | DAKER 커뮤니티

AI를 배울 때 가장 빨리 막히는 지점은 공식과 용어가 아니라 감각입니다. 손실이 줄어든다는 말, 역전파가 돈다는 말, 토큰이 다음 토큰을 예측한다는 말은 머리로는 이해되지만 손에는 잘 안 잡힙니다.

카파시 콘텐츠를 오래 따라가면 반복되는 태도가 하나 보입니다. 큰 시스템을 바로 외우지 말고, 작게 접어서 직접 만져 보라는 태도입니다. 문자 단위 RNN, micrograd, nanoGPT가 모두 같은 방향을 가리킵니다. 모델을 마법처럼 소비하지 말고, 실패까지 볼 수 있는 작은 장난감으로 바꿔 보라는 것입니다.

왜 중요한가

요즘은 AI가 코드를 많이 써 줍니다. 그래서 "내가 한 줄씩 작성했는가"보다 "내가 이 시스템의 실패 지점을 설명할 수 있는가"가 더 중요해졌습니다.

작은 모델을 직접 돌리면 세 가지가 보입니다.

  1. 데이터가 바뀌면 출력의 성격이 어떻게 바뀌는지 보입니다.

  2. 학습률, 배치, 손실 같은 숫자가 실제 행동과 연결됩니다.

  3. AI가 만든 코드가 틀렸을 때 어디부터 의심할지 기준이 생깁니다.

큰 모델은 너무 복잡해서 한 번에 이해하기 어렵습니다. 하지만 작은 모델은 실험실입니다. 입력을 바꾸고, 파라미터를 바꾸고, 일부러 망가뜨려 볼 수 있습니다.

어떻게 써먹나

새로운 AI 도구나 논문을 만났다면 바로 전체 제품을 만들려고 하지 말고 최소 재현 예제를 먼저 만드세요.

예를 들어 RAG를 배운다면 회사 문서 전체를 넣기 전에 문장 5개짜리 텍스트 파일로 검색과 답변을 확인합니다. 에이전트를 배운다면 실제 업무를 맡기기 전에 계산기, 파일 읽기, 체크리스트 작성 같은 작은 도구 2개로 루프를 봅니다. LLM 학습을 알고 싶다면 nanoGPT처럼 토큰화, 학습, 평가, 샘플링이 한 파일 안에서 어떻게 이어지는지 봅니다.

핵심은 "작아서 내가 설명할 수 있는가"입니다.

흔한 오해

첫 번째 오해는 작은 예제가 장난감이라 실무와 무관하다는 생각입니다. 실제로는 반대입니다. 작은 예제에서 실패를 읽는 사람이 큰 시스템에서도 디버깅을 시작할 수 있습니다.

두 번째 오해는 직접 구현이 곧 바닥부터 모든 것을 새로 짜는 일이라는 생각입니다. 목표는 프레임워크를 대체하는 것이 아닙니다. 목표는 검증 감각입니다. 50줄짜리 실험으로도 "무엇을 믿어도 되는지"가 달라집니다.

세 번째 오해는 바이브 코딩 시대에는 원리를 몰라도 된다는 생각입니다. AI가 코드를 만들어 줄수록 사람은 더 좋은 질문과 더 작은 테스트를 설계해야 합니다.

20분 실험

오늘 바로 할 수 있는 작은 실험입니다.

  1. 새 폴더를 만들고 숫자 10개짜리 작은 데이터셋을 준비합니다.

  2. AI에게 "이 데이터에서 다음 값을 예측하는 가장 작은 모델을 만들어 줘"라고 시킵니다.

  3. 학습 데이터 10개 중 8개만 쓰고 2개는 테스트로 남깁니다.

  4. 학습률을 10배 키웠을 때 손실이 어떻게 변하는지 봅니다.

  5. 코드 한 줄을 일부러 틀리게 바꾸고 어떤 로그가 먼저 이상해지는지 기록합니다.

좋은 학습은 "큰 개념을 들었다"에서 끝나지 않습니다. "내 손으로 작게 망가뜨려 봤다"까지 가야 몸에 남습니다.

체크리스트

카파시식 학습의 핵심은 거창한 도구가 아닙니다. 작은 시스템을 직접 만지고, 실패를 읽고, 다시 고치는 루프입니다. 그 루프가 쌓이면 큰 모델도 조금 덜 신비롭게 보입니다.

출처:

Redirecting to 카파시식 AI 학습법: 작은 모델을 직접 만져라 | DAKER 커뮤니티...