학습률 감각, 스텝을 크게 잡다가 한 칸씩으로 고정해 실험이 안정됩니다 | DAKER 커뮤니티

학습률을 키우면 손실이 빨리 내려갈 것 같아 스텝을 크게 잡았습니다. 곡선이 튀고 실험마다 결과가 달라져 비교가 안 됩니다. 오늘은 학습률을 한 칸씩 고정해 표로 쌓는 감각을 잡습니다. 다음 실험부터는 변수 하나만 바꿉니다.

이 글은 DAKER 학습 자료 AI를 위한 미분 중급 ③ — 학습률·스텝 감각을 따라, 「크게 밟기」에서 「고정해 비교하기」로 바꾸는 한 장면을 정리합니다.

막힘: 스텝을 키울수록 비교가 깨집니다

학습률은 기울기 방향으로 한 번에 얼마나 움직일지입니다. 너무 크면 발산·진동이 나고, 너무 작으면 진도가 느립니다. 초보자가 막히는 순간은 손실이 안 내려간다고 여러 값을 한꺼번에 바꾸는 때입니다. seed·에폭·배치까지 섞이면 무엇이 원인인지 알 수 없습니다.

• 한 번에 학습률·모멘텀·배치를 같이 바꿉니다.
• 곡선이 튀어도 「운이 나빴다」로 넘깁니다.
• 기록을 남기지 않아 어제와 오늘을 비교하지 못합니다.

전환: 한 칸씩 고정하고 표로 봅니다

Karpathy식 실습은 먼저 작은 고정 학습률로 baseline을 잡습니다. 같은 데이터·같은 seed에서 학습률만 바꿔 표를 만듭니다. 「빠르게」보다 「재현 가능하게」가 먼저입니다.

1. 작은 고정 학습률로 baseline 곡선을 남깁니다.
2. 학습률만 한 단계씩 올려 같은 에폭을 돌립니다.
3. 발산·진동이 보이면 직전 값으로 되돌립니다.
4. 표에 최종 손실과 안정 여부를 한 줄로 적습니다.

만화로 보는 오늘 장면

네 칸의 흐름은 「크게 키움 → 발산 → 고정 실험표 → 안정」입니다. 헤드라인은 「학습률을 고정해요」입니다.

짧은 FAQ

학습률을 매번 바꿔도 되나요? 탐색 단계에서는 가능합니다. 다만 한 실험에서는 하나만 바꾸고 기록을 남기십시오.

작을수록 좋나요? 아닙니다. 너무 작으면 시간만 늘어납니다. 안정되는 구간을 표로 찾는 것이 목표입니다.

원문 학습 자료: https://daker.ai/public/learning/materials/ai-diff-part-3-learning-rate-step-intuition

오늘 한 가지만 하십시오. 학습률을 고정한 실험 표 한 줄을 남기고, 다음 값은 그 표에서 고르십시오.