AI 확률 고급 ① — 정보량·엔트로피·크로스엔트로피 | DAKER 학습

고급 · 약 130분

일어날 확률이 낮은 사건일수록 정보량이 커지는 이유와 분포의 불확실성을 나타내는 엔트로피를 배웁니다. 실제 정답 분포와 모델의 예측 분포를 비교하는 크로스엔트로피를 살펴보고, 분류 모델의 손실로 쓰이는 이유를 이해합니다.

커리큘럼

• 한눈에 보는 개요
• 퀴즈 — 한눈에 보는 개요
• 정보량과 엔트로피
• 퀴즈 — 정보량과 엔트로피
• 크로스엔트로피·KL과 분류 손실
• 퀴즈 — 크로스엔트로피·KL과 분류 손실
• 미니 랩: Softmax CE를 숫자로 느끼기
• 퀴즈 — 미니 랩: Softmax CE를 숫자로 느끼기
• 단어 사전
• 퀴즈 — 단어 사전
• 플래시카드
• 실습: AI의 과신 점검 메모 쓰기