LLM 파인튜닝 중급 ③ — 선호정렬 입문(DPO 감각) | DAKER 학습

중급 · 약 130분

같은 요청에 대한 두 응답 중 더 나은 답을 고른 데이터를 이용해 모델을 학습시키는 방법을 배웁니다. 선호 응답과 비선호 응답의 쌍을 구성하고, 별도의 보상모델 없이 선호를 반영하는 DPO의 기본 원리를 알아봅니다.

커리큘럼

• 쉬운 개념부터: 둘 중 나은 답 고르기
• 퀴즈 — 쉬운 개념부터: 둘 중 나은 답 고르기
• 선호 쌍이란
• 퀴즈 — 선호 쌍이란
• DPO 감각
• 퀴즈 — DPO 감각
• 편향·노이즈
• 퀴즈 — 편향·노이즈
• 미니 랩: 선호 라벨링
• 퀴즈 — 미니 랩: 선호 라벨링
• 플래시카드
• 실습: 좋은 답 고르기와 DPO 카드