RLHF 다음은 보조가 아니라 자동화입니다 — GPT-4 공동저자가 말하는 TypeSafe·Jev 방향 | DAKER 커뮤니티

GPT-4·ChatGPT·InstructGPT(RLHF) 논문에 이름을 올린 연구자가, 챗GPT 시대 다음에 올 것을 말합니다. Tech Bridge가 자막으로 옮긴 AI Engineer World's Fair 강연 「GPT-4 공동 저자가 밝히는 RLHF를 버리고 'Jev'를 만든 진짜 이유입니다」를, 영상·설명란에서 말한 범위만 골라 쉽게 정리합니다. 연사는 자막에서 Diego Mida, 채널 소개에서는 디오고(지오구) 알메이다(Diogo Almeida)로 표기됩니다.

RLHF 다음 자동화 — 설명용 생성 이미지
설명용 생성 이미지입니다. 실제 화면 캡처가 아닙니다.

한 줄로 말하면

지금 LLM은 벤치마크는 잘 깨지만, 업무에서 중요한 결정은 여전히 사람이 붙잡습니다. 연사는 그 이유를 「보조(assistance)」와 「자동화(automation)」의 목표 차이로 설명합니다. RLHF는 인간 선호를 루프에 넣도록 설계됐고, 그 다음 단계는 Claude Code 같은 더 나은 보조가 아니라 신뢰 가능한 자동화·더 똑똑한 소프트웨어라고 말합니다. TypeSafe가 그 방향으로 스택을 다시 짜고 있으며, 채널은 이를 Jev 이야기로 묶어 소개합니다.

두 진영이 동시에 맞는 이유

한쪽은 AI가 미친 듯이 잘된다고 합니다. NLP 벤치마크를 부수고, 자율 동작 시간이 늘어난다고 합니다. 다른 쪽은 버블·채팅 앱·Claude Code 수준에 머물러 가치가 없다고 합니다. 연사는 둘 다 증거로 인정한 뒤, 가장 단순한 설명을 제시합니다. 어려운 수학 문제는 「사람을 기쁘게 하는」 과제로 풀리지만, 고객지원처럼 쉬워 보이는 일은 「사람을 루프에서 빼는」 과제라서 아직 막힌다는 것입니다.

RLHF가 보조에 강한 이유

Claude Code 시대가 아닌 이유

연사는 「다음이 Claude Code 시대」라는 힌트를 스스로 깨뜨립니다. Claude Code도 같은 보조 시대·RLHF 계열에 속하고, 순수 RLVR이라면 모습이 달라질 수는 있지만 자동화 축을 더해주지는 않는다고 봅니다. 원하는 것은 소프트웨어를 값싸게 다시 쓰게 하는 것만이 아니라, SaaS 블록 자체가 더 똑똑해지는 자동화입니다.

TypeSafe가 말하는 제3의 길

사전학습(pre-training) 자체는 훌륭하고, 문제는 그 지능을 꺼내는 방식이라고 합니다. 환각은 인간 선호 최적화와 맞닿아 있다고 봅니다. 포스트트레이닝의 북극성이 RLHF(인간 선호)·RLVR(순수 정답 로그오차)이라면, TypeSafe는 보정된 의사결정(calibrated decision-making)을 제3의 목표로 둡니다. API 형태도 다르다고 하고, 곧 공개할 예정이며 메일링 리스트·채용 페이지·CompleteSkeptic 계정을 안내합니다. 제품명 Jev는 채널 제목·소개에 쓰이며, 이 강연 본문은 패러다임과 TypeSafe 비전에 무게를 둡니다.

오늘 할 일 (3분)

  1. 우리 팀 AI 사용처를 「사람 기분 맞추기」와 「사람 없는 백그라운드 실행」으로 한 줄씩 나눠 적습니다.
  2. 사업에 돈이 걸린 결정에 AI를 쓰고 있다면, 그 비용을 누가 지는지 표시합니다.
  3. typesafe.ai와 연사 CompleteSkeptic을 북마크해 공개·후속 글을 확인합니다.

정리

이 강연의 핵심은 RLHF를 욕하는 것이 아니라, 보조용으로 잘 만든 도구를 자동화로 착각하지 말라는 경고입니다. 세부 예시와 질의응답은 원본 영상을 보시면 됩니다.

출처

#RLHF #TypeSafe #Jev #자동화 #유튜브 #리서치