OpenAI가 유치원 등록·식단 짜기처럼 일상 업무를 끝까지 처리하는지 재는 평가 LifeVal을 공개했습니다 | DAKER 커뮤니티
OpenAI가 2026년 11월 2일(현지 시각) 일상 업무에서 AI가 얼마나 쓸모 있는지 재는 평가 'LifeVal'을 공개했습니다. 시험 문제를 푸는 능력 대신, 이사 후 유치원을 고르거나 당뇨 진단을 받은 부모의 식단을 짜는 것처럼 사람들이 실제로 도움을 원하는 일을 모델이 끝까지 처리하는지를 봅니다. OpenAI는 지난 1년 동안 이 평가로 모델의 일상 과제 성능을 추적하고 개선해 왔다고 밝혔습니다. 이 글은 2026년 11월 3일 오전에 공식 원문을 확인하고 정리했습니다.
과제는 어떻게 골랐나
OpenAI는 먼저 사람들이 하루를 어떻게 쓰는지 추적한 두 대규모 조사, 미국 시간 사용 조사(American Time Use Survey)와 다국가 시간 사용 연구(Multinational Time Use Study)에서 일상 과제 목록을 뽑았습니다. 여기에 인구 구성을 반영한 3,995명 대상 설문을 새로 진행해, 과제마다 개인 비서에게 얼마나 도움받고 싶은지를 물었습니다. 그 결과 돌봄, 건강, 교육, 가사 행정, 개인 재무, 쇼핑, 공공 서비스 이용이 주요 영역으로 남았습니다.
공개된 예시와 점수
OpenAI는 현재 모델이 실제 흐름에서 어떻게 움직이는지 몇 가지 예시를 함께 보여 줬습니다.
- 이사 후 알맞은 유치원 등록하기: 93.1%
- 홍수 대비 자원봉사자 조직하기: 98.0%
- 예산과 통근 조건에 맞는 집 찾기: 100%
- 멀리 사는 할머니와 경기 같이 보기: 96.3%
- 당뇨 진단을 받은 부모의 식단 준비: 90.4%
예시 답변은 대부분 "후보를 정리했으니 남은 선택은 직접 해 달라"는 식으로 끝납니다. 예를 들어 집 찾기 과제에서는 조건에 맞는 집 한 곳을 찾고 취득세를 계산한 뒤 등기 서류를 장바구니에 담아 두지만, 결제는 사용자 확인을 기다립니다. 다만 공개 페이지는 점수를 어떤 기준으로 매겼는지, 어떤 모델을 썼는지, 전체 과제가 몇 개인지는 자세히 밝히지 않았습니다. 그래서 위 수치는 OpenAI가 고른 대표 사례의 자체 평가로 읽는 것이 맞습니다.
왜 이런 평가를 만들었나
OpenAI는 매주 ChatGPT를 쓰는 10억 명 이상에게 도움이 되려면 조언이나 대화 답변만으로는 부족하고, 실제로 일을 끝내는 행동이 필요하다고 설명합니다. 지난 1년 동안 브라우저 사용, 컴퓨터 사용, 커넥터 작업에서 모델을 더 빠르고 정확하게 훈련했고, 이 기능이 ChatGPT를 대화 도구에서 개인 비서 에이전트로 옮기고 있다는 것입니다. LifeVal은 그 방향이 제대로 가고 있는지 확인하는 잣대 역할을 합니다.
점수를 읽을 때 주의할 점
LifeVal은 학술 벤치마크와 성격이 다릅니다. 정답이 하나로 정해진 객관식 문제가 아니라, 여러 단계를 거쳐 결과물을 내는 과제이기 때문입니다. 유치원 비교 과제라면 후보를 찾고, 등록 조건을 정리하고, 사용자가 결정해야 할 항목을 따로 남겨야 합니다. 이런 과제에서 90%대 점수가 나왔다는 것은 대부분의 단계를 맞게 처리했다는 뜻으로 볼 수 있지만, 나머지 몇 퍼센트에서 어떤 실수가 나왔는지는 공개되지 않았습니다. 실제 서비스에 적용하려면 실패 사례를 따로 모아 보는 작업이 필요합니다.
국내 개발자에게 주는 시사점
LifeVal의 과제는 미국 생활을 바탕으로 합니다. 미국 카운티 등기 시스템이나 유치원 등록 절차는 한국과 다릅니다. 그렇다고 남의 일만은 아닙니다. 국내에서 생활형 에이전트를 만드는 팀이라면 같은 방식, 즉 사용자 설문으로 도움받고 싶은 일을 먼저 고르고 그 일을 끝까지 처리했는지를 점수로 재는 방식을 그대로 빌려 올 수 있습니다. 정부24 민원 신청, 어린이집 대기 등록, 가계부 정리처럼 한국 사용자가 시간을 많이 쓰는 일을 과제로 삼으면 자체 평가 세트를 만들 수 있습니다. 결제나 신청 직전에 멈추고 사람 확인을 받는 설계도 참고할 만합니다.
평가 세트를 만들 때는 과제 수를 늘리는 것보다 과제마다 "끝났다"의 기준을 분명히 적는 편이 중요합니다. 어디까지 자동으로 처리하고 어디서 사람에게 넘길지를 미리 정해 두면, 점수가 올라갔을 때 무엇이 좋아졌는지 설명하기 쉬워집니다.
원문은 아래에서 확인할 수 있습니다.