Karpathy Verifiability: AI에게 맡기기 쉬운 일을 판별하는 3가지 조건 | DAKER 커뮤니티

Karpathy Verifiability: AI에게 맡기기 쉬운 일을 판별하는 3가지 조건

Karpathy의 Verifiability 글은 AI에게 맡기기 쉬운 일을 고르는 기준을 명확히 줍니다. Verifiability란, 어떤 시도가 좋은지 자동으로 확인하고 보상할 수 있는 성질을 의미합니다. 오늘은 resettable, efficient, rewardable 세 조건으로 AI 업무 위임을 점검합니다.

*이미지 설명: DAKER 학습 디렉터리용 NotebookLM 만화 카드. AI에게 맡기기 쉬운 일의 세 조건 Resettable, Efficient, Rewardable을 보여 준다.*

오늘 배울 것은 무엇인가요?

한 줄 요약: AI가 잘하는 일은 대체로 많이 시도하고 바로 채점할 수 있는 일입니다.

오늘 배울 것은 세 가지입니다.

Karpathy가 말하는 verifiability의 의미를 이해합니다.
resettable, efficient, rewardable 기준으로 업무를 분류합니다.
검증이 약한 일을 테스트, 로그, 체크리스트, 사람 리뷰 루프로 바꾸는 법을 연습합니다.

Verifiability는 왜 AI 자동화의 핵심 기준인가요?

Karpathy는 과거 컴퓨팅이 자동화하기 쉬웠던 일의 특징을 specifiability로 설명합니다. 사람이 명확한 절차로 쓸 수 있는 일, 예를 들면 단순 계산이나 장부 처리 같은 일은 Software 1.0 시대의 자동화 대상이었습니다.

AI 시대에는 기준이 조금 달라집니다. 사람이 절차를 다 쓰지 않아도, 어떤 시도가 좋은지 자동으로 평가할 수 있으면 모델은 연습하고 최적화할 수 있습니다. 그래서 Software 2.0 관점에서는 "명확히 쓸 수 있는가"보다 "검증하고 보상할 수 있는가"가 더 중요해집니다.

핵심 포인트는 다음과 같습니다.

resettable: 실패해도 새 시도를 다시 시작할 수 있어야 합니다.
efficient: 많은 시도를 빠르게 해볼 수 있어야 합니다.
rewardable: 각 시도에 점수나 보상 신호를 줄 수 있어야 합니다.
수학, 코드, 퍼즐, 테스트 가능한 데이터 작업은 이 조건을 비교적 잘 만족합니다.
전략, 창의, 현실 맥락이 많은 업무는 사람의 리뷰와 제한된 실험이 더 필요합니다.

AI에게 맡겨도 되는 일은 어떻게 판별하나요?

아래 질문을 순서대로 던지면 됩니다.

질문	예라고 답하면	아니오라면
다시 시도할 수 있나요?	샌드박스, 테스트 환경에서 반복	실제 고객·돈·권한이 걸리면 사람 승인
많이 시도할 수 있나요?	자동 테스트, 배치 평가 가능	비용·시간·데이터 제한을 먼저 계산
자동 점수가 있나요?	테스트, 정답, 지표로 최적화	체크리스트와 리뷰어 판단 필요
실패를 저장하나요?	로그와 재현 케이스 축적	같은 실패를 반복할 가능성 큼

*이미지 설명: NotebookLM 슬라이드형 워크플로. AI 업무 위임 전 검증 가능성을 resettable, efficient, rewardable 기준으로 판별한다.*

따라 해볼 실습은 무엇인가요?

오늘 15분 실습입니다. 지금 AI에게 맡기고 싶은 일 하나를 고르세요.

예: "랜딩 페이지의 전환율을 높일 문구를 제안한다."

일을 한 문장으로 씁니다.

- resettable: 다시 시도 가능한가? 0~2점 - efficient: 많이 시도할 수 있는가? 0~2점 - rewardable: 자동 평가가 있는가? 0~2점

세 조건을 점수화합니다.

- 5~6점: AI에게 실험을 많이 맡기고 자동 검증을 붙입니다. - 3~4점: AI 초안 + 사람 리뷰 + 샘플 테스트로 갑니다. - 0~2점: 먼저 평가 기준을 만들고 작은 실험으로 쪼갭니다.

총점에 따라 위임 방식을 정합니다.

AI에게 이렇게 요청합니다.

이 일을 resettable, efficient, rewardable 기준으로 평가하세요.
자동 검증이 가능한 부분과 사람 리뷰가 필요한 부분을 분리하고,
검증 신호를 만들기 위한 최소 테스트나 체크리스트를 제안하세요.

자주 막히는 지점은 무엇인가요?

가장 흔한 실수는 "AI가 잘할 것 같은 일"과 "AI가 연습할 수 있는 일"을 헷갈리는 것입니다. 겉으로는 창의적이고 멋져 보여도 보상 신호가 없으면 AI는 무엇을 개선해야 하는지 알기 어렵습니다.

실수 방지 체크리스트입니다.

실패해도 되돌릴 수 있는 환경인가?
한 번 시도하는 비용이 낮은가?
테스트, 정답, 지표, 체크리스트 중 하나가 있는가?
AI가 낸 결과를 사람이 어떤 기준으로 거절할지 적었는가?
자동화 전에 샘플 5개로 평가 기준을 검증했는가?

다음 학습 연결은 어디로 이어지나요?

이 기준은 앞선 글과 자연스럽게 이어집니다. 카파시 신경망 레시피: AI 코딩 디버깅을 작게 검증하는 법에서 실패 하나를 작게 고정하는 방법을 다뤘고, Append-and-review 노트: AI 작업 기억을 잃지 않는 개인 운영법에서는 검증 기록을 잃지 않는 습관을 정리했습니다.

한계도 있습니다. 이 글은 2026년 6월 22일 기준 Andrej Karpathy의 Verifiability 공식 글과 공식 홈을 확인해 만든 학습용 정리입니다. Verifiability는 자동화 가능성을 보는 강한 기준이지만, 모든 가치 판단을 숫자로 바꾸라는 뜻은 아닙니다. 브랜드 전략, 윤리, 보안, 사용자 신뢰처럼 사람의 책임이 큰 영역은 점수화보다 리뷰 루프와 승인 경계가 더 중요합니다.

공식 출처:

Andrej Karpathy, Verifiability
Andrej Karpathy official home
Karpathy Bear blog index

FAQ

Verifiability는 테스트 코드와 같은 뜻인가요?

테스트 코드는 verifiability를 만드는 한 방법입니다. 더 넓게는 정답, 지표, 보상, 체크리스트처럼 시도의 품질을 판단하는 신호를 뜻합니다.

AI에게 창의적인 일은 맡기면 안 되나요?

맡길 수 있습니다. 다만 자동 점수가 약하기 때문에 사람 리뷰, 예시, 거절 기준, 샘플 테스트를 함께 둬야 합니다.

코딩 업무는 왜 AI가 빠르게 좋아지나요?

코드는 테스트와 실행 로그가 있어 다시 시도하고 점수를 받기 쉽습니다. 그래서 AI가 연습하기 좋은 환경에 가깝습니다.

업무가 검증 가능하지 않으면 어떻게 해야 하나요?

먼저 작은 하위 작업으로 쪼개세요. 자동 검증 가능한 부분과 사람 판단이 필요한 부분을 나누면 위임 방식이 선명해집니다.

다음에는 무엇을 하면 좋나요?

오늘 맡기려던 AI 작업 하나를 세 조건으로 채점해 보세요. 점수가 낮다면 자동화보다 평가 기준 만들기부터 시작하는 편이 안전합니다.