Diogo Almeida는 데모에서 뛰어난 모델도 사람 없는 자동화에는 바로 쓸 수 없다고 설명했습니다 | DAKER 커뮤니티

작업대 위에 사람이 확인하는 길과 사람 없이 이어지는 길을 나란히 둔 고화질 일러스트 위에 「사람 없이 쓰려면 답을 가려야 합니다」라는 한글 제목이 있습니다.
설명용 생성 이미지입니다.

AI Engineer 채널의 「I love you so jevving much — Diogo Almeida, TypeSafe AI」에서 TypeSafe AI 공동창업자 겸 CEO인 Diogo Almeida는, 데모에서 뛰어난 모델도 사람 없는 자동화에는 바로 넣을 수 없다고 설명했습니다. 공식 발표 정리문의 제목은 「Beyond Better Assistants: Software That Can Make a Decision」입니다. 발표자는 사람에게 좋은 보고서를 건네는 일과, 프로그램이 그 답을 받아 다음 동작을 결정하는 일은 같은 과제를 더 빠르게 푸는 관계가 아니라고 봤습니다. 오늘 할 일은 하나입니다. 사람 검수 없이 넘어가게 하려는 경로 하나를 골라, 프로그램이 내려야 하는 좁은 결정과 잘못된 동작이 무엇인지, 그리고 사람이 글을 읽지 않고도 그 답을 써도 되는지 호출하는 코드가 어떻게 구별할 수 있는지를 적어 두는 것입니다.

이 영상이 다루고 있는 것

이 발표는 2026년 11월 11일 AI Engineer CODE 2026에서 이뤄졌고, AI Engineer 채널에는 한국 시간 2026년 11월 16일에 올라갔습니다. 단독 영상의 길이는 23분 19초입니다. 공식 발표 페이지는 이 세션을 1일차 라이브 스트림의 한 구간으로도 적고, 기계 작성 전사본에 인식 오류가 남을 수 있다고 밝힙니다. 이 글은 2026년 11월 17일에 그 공식 페이지와 전사본을 다시 확인했습니다. 이 글의 사실과 인용은 그 공식 정리문과 전사본을 대조한 결과이며, 발표자가 자신의 제품인 Jev를 소개하는 대목은 배포된 성능을 독립적으로 재측정한 결과가 아닙니다.

발표자는 코딩 에이전트와 챗봇을 즐겨 쓴다고 말하면서도, 벤치마크에서 두드러진 성과를 일상 업무가 자동으로 돌아간다는 전망처럼 읽어서는 안 된다고 했습니다. 공식 정리문은 이 간격을 발표의 중심으로 둡니다. 사람에게 결과를 넘겨 해석하고 고치게 하는 어시스턴트와, 그 주변의 판단 없이 매번 올바른 동작을 해야 하는 자동화는 요구가 다릅니다.

누가 답을 검사한 뒤에 쓰게 되는가

발표자가 든 대조는 단순합니다. 난이도만으로 설명한다면, 일상적인 회계가 난제 수학보다 먼저 자동화될 것 같습니다. 그런데 벤치마크를 보면 어려운 추론에서 뛰어난 모습이 보이고, 일상 업무를 보면 사람이 여전히 회계를 하고 있다고 말했습니다. 발표자는 이 차이를 오컴의 면도날처럼 짧게 설명하려 했습니다. 한쪽은 사람이 루프 안에 있는 과제이지만, 다른 쪽은 사람이 없어도 동작이 맞아야 하는 과제라는 것입니다.

딥 리서치를 예로 들었습니다. 발표자는 모델이 자신보다 나은 보고서를 쓸 수 있다고 봤습니다. 다만 미리 누구의 답을 쓸지 골라야 하고, 글이 얼마나 그럴듯한지가 아니라 맞았는지만 본다면, 자신을 고를 것이라고 했습니다. 공식 정리문은 이 지점을 이렇게 풀어 씁니다. 사람 독자는 인상적인 보고서에서 쓸 부분을 가려 내고 의심스러운 주장을 더 살펴볼 수 있지만, 프로그램에 결정을 넘기면 그다음 동작을 정할 수 있어야 한다는 것입니다.

드라이브 스루도 같은 구분입니다. 손님을 기분 좋게 하는 대화와, 주문이 맞게 떨어지는 일은 다를 수 있습니다. 자동화는 주문 소프트웨어가 쓸 수 있는 결정을 받은 뒤에야, 그다음을 일반 코드로 이어갈 수 있습니다. 발표자는 이 불일치를, 사람이 받고 싶은 답을 알려 주는 인간 피드백 강화 학습(RLHF)에 기원을 두었습니다. 이는 발표자의 진단입니다. 공식 정리문도, 모든 기존 모델이나 학습 방법이 같은 한계를 가진다는 주장은 아니라고 적어 두었습니다. 답을 값싸게 검증할 수 있는 과제는 부분적인 예외라고 봤지만, 그런 학습만으로는 사람이 떠난 뒤에도 버틸 자동화가 되지는 않는다고 했습니다.

발표자는 지금의 언어 모델이 어시스턴트에 맞춰져 있다고 규정했습니다. 배경에서 돌아가는 인지 작업에는 그 모델을 그대로 믿어서는 안 된다고도 했습니다. 이 문장은 발표자의 입장이고, 모든 모델을 대상으로 한 별도의 조사 결과는 아닙니다.

과제를 고르는 일이 규모를 키우기보다 앞섭니다

발표자는 Richard Sutton의 「쓰라린 교훈」을 느슨히 빌리면서, 연산과 데이터보다 먼저 생각할 일이 올바른 과제를 고르는 것이라고 했습니다. 다음 토큰 예측은 문자열을 만드는 데 강하고, 인간 선호 데이터는 작은 모델도 지시를 따르게 하는 데 쓰였습니다. 중요한 것은 목표 함수 자체가 특별해서가 아니라, 그 학습이 끝난 뒤에 무엇을 할 수 있게 되는가입니다. 공식 정리문은 이를, 의도한 제품과 맞지 않는 목표를 더 많은 자원으로 최적화하지 말라는 경고로 적습니다.

이 맥락에서 발표자는 TypeSafe AI의 Jev를, 같은 어시스턴트를 더 싸거나 빠르게 보여 주는 인터페이스가 아니라, 프로그램이 소비할 결정을 만드는 과제에 초점을 맞춘 시도로 소개했습니다. 공식 정리문은 Jev의 구체적인 학습 목표와 데이터 조합은 이 발표에서 자세히 특정되지 않았다고 적습니다. 비유로 나온 「대부분 뛰어나고 가끔은 심하게 빗나가는 어시스턴트」도, 오류율 측정치가 아니라고 못 박혀 있습니다. 공학 문제는 호출하는 쪽이 지금 받은 답이 어느 쪽인지 구별하지 못하면, 그 과정을 안전하게 자동화할 수 없다는 점입니다.

코드를 그때그때 만드는 일과, 실행 중인 소프트웨어에 판단을 넣는 일

발표자는 지능으로 소프트웨어를 더 싸게, 필요할 때 만들어 내는 방향을 적시 소프트웨어라고 불렀습니다. 누가 만들고 얼마나 빨라지는지는 바뀔 수 있지만, 만들어진 응용은 여전히 정해진 분기로 동작할 수 있습니다. 이와 구별한 것이 스마트 소프트웨어입니다. 실행 중인 프로그램 안에 지능적인 판단을 넣어, 필드 값의 글자만이 아니라 맥락에서 말이 되는지를 보게 하자는 주장입니다. 옆쪽에 챗봇 창을 붙이는 일과는 다르다고 했습니다.

비유는 파란색 발광 다이오드입니다. 빨간색과 초록색만 있을 때와 달리, 파란색이 더해지자 흰 빛과 디스플레이처럼 각각의 색만으로는 잘 보이지 않던 조합이 열렸다는 이야기입니다. 이는 비유이고, 특정 성능 향상의 실측치는 아닙니다. 발표자가 「네 번째 논리 게이트」라고 부른 것도 새로운 불 연산을 주장한 것이 아니라, 지금 프로그램이 글자 검사만 할 수 있는 자리에 맥락을 보는 판단을 넣고 싶다는 이름의 비유입니다. 전자우편 주소가 형식은 맞아도, 그 맥락에서는 적절하지 않을 수 있다는 예가 나왔습니다.

에이전트 안에서도 평범한 소프트웨어 공학을 회복하자

발표자는 분해, 캡슐화, 명시적 상태를 다시 꺼내 들었습니다. 큰 대화 맥락 하나를 공유하는 것만으로, 어느 구성 요소가 어떤 상태를 가지며 어떤 중간 결과를 검증할 수 있는지가 대체되지는 않는다고 봤습니다. 공식 정리문은 이 대목을 완성된 해법이 아니라 설계 질문으로 읽습니다.

발표자가 문제 삼은 가정은 이렇습니다. 왜 기억은 계속 늘어나는 한 줄처럼만 다뤄지는가. 왜 여러 에이전트가 같은 코드베이스의 패턴을 매번 다시 발견하는가. 왜 상태 공유와 라우팅, 하위 에이전트가 어색하거나 비용이 커지는가. 발표자는 그 제약이 키-값 캐시의 경제와 구조에 많이 묶여 있다고 봤습니다. 코딩 에이전트의 이력을 쌓아 두는 것은 저장 문제만 풀 수 있습니다. 나중에 호출할 때는 필요한 것을 꺼내는 방법이 있어야 하고, 동시에 도는 에이전트는 발견한 것을 나눌 방법이 있어야 하며, 그 맥락을 처리하는 비용이 일을 나누는 이득을 삼킬 수도 있습니다.

이어서 나온 보안 검사, 의미 있는 타입이나 린트, 음성 인터페이스, 생성형 인터페이스는 공식 정리문이 제안된 방향이라고 적어 둔 목록입니다. 이 발표에서 Jev가 이미 그렇게 동작한다는 시연 목록은 아닙니다. 공통 조건은 그 결정이 프로그램이 놓인 자리에서 쓸 만큼 빠르고, 비용이 감당되며, 믿을 수 있어야 한다는 점입니다. 결과를 사람이 매번 꼼꼼히 검토해야 한다면, 그것은 자동화보다 어시스턴트에 가깝습니다.

오늘 할 일, 그리고 이어서 읽을 글

오늘 할 일은 모델을 더 큰 것으로 바꾸는 일이 아닙니다. 지금 사람 검수 없이 넘어가게 했거나, 그렇게 바꾸려는 경로 하나를 고릅니다. 그 경로에서 프로그램이 내려야 하는 좁은 결정을 한 문장으로 적고, 잘못된 동작이 무엇인지를 적습니다. 이어서, 사람이 출력 글을 읽지 않아도 호출하는 코드가 그 답을 써도 되는지 구별할 방법을 적습니다. 그 방법을 대지 못하면, 그 경로는 아직 자동화가 아니라 사람이 검토하는 어시스턴트로 남겨 둡니다. 발표자가 든 예를 빌리면, 형식에 맞는 전자우편 주소인지가 아니라 그 맥락에서 써도 되는 주소인지, 손님과의 대화가 매끄러운지가 아니라 주문이 맞게 떨어졌는지를 적는 식입니다. 구별 방법이 사람 검토자의 눈뿐이라면, 그 경로는 아직 사람 없는 자동화가 아닙니다.

에이전트 이력을 오래 보관하고 있다면, 저장 여부만 보지 말고 나중에 어떤 호출이 무엇을 어떻게 꺼내 쓰는지, 동시에 도는 에이전트가 같은 발견을 다시 반복하지 않는지를 함께 적습니다. 이는 발표자가 던진 설계 질문이지, 특정 도구의 설정 안내가 아닙니다.

같은 AI Engineer CODE 2026에서, 반복되는 에이전트 실수를 규칙 파일이 아니라 린트와 코드 제약으로 옮기라는 발표도 있었습니다. 이 글이 다루는 것은 그 저장소 안의 검사와는 다른 층입니다. 사람 없이 돌아가는 경로에 모델을 넣어도 되는지를, 호출하는 쪽이 먼저 판별할 수 있는지를 묻는 이야기입니다.

Lauren Tan은 에이전트가 반복하는 실수를 AGENTS.md가 아니라 린트와 코드 제약으로 옮기라고 설명했습니다

출처

AI Engineer 채널, 「I love you so jevving much — Diogo Almeida, TypeSafe AI」, 한국 시간 2026년 11월 16일 게시. 발표는 2026년 11월 11일 AI Engineer CODE 2026, 발표자 Diogo Almeida(TypeSafe AI 공동창업자 겸 CEO). 공식 발표 정리문의 제목은 「Beyond Better Assistants: Software That Can Make a Decision」입니다. 본문의 사실과 인용은 이 발표의 공식 정리문과 기계 작성 전사본을 대조해 적었습니다. 외부 영상 주소는 이 글에 넣지 않습니다.