Simon Willison은 목표와 도구를 준 모델이 경보기 소리를 41센티미터 안으로 찾았다고 소개했습니다 | DAKER 커뮤니티

골판지 상자가 쌓인 방 안에 태블릿과 노트북, 휴대전화가 흩어져 있고, 가운데에 「목표와 도구를 주자 / 41센티미터까지 찾았습니다」라는 한글 문구가 적힌 설명용 생성 이미지입니다.
설명용 생성 이미지입니다.

AI Engineer 채널의 「2026 in LLMs — Simon Willison, Datasette」에서 Datasette를 만든 Simon Willison은, 목표를 정하고 그 목표에 필요한 도구를 주자 상자 더미 속에서 나던 경보기 소리를 41센티미터 안으로 찾아냈다고 소개했습니다. 발표자는 이를 자신이 부르는 「Fable급」 능력의 개인 사례로 들었고, 공식 발표 정리문도 이 실험을 집 안 시연으로 적으며 안전 장비를 대체하는 검증이 아니라고 못 박습니다. 오늘 할 일은 하나입니다. 미뤄 둔 문제 하나를 골라, 더 다듬은 문장만 넣지 말고, 모델이 쓸 수 있는 측정 수단과 밖에서 확인할 성공 기준을 함께 적어 두는 것입니다.

이 영상이 다루고 있는 것

이 발표는 2026년 11월 11일 AI Engineer CODE 2026 본무대에서 이뤄졌고, AI Engineer 채널의 단독 영상은 한국 시간 2026년 11월 18일 오전 5시 0분에 올라갔습니다. 단독 영상의 길이는 19분 38초입니다. 이 글을 쓰기 직전인 같은 날 오전 10시 31분경, 맥미니에서 확인한 조회수는 7,371회였습니다. 공식 발표 페이지는 이 세션을 1일차 라이브 스트림의 8시간 31분 8초부터 8시간 50분 18초 구간으로도 적고, 기계 작성 전사본에 인식 오류가 남을 수 있다고 밝힙니다. 이 글은 2026년 11월 18일에 그 공식 페이지와 정리문, 전사본을 다시 확인했습니다. 모델 출시 연표와 정책 일화, 보안 사건으로 들린 대목은 공식 정리문도 독립적으로 확인하지 않았다고 적어 두었기에, 이 글은 그 주장을 사실로 재진술하지 않습니다. 아래의 수치와 사례는 발표자가 자신의 경험으로 말한 내용입니다.

발표자는 지난 12개월을 세 개의 전환점으로 정리했습니다. 코딩 에이전트가 매일 쓰는 도구가 된 일, 모델이 훨씬 큰 목표를 밀어 갈 수 있게 된 일, 그리고 생성된 게임이 자신에게는 비로소 재미있어진 일입니다. 공식 정리문은 이 강연을 빠른 개인 회고로 소개하며, 뉴질랜드 카카포 앵무의 번식 이야기도 같은 줄기로 따라온다고 적습니다.

매일 쓸 수 있게 된 코딩 에이전트

첫 번째 전환점을 발표자는 2025년 11월로 잡습니다. 코딩 에이전트 자체가 그때 처음 나온 것은 아니라고 했습니다. 다만 Claude Opus 4.5와 GPT-5.1이 코딩 에이전트를 다루는 능력이 조금만 더 나아지자, 가끔 시험해 보는 신기한 도구에서 매일 쓸 만큼 믿을 만한 도구로 넘어갔다고 봤습니다. 이는 발표자의 사용 경험이고, 모든 팀의 작업 환경을 조사한 결과는 아닙니다.

그 변화는 그의 연간 다짐도 바꿨습니다. 평소에는 일을 줄이고 한곳에 모으겠다고 다짐한 뒤 지키지 못했는데, 이번에는 에이전트가 실행을 도울 수 있으니 일부러 더 큰 야심을 택했다고 했습니다. 그리고 11월이 되자 프로젝트 수가 버거울 정도가 되었다고 인정했습니다. 공식 정리문은 이 지점을 이렇게 풀어 씁니다. 능력이 커지면 주인의 부담이 반드시 줄어들기보다, 손댈 수 있는 일이 더 빨리 늘어날 수 있다는 것입니다.

펠리컨 벤치마크가 차이를 보여 주지 못할 때

발표자가 모델을 살펴보는 익숙한 방법은, 자전거를 타는 펠리컨의 SVG를 그리게 하는 일입니다. 이전 모델은 쓸 만한 코드를 짜면서도, 자전거가 제대로 그려지지 않는 경우가 있었다고 했습니다. 한 영역이 뚜렷이 좋아졌다고 해서, 모든 생성 방식이 같은 높이에 도달한 것은 아니라는 대조입니다.

공식 정리문에 실린 슬라이드 설명은, 2026년 2월 19일자로 표시된 Gemini 3.1 Pro의 펠리컨 그림이 훨씬 나아졌다고 적습니다. 발표자는 다른 동물과 다른 탈것을 물어 벤치마크가 시험에만 맞춰졌는지 확인해 보려 했는데, 그 변형도 폭넓게 잘 나왔다고 농담했습니다. 그가 이 대목에서 남긴 본뜻은 분명합니다. 정겨운 개인 테스트도 어느 순간부터는 최전선 능력의 차이를 가려내지 못할 수 있고, 그때는 벤치마크 자체를 바꾸는 일이 따라잡는 방법이 됩니다.

발표자는 이 감정에 「딥 블루」라는 이름을 붙였습니다. 개발자가 자신의 고유한 기술이라고 여겼던 일을 모델이 해내는 순간, 경계가 무너지는 듯한 불편함입니다. 공식 정리문은 그의 사례가 모델이 무엇을 할 수 있는지만이 아니라, 익숙한 전문성의 경계가 사라질 때 어떤 기분이 드는지를 함께 다룬다고 적습니다.

목표와 도구를 주면 오래 밀어 갈 수 있습니다

두 번째 전환점에서 발표자는 자신이 쓰는 작업 범주로 「Fable급」이라는 말을 꺼냅니다. 공식 정리문은 이를 업계 표준이나, 목표만 잘 적으면 반드시 성공한다는 보장이 아니라고 분명히 합니다. 그가 말하는 정의는 운영적인 것입니다. 가능한 목표를 정하고, 그 목표에 필요한 도구를 주면, 모델이 그 결과에 오래, 때로는 여러 시간 동안 매달릴 수 있다는 것입니다.

개인 사례는 이사 뒤에 풀지 못한 상자 약 40개가 있는 방이었습니다. 그 방에서 간헐적인 전자음이 났고, 발표자는 상자 전부를 푸는 대신 모델에게 소리의 위치를 찾는 도구를 만들어 달라고 했습니다. 전사본에 따르면 처음에는 Opus에 맡겼고, 이어서 Fable 5.2가 마무리를 했습니다. 방 안에는 아이패드 두 대, 노트북 두 대, 휴대전화 한 대를 마이크처럼 두었습니다. 소프트웨어는 브라우저 오디오와 네트워크 연결을 썼고, 모델은 2007년 논문 「BeepBeep」를 찾아 접근을 정했다고 했습니다. 발표자는 오래된 일산화탄소 경보기를 41센티미터 안으로 찾아냈다고 말했습니다.

공식 정리문은 이 성공 기준이 바깥에 있었다고 강조합니다. 더 아름다운 문장이 아니라, 실제로 소리의 근원을 찾는 일이었습니다. 모델에게는 물리적 세계의 측정값에 접근할 수단이 필요했습니다. 같은 정리문은 이 이야기를 집 안 시연으로 다루며, 안전 장비를 대체하는 검증이나 일반적인 위치 측정 벤치마크가 아니라고 못 박습니다. 이 글도 그 한계를 그대로 둡니다.

발표자는 목표를 장애물 너머로 밀어 가는 능력이, 목표나 환경이 잘못되면 위험할 수 있다고도 경고했습니다. 이 대목의 개별 사건 주장은 공식 정리문이 독립적으로 확인하지 않았다고 밝혔으므로, 여기서는 그 경고의 방향만 적습니다. 높은 목표 추적은 외부 프롬프트 주입 사고에 대한 그의 예전 예측과는 다른 종류의 보안 문제일 수 있다는 구분입니다.

게임처럼 보이는 것과 재미있는 것은 다릅니다

세 번째 전환점은 게임입니다. 발표자는 예전 모델로 탐색했던 너구리 강도 아이디어를 다시 꺼내, 예전 콘셉트 이미지와 설명을 그대로 넣었다고 했습니다. 더 새로운 시스템은 게임처럼 보이는 결과물을 만들었고, 한 버전은 동료 너구리를 구출하고 황금 정어리를 훔치는 쪽에 더 가까워졌습니다. 다만 그는 그 예시들을 짧게만 플레이한 뒤 흥미를 잃었다고 했습니다. 전사본에서는 각각 약 1분 30초쯤 해보고 그만두었다고 말합니다. 겉모습이 게임과 닮았다고 해서, 재미있는 게임인 것은 아니었습니다.

그 경험은 잠시 안도감을 주었습니다. 게임을 즐겁게 만드는 일은 아직 사람이 맡아야 할 몫으로 남았다고 생각한 것입니다. 그런데 실시간 전략 게임 프로젝트에는 다른 지시를 넣었습니다. 더 재미있게 만들어 달라는 것이었습니다. 발표자는 Opus 5.5가 12시간 동안 작업하며 전투를 약 1,000번 시뮬레이트하고, 목표와 피드백, 보상을 더했다고 했습니다. 자신의 판단으로는 그 결과가 재미있어졌습니다. 이는 주관적인 평가이고, 즐거움을 재는 보편 지표는 아닙니다. 공식 정리문이 중요하게 본 변화는, 한 번에 겉모습만 흉내 내는 일에서, 시험하고 고치는 반복으로 넘어간 점입니다.

발표자는 휴대전화끼리 소리로 통신하게 한 실험이 아내에게 두통을 주었다는 이야기도 덧붙였습니다. 구현이 기발하다고 해서, 그 경험이 자동으로 쾌적해지는 것은 아니라는 점을 보여 주는 사례입니다.

일이 더 어려워 보이는 이유

강연의 마지막 질문은, 이토록 능력이 커졌는데도 왜 자신은 더 열심히 일하는 느낌이냐는 것이었습니다. 발표자의 답은, 쉬운 일이 먼저 흡수되었다는 쪽에 있습니다. 예전에는 익숙한 코딩으로 편안하게 한 시간을 채울 수 있던 일이, 이제는 위임될 수 있고, 그 자리에 결정과 야심과 불확실성이 더 많이 남습니다.

이 대목에서 발표자는 투르 드 프랑스 챔피언 Greg LeMond의 말을 빌립니다. 공식 정리문은 그 구절을 「It doesn't get easier, you just get faster」로 적습니다. 더 쉬워지는 것이 아니라, 더 빨라질 뿐이라는 뜻으로 썼습니다. 발표자는 자신의 실용적인 대응이 여전히 더 큰 야심이라고 하면서도, 도구가 좋아졌다고 해서 일을 하는 사람의 경험이 자동으로 편해지지는 않는다고 솔직히 인정했습니다.

그는 예전에 세운 세 가지 예측도 되짚었습니다. 언어 모델이 좋은 코드를 짠다는 사실이 더는 부정하기 어려워질 것이라는 예측은, 그의 평가로는 이미 당연해져서 점수를 줄 일이 못 되었습니다. 프롬프트 주입 사고가 주요 뉴스가 될 것이라는 예측은, 모델이 그런 속임수에 예전처럼 잘 넘어가지 않게 되면서 아직 실현되지 않았다고 봤습니다. 남은 하나는 카카포의 번식이었습니다. 발표자는 개체 수가 325마리까지 늘었고, 기억할 수 있는 기간 가운데 가장 좋은 번식기였다고 전했습니다. 이 숫자는 발표자의 보고이며, 이 글이 별도의 공식 통계를 재확인한 결과는 아닙니다. 강연은 생성된 카카포 댄스 파티로 끝납니다.

오늘 할 일, 그리고 이어서 생각할 점

참가자가 오늘 가져갈 실험은 거창한 새 모델 비교가 아니어도 됩니다. 손에서 미뤄 둔 문제 하나를 고르고, 모델에게 넘길 목표를 한 문장으로 적으십시오. 그 옆에, 모델이 실제로 쓸 수 있는 도구를 적으십시오. 측정값, 로그, 테스트, 바깥에서 확인할 성공 기준처럼, 문장의 그럴듯함이 아니라 결과가 맞았는지를 가릴 수단이어야 합니다. 발표자의 경보기 사례가 보여 주는 것도 그 구조입니다.

이미 쓰고 있는 개인 테스트가 있다면, 그 테스트가 아직도 모델 사이의 차이를 보여 주는지도 함께 보십시오. 펠리컨 SVG처럼 정겨운 시험도, 더 이상 최전선을 가려내지 못하면 시험을 바꿔야 합니다. 겉모습만 게임 같은 결과물을 한 번 받아 두고 끝내지 말고, 짧게라도 실제로 써 본 뒤 부족한 점을 다음 지시와 시험에 넣으십시오. 쉬운 코딩이 위임될수록, 남은 일의 난도는 낮아지지 않을 수 있습니다. 그 사실에 맞춰 야심을 조정하는 일이, 이 강연이 참가자에게 남기는 숙제입니다.

출처

영상 제목은 「2026 in LLMs — Simon Willison, Datasette」이고, 채널은 AI Engineer입니다. 발표자는 Datasette를 만든 Simon Willison이며, 소속은 Independent로 소개되었습니다. 발표일은 2026년 11월 11일, AI Engineer CODE 2026 본무대입니다. 단독 영상 게시 시각은 한국 시간 2026년 11월 18일 오전 5시 0분, 길이는 19분 38초입니다. 공식 발표 정리문의 제목도 「2026 in LLMs」이며, 이 글의 사실과 인용은 2026년 11월 18일에 확인한 그 정리문과 기계 작성 전사본을 대조한 결과입니다.