Lauren Tan은 에이전트가 반복하는 실수를 AGENTS.md가 아니라 린트와 코드 제약으로 옮기라고 설명했습니다 | DAKER 커뮤니티
AI Engineer 채널의 「All Code Is Slop (Except Mine)」에서 SpaceXSI의 Lauren Tan은, 에이전트가 같은 실수를 반복할 때 경고를 AGENTS.md에 한 줄 더 적기보다 코드와 린트, 실행 가능한 검사로 옮기라고 설명했습니다. 발표자는 지난달 팀이 프로덕션에 풀 리퀘스트 1만 1천 건을 올렸고, 되돌림 비율은 상대적으로 낮아져 약 0.5% 수준에서 안정됐다고 말했습니다. 이 숫자는 발표와 공식 영상 소개에 나온 팀 내부 결과이며, 저장소마다 같은 결과가 나온다는 실험은 아닙니다. 오늘 할 일은 하나입니다. 에이전트에게 반복해서 지적하는 습관 하나를 골라, 주석이나 규칙 파일이 아니라 린트 규칙으로 남기는 것입니다.

Lauren Tan이 AI Engineer CODE 2026에서 말한 핵심
이 발표는 2026년 11월 11일 AI Engineer CODE 2026 본무대에서 이뤄졌고, AI Engineer 채널에는 2026년 11월 14일에 올라갔습니다. 길이는 약 17분 31초입니다. 발표자는 자신을 Potato라고도 소개하며, SpaceXSI에서 Grok Bot을 만든다고 밝혔습니다.
발표자의 논지는 속도가 아닙니다. 소프트웨어 엔지니어의 일은 생산량을 크게 늘리면서도 코드 품질을 유지하거나 오히려 높이는 방법을 찾는 것이라고 말했습니다. 어떤 사람은 이를 소프트웨어 팩토리라고 부르지만, 발표자는 더 단순한 말로 정리했습니다. 맹목이 아닌 신뢰, 곧 에이전트가 올바른 일을 하게 만드는 환경을 만드는 투자입니다. 발표자 본인이 잠을 자는 동안에도 풀 리퀘스트가 나갈 정도가 되기까지 여섯 달이 걸렸고, 지난달에는 본인이 3천 건을 프로덕션에 올렸다고 했습니다. 팀 전체의 1만 1천 건과 본인 3천 건은 다른 숫자입니다.
신뢰는 규칙 파일이 아니라 코드에서 쌓입니다
발표자가 보여 준 역피라미드에서, 먼저 쓸 시간은 결정적인 층입니다. 잘 설계된 API와 구조, 리팩터링, 린트 규칙, 타입, 컴파일러, 테스트가 에이전트가 할 수 있는 일을 처음부터 제한합니다. 그 위에 런타임 검증과 형식 검증을 올려 버그와 불변 조건을 확인하고, 에이전트가 의도를 이해했는지도 봅니다. 규칙, 스킬, AGENTS.md 같은 글은 판단이 필요한 자리에만 얇게 남기라고 했습니다.
이유는 간단합니다. 에이전트 출력의 가장 큰 입력 중 하나가 코드베이스 자체이기 때문입니다. 발표자는 2024년에는 출근해서 동료가 올린 풀 리퀘스트 세 건을 검토했는데, 지금은 그 수가 300건에 가깝다고 회상했습니다. 우회나 낡은 패턴이 저장소에 남아 있으면 다음 에이전트는 그것을 정석처럼 복사합니다. 그래서 에이전트를 고칠 때마다 규칙 파일에 문장을 추가하기보다, 같은 지적을 코드로 재현 가능한 검사로 바꾸라고 했습니다.
한 종류의 실수를 검토에서 빼는 방법
구체적인 예는 Grok Bot용 클라이언트 프레임워크 Dune입니다. 발표자는 이를 일렉트론 앱을 위한 Next.js 같은 층으로 소개했습니다. 뉘앙스가 큰 API는 일반 제품 코드의 기본값으로 두지 않았습니다. 대표적인 예가 React의 useEffect입니다. 쓰임새는 있지만 오용되기 쉽고, 에이전트는 그 차이를 잘 가리지 못한다고 봤습니다. 그래서 선택한 프레임워크 내부에만 허용하고, 제품 코드에는 지원하는 길을 제공한 뒤 부적합한 사용은 검사가 거절하게 했습니다. 이는 이 팀의 구조 선택이지, 이 훅이 모든 프로젝트에서 틀렸다는 주장은 아닙니다.
일렉트론의 프로세스 분리도 같은 방식으로 막았습니다. 발표자는 Cursor가 일렉트론 앱이라서, 에이전트가 메인 스레드 코드를 렌더러로 가져와 응답이 느려지는 일을 자주 봤다고 했습니다. Dune에서는 최상위 디렉터리를 electron-main과 electron-renderer로 나누고, 잘못된 방향의 가져오기는 의존성 분석과 린트 규칙으로 금지합니다. 디렉터리 이름이 설계를 알리고, 실행 가능한 검사가 그것을 강제합니다.
주석은 고치고 싶지 않았던 우회를 남깁니다
발표자가 더 위험하다고 본 것은 주석이었습니다. 에이전트가 명령형 타이머로 구조를 급히 맞춘 뒤, 왜 그 우회가 필요했는지를 주석으로 적었습니다. 다음 에이전트에게는 그 글이 허가가 됩니다. 컴파일 오류와 달리 주석은 아무것도 바꾸도록 강제하지 않습니다. Grok Bot 팀에서는 이 경험 이후 주석의 약 99%를 금지했다고 했습니다. 주석은 쉽게 낡고, 사람도 잘 읽지 않으며, 에이전트에게는 올바른 일을 하지 않을 탈출구가 되기 때문입니다.
그 자리를 채운 것은 도움이 되는 오류 메시지를 담은 린트 규칙입니다. 에이전트에게 우회하지 말고 원인을 고치라고 말합니다. 발표자의 일반 원칙은 이렇습니다. 에이전트를 바로잡을 때마다 그 내용을 결정적인 검사로 바꾸거나, API와 구조를 바꿔 그 문제 종류 자체를 없앱니다. 그렇게 반복하면 코드 검토에서 볼 일이 줄어들고, 나중에는 에이전트가 올린 풀 리퀘스트의 상당수를 머지할 수 있게 된다고 했습니다.
검증 산출물을 검토하게 바꿉니다
발표자에 따르면, 코드 검토는 이제 영상, 화면, 다이어그램, 형식 검증 같은 검증 산출물을 보는 쪽에 가깝습니다. 런타임 검증의 기본은 에이전트가 코드를 직접 실행하고, 사람이 쓰는 Chrome DevTools 프로토콜 같은 디버깅 도구를 쓰게 하는 일입니다. 이 팀의 런타임 검증 스킬에는 기능 지도가 들어 있습니다. 사용자 관점에서 앱의 기능을 사이트맵처럼 정리한 목록이어서, 「왼쪽 사이드바의 그것」 같은 말을 추측하지 않게 합니다. 같은 스킬 안의 전용 명령줄 도구는 반복 사용이 가능하고, 토큰도 줄이며, 테스트도 할 수 있다고 했습니다.
형식 검증도 쓰기 시작했다고 했습니다. 여러 기기와 플랫폼의 알림 흐름은 TLA+로 모델 검사하고, 직접 만든 가상화 라이브러리의 깜빡임과 흔들림은 Lean으로 확인한다고 말했습니다. 다만 이 접근은 아직 실험 중이며, 만능이 아니라 환경의 한 층으로 본다고 분명히 했습니다. 최근에 보기 시작한 UI 속성 기반 테스트에는 Bombadil이라는 라이브러리를 썼고, 이미 몇 가지 화면 버그를 잡았다고 했습니다.
발표자는 한 실무자가 여섯 달 전에는 미세한 버그 때문에 에이전트를 믿기 어려웠고, 지금은 하루 토큰의 70%를 검증에 쓴다고 한 글을 인용했습니다. 자신의 토큰 사용도 대부분이 검증으로 간다고 덧붙였습니다. 이 인용은 발표 안에서만 확인했고, 해당 글의 원문은 이 실행에서 따로 열지 않았습니다.
발표자가 밝힌 한 달 규모, 그리고 한계
지난달 팀 전체 풀 리퀘스트 1만 1천 건 외에, 발표자는 클라이언트의 안정 버전을 하루에 한 번쯤 자른다고 했습니다. 2026년 10월에는 풀 리퀘스트를 한 건 이상 올린 사람이 약 227명이었다고 했습니다. 핵심 팀만의 속도가 아니라, 맥락이 적은 일시 기여자도 포함됩니다. 속도가 빨라져도 되돌림 비율은 상대적으로 낮아져 약 0.5%에서 안정됐다고 말했습니다.
이 숫자는 발표자 팀이 보고한 결과입니다. 저장소를 따로 열어 재계산하지 못했고, 머지 양이 늘면 모든 저장소에서 품질이 오른다는 실험 결과로 읽으면 안 됩니다. 형식 검증과 속성 기반 테스트 역시 발표자 본인이 실험 단계라고 말했습니다.
발표자의 경고는 반대 방향에도 있습니다. 안쪽 코딩 루프가 이미 낮은 품질의 코드를 만들면, 그 루프를 자동화할수록 같은 코드가 더 많이 나오고 토큰만 더 쓰게 됩니다. 그래서 자동화보다 먼저, 에이전트가 배우는 코드를 정리하고 제약을 실행 가능하게 만들라고 했습니다.
오늘 할 일, 그리고 이어서 읽을 글
발표자가 권한 시작점은 작습니다. 새로 생기지 않게 할 안티패턴 하나를 골라 린트 규칙으로 막고, 이미 남아 있는 같은 패턴도 정리합니다. 그다음에 검증을 두껍게 만듭니다. 준비가 되면 바깥 루프를 붙일 수 있다고 했습니다. 발표 말미의 사례는 이렇습니다. 새 릴리스를 자를 때 Grok Bot이 Cursor 프로젝트를 띄워 앱을 실제 사용자처럼 실행하며 문제를 찾고, 고친 풀 리퀘스트를 연 뒤 자동으로 머지합니다. 코드베이스가 충분히 좋아서 대부분의 제품 코드는 깊은 사람 검토가 더는 필요 없을 때가 많다고 했습니다.
린트 규칙으로 옮길 때는 금지 한 줄만 적지 말고, 에이전트가 다음에 어떤 길을 타야 하는지도 오류 메시지에 넣습니다. 예를 들어 메인 프로세스 코드를 화면 쪽으로 가져오지 말라는 지적을 반복하고 있다면, 디렉터리 경계를 검사하는 규칙을 추가하고, 실패 메시지에는 허용된 경로와 고쳐야 할 원인을 함께 적습니다. 이미 쌓인 위반은 한 번에 다 지우려 하지 말고, 새 코드부터 막은 뒤 오래된 패턴을 순서대로 치웁니다. 발표자가 정원에 비유한 이유도 여기에 있습니다. 새 코드가 빠르게 들어올수록, 남겨 둔 우회가 다음 입력의 모범처럼 퍼집니다.
오늘 할 일은 그 바깥 루프가 아닙니다. 에이전트에게 이번 주에만 두 번 이상 같은 말로 지적한 습관 하나를 적고, 그것을 린트 규칙 하나와 오류 메시지로 옮기는 것입니다. 규칙 파일에 문장을 추가하는 일은 그 다음입니다.
SpaceXSI와 Grok Bot을 DAKER에서 다른 각도로 다룬 글도 있습니다. 영업 단계를 봇 세 개로 나누고 사람이 확인하는 지점을 규칙으로 남긴 이야기와, 데이터 팀이 공유 봇에 주간 약 70시간 분량의 분석을 맡긴 이야기입니다. 이번 영상은 그 바깥 운영이 아니라, 에이전트가 코드를 올려도 품질을 지키게 하는 저장소 쪽 기초를 다룹니다.
공유 봇 세 개로 영업 단계를 나눈 SpaceXSI, 사람이 끝까지 확인하는 지점을 규칙으로 못 박았습니다
SpaceXSI 데이터 팀이 Grok Bot에 가르친 공유 봇 Data Bot, 일주일에 약 70시간 분량의 분석 요청을 맡았습니다
출처
AI Engineer 채널, 「All Code Is Slop (Except Mine) — Lauren Tan, SpaceXSI」, 2026년 11월 14일 게시. 발표는 2026년 11월 11일 AI Engineer CODE 2026 본무대, 발표자 Lauren Tan(SpaceXSI). 본문의 수치와 인용은 이 발표와 공식 영상 소개, AI Engineer 공식 발표 페이지의 정리문을 대조해 적었습니다. 외부 영상 주소는 이 글에 넣지 않습니다.