Lauren Tan 체크리스트 — 에이전트를 믿게 만드는 Evals·스킬·CI | DAKER 커뮤니티
한 줄 요약 Cursor의 Lauren Tan은 xAI GrokBot 워크숍에서, 에이전트를 믿게 만드는 핵심을 평가(Evals)·엔지니어링 스킬·에이전트 친화 아키텍처로 정리합니다. 해커톤·바이브코딩 참가자가 바로 쓸 신뢰 체크리스트로 옮깁니다.
원 영상은 채널 Tech Bridge의 「[한영자막] Cursor 핵심 개발자 Lauren Tan: AI 에이전트를 실전에서 제대로 신뢰하는 법 (xAI GrokBot 워크숍)」(약 60분)입니다. 공개 본문에는 외부 영상 링크를 넣지 않으며, 아래는 실전 포인트만 한 번에 읽히게 정리합니다.
신뢰가 없으면 병렬도 없다
Tan은 에이전트 활용의 핵심 질문을 「어떻게 에이전트를 신뢰할 수 있을까」로 둡니다. 믿기지 않으면 출력을 일일이 감시하는 마이크로매니징에 갇히고, 에이전트 하나조차 못 믿는데 수십 개를 동시에 돌릴 수 없습니다. 반대로 신뢰 곡선을 올라가면, 검증·가드레일이 받쳐 주는 범위에서 에이전트가 PR을 알아서 합치는 수준까지 갈 수 있다고 말합니다.
- 경영에서 팀원을 못 믿으면 감시가 늘듯, 에이전트도 신뢰가 없으면 사람이 병목이 됩니다.
- 목표 상태: 사람이 모든 diff를 읽지 않아도 되게, 검증과 규칙을 시스템에 심는 것입니다.
신뢰의 세 기둥
- Evals(평가) — 에이전트용 단위 테스트에 가깝습니다. 특별한 프레임워크가 없어도, 원하는 엄밀도로 직접 만들 수 있습니다. Pstack에는 eval playbook이 기본으로 배포된다는 설명이 나옵니다.
- 소프트웨어 엔지니어링 스킬 — 그중에서도 검증이 핵심입니다. 에이전트가 코드를 실행하고, CPU 트레이스·힙 스냅샷·시뮬레이터 등으로 스스로 확인하게 만듭니다. 사람이 스크린샷을 붙여넣으며 「안 된다」고만 하면 병렬화가 멈춥니다.
- 에이전트 친화적 아키텍처 — 에이전트가 실수하기 쉬운 패턴을 구조적으로 막고, 쓰기 쉬운 경계를 만듭니다. GrokBot 쪽에서는 Dune이라는 아키텍처 코드명과 함께, 엄격한 CI로 금지 패턴을 강제하는 예시가 나옵니다.
Pstack — 문제 정의부터 검증까지
Pstack은 Tan의 닉네임 Potato에서 온 스킬 프레임워크로 소개됩니다. 요지는 「한 번 잘 시킨 뒤 끝나는 프롬프트」가 아니라, 스킬로 인코딩된 절차가 문제 정의·구현·검증을 스스로 돌게 하는 것입니다. 검증 스킬을 만들고 유지하면, UI·Electron·웹·iOS처럼 실행 환경이 달라도 에이전트가 CDP·시뮬레이터 등으로 확인을 이어갈 수 있습니다.
- 남의 스킬을 맹신하지 말고, 자기 팀 기준에 맞게 고쳐 쓰라고 강조합니다.
- 취향·판단은 남지만, 반복되는 기준은 스킬과 eval로 옮깁니다.
PR 잔소리 전에 린트·CI로 막기
잘못된 패턴을 PR 댓글로만 지적하면, 에이전트는 다음에 또 잊습니다. Tan의 질문은 이렇습니다. 린트 규칙·CI 실패·아예 불가능하게 만드는 구조로 바꿀 수 있는가. 예시로 React의 useEffect를 CI에서 금지해, 에이전트가 허술한 패턴을 제출하지 못하게 막는 방식이 나옵니다.
- 해커톤 체크: 「리뷰어가 싫어하는 것」목록을 이슈에 적지 말고, 가능한 항목부터 린트/CI로 옮기십시오.
- 버그봇·규칙이 있어도, 기계적 강제 없이 기억에만 의존하면 일관성이 깨집니다.
Electron 렌더러 병목에서 배운 것
Cursor 쪽에서 겪은 교훈으로, Electron의 렌더러 스레드와 메인 스레드 격리가 헐거울 때 UI 프레임(초당 60프레임이면 약 16ms)과 무거운 연산·IO가 경쟁해 버벅임이 난다고 설명합니다. 에이전트가 코드를 빠르게 쏟아낼수록, 어디에 무엇을 두어도 되는지를 아키텍처와 CI로 고정하지 않으면 성능·신뢰가 같이 무너집니다.
참가자가 오늘 할 일
- 에이전트 출력에서 반복해서 고친 실수 3개를 적습니다.
- 그중 가능한 것부터 린트 또는 CI 실패로 바꿉니다.
- 「실행해서 확인」하는 검증 스킬(또는 체크리스트)을 하나 만듭니다. 사람이 스크린샷만 붙이는 루프를 끊는 것이 목표입니다.
- 신뢰가 생긴 뒤에만 에이전트 수를 늘립니다. 병렬화는 보상이지 시작점이 아닙니다.
정리
에이전트를 믿는다는 말은 맹신이 아니라, Evals·검증 스킬·엄격한 CI·에이전트 친화 구조로 실수를 싸게 만드는 일입니다. Tech Bridge에 올라온 Lauren Tan 워크숍은 그 순서를 해커톤·바이브코딩 팀 언어로 옮기기 좋은 실전 강의입니다.
참고 영상: [한영자막] Cursor 핵심 개발자 Lauren Tan: AI 에이전트를 실전에서 제대로 신뢰하는 법 (xAI GrokBot 워크숍) · 채널 Tech Bridge
인포그래픽은 설명용 생성 이미지입니다. 본문은 영상 해설 요약이며 특정 도구 구매·투자 권유가 아닙니다.