Neo4j 발표의 대출 심사 에이전트는 성공한 실행 기록을 그래프 스킬로 바꾸자 더 작은 모델로도 같은 경로를 따랐습니다 | DAKER 커뮤니티
AI Engineer 채널에 11월 3일 올라온 발표 「Make Your AI Agents Predictable With Graph Engineering」(약 20분)에서 Neo4j의 Zachary Blumenfeld는 에이전트가 매번 다른 경로로 일하는 문제를 그래프로 다룹니다. 핵심은 에이전트에게 문서 더미 대신 따라야 할 논리의 지도, 곧 단계와 분기가 명시된 그래프를 쥐여 주는 것입니다. 발표 속 대출 심사 데모에서는 성공한 실행 기록을 그래프 모양의 스킬로 컴파일하자 라우팅 판단을 모델 대신 스크립트가 맡았고, 더 작은 모델로도 실행 시간을 줄였습니다. 에이전트를 만드는 해커톤 팀이 오늘 해 볼 일은 하나입니다. 우리 에이전트가 지난번에 성공한 실행 기록 몇 개를 열어 보고, 매번 같아야 하는 단계와 분기 조건을 목록으로 적어 두는 것입니다.
그래프 엔지니어링은 새 이름이지만 오래된 생각입니다
발표자는 올해 여름 무렵 이 용어가 화제가 되면서 프롬프트 엔지니어링, 컨텍스트 엔지니어링 다음 단계냐는 말이 나왔다고 소개합니다. 그러면서 이름은 새롭지만 상태 기계, 워크플로 그래프, 지식 그래프처럼 메커니즘 자체는 컴퓨터 과학에서 오래 써 온 것이라고 선을 긋습니다. 달라진 점은 이것을 에이전트와 연결해 생각하는 방식이라는 설명입니다.
그래프 엔지니어링은 에이전트의 작업을 명시적인 그래프로 설계하는 실천입니다. 노드가 일을 하고, 엣지가 그 사이로 상태를 전달합니다. — 발표 중(01:30 무렵, 번역)
발표가 나눈 세 가지 그래프
발표자는 그래프를 세 종류로 나눠 설명합니다.
- 실행 그래프: 라우터와 에이전트가 노드로 들어가는 익숙한 워크플로 그래프입니다. 발표자는 LangGraph, ADK 같은 에이전트 프레임워크가 여기에 속한다고 말합니다.
- 컨텍스트 그래프: 실제로 일어난 결정의 기록(decision trace)과 그것이 도메인 데이터와 어떻게 이어지는지를 담은 그래프입니다. 대화 이력 같은 단기 기억, 데이터에서 뽑은 개체 같은 장기 기억, 추론 기록이 함께 들어갑니다.
- 절차 그래프: 스킬이나 업무 절차 자체를 그래프로 표현한 것입니다. 각 단계가 꼭 에이전트일 필요는 없고, 판단 모델 호출이나 검증, 사람에게 넘길지 정하는 단계일 수도 있습니다.
발표는 뒤의 두 가지에 집중합니다. 발표자는 이 두 그래프를 이해하면 실행 그래프가 하려는 일을 더 이식성 있고 효율적으로 얻을 수 있다고 주장합니다.
그래프가 주는 세 가지 이점
발표자는 그래프의 이점을 예측 가능성, 거버넌스, 이식성으로 정리합니다. 예측 가능성은 에이전트가 가는 경로를 제한해 결과를 정확하게 만드는 것입니다. 거버넌스는 명시적 그래프가 있으니 에이전트가 한 일을 통제하고 감사(audit)해 다음에 고칠 수 있다는 뜻입니다. 이식성은 그래프를 특정 런타임 안에서만 도는 것이 아니라 저장해 두고 다른 런타임으로 옮길 수 있는 산출물로 본다는 관점입니다.
스킬 문서를 그래프로 컴파일했더니 보상이 올랐다는 연구
발표자는 올해 워크숍에서 발표한 자사 논문을 소개합니다. 질문은 절차적 지식, 예를 들어 SKILL.md 파일과 그에 딸린 스크립트·참고 자료를 그래프 구조로 컴파일할 수 있느냐였습니다. 그래프의 노드는 스킬 안의 결정 지점, 라우팅 지점, 실행해야 할 스크립트를 나타내고, 서술형 설명 일부는 결정론적 스크립트로 바뀝니다.
에이전트가 이 그래프를 따라 실행하도록 강제했을 때 물리, 컴퓨터 과학, 보안 등 여러 분야의 어려운 과제에서 과제 보상(task reward)이 전반적으로 올랐다고 발표자는 말합니다. 실험에는 더 작은 모델을 썼고, 최신 모델 기준으로는 아직 업데이트 중이라고 밝혔습니다. 발표에서 구체적인 점수는 읽어 주지 않았으므로 여기서도 수치는 옮기지 않습니다.
이어서 같은 팀은 이 생각을 기억 그래프로 넓혔습니다. 컨텍스트 그래프에서 스킬을 추출하되, 그 스킬이 과거 결정 기록과 데이터에 계속 연결되도록 하는 방식입니다. 그러면 각 단계가 어디서 왔는지 출처가 남고, 버전이 관리되며, 시간이 지나면서 동작이 어긋나는지(drift) 사람이 살펴볼 수 있다는 설명입니다.
대출 심사 데모에서 무엇이 달라졌나
데모 질문은 한 제과점 사업자의 신규 대출을 승인할지였습니다. 업로드된 사업 계획서 PDF, 과거 거래 내역, 대출 정책, 과거에 실제로 내린 결정이 한 그래프에 연결돼 있고, 에이전트는 이 정보를 훑어 이전 대출이나 과거 이력을 찾아내고 감사 기록과 함께 답을 냅니다.
문제는 반복 실행에서 드러났습니다. 같은 질문으로 두 번 돌린 결정 기록을 비교하자 길이가 서로 달랐습니다. 한쪽은 과거 선례를 찾아 더 긴 경로를 탔습니다. 발표자는 스킬 문서로 할 일을 적어 줘도 에이전트가 정확히 같은 경로를 따르도록 강제하는 장치는 없다고 지적합니다. 승인·거절·사람 검토 같은 결정 단계에 붙는 확신도 점수도 보정(calibration)되어 있지 않다고 덧붙입니다.
그래서 성공한 실행 기록들을 모아 그래프 모양의 스킬로 컴파일했습니다. 이 스킬은 YAML 형식의 그래프와 실행 스크립트, 대출 정책 원문을 함께 담고 있습니다. 발표자가 요약한 흐름은 다음과 같습니다.
- 정책의 하드 규칙을 만족하는지 스크립트가 먼저 확인합니다.
- 자동 승인이나 거절로 끝나지 않으면 별도의 판단 모델로 넘겨 위험도와 결과를 받습니다.
- 사람 검토로 올릴지 라우터가 정합니다.
- 그렇지 않으면 에이전트가 보고서를 쓰고, 그 보고서를 점검하는 순환 단계를 거칩니다.
에이전트는 작은 CLI로 이 스킬을 호출할 뿐이고, 분기 판단은 프로그램이 처리합니다. 실행 기록은 그래프에 저장돼 어떤 분기를 탔고 어떤 분기는 한 번도 타지 않았는지 조회할 수 있습니다.
발표에서 확인된 수치와 한계
발표자는 큰 모델만으로 그래프를 탐색했을 때 거의 매번 맞았지만 한 번에 약 2.7분이 걸렸고, 절차 스킬을 쓰자 시간이 거의 절반으로 줄었으며, 절차가 있으니 Haiku 같은 더 작은 모델로 바꿔 시간을 더 줄이고 비용도 크게 낮출 수 있었다고 말합니다. 화면 속 결과에 대해서는 평균 벽시계 시간이 약 7.5분에서 2분 안팎으로 줄었다고 설명했습니다.
다만 두 수치의 기준이 발표 안에서 명확히 구분되지 않았고, 발표자 스스로 정식 연구가 아니라 데모라고 밝혔습니다. 발표 중 비용이 100% 가까이 줄었다는 표현도 나오지만 이는 말로 한 강조에 가깝습니다. 그래서 이 글은 큰 방향, 즉 라우팅을 스크립트로 옮기면 더 작은 모델로도 같은 일을 더 빠르게 할 수 있었다는 점만 사실로 옮깁니다. 컴플라이언스 보고서 자동화나 지역별 규정을 설정 그래프로 관리하는 고객 사례도 언급됐지만 세부 수치는 소개되지 않았습니다.
해커톤 팀이 오늘 해 볼 일
그래프 데이터베이스를 새로 도입하지 않아도 이 발표의 생각은 바로 쓸 수 있습니다. 에이전트 대회에서 제출물이 매번 다른 경로로 움직이면 심사 시연에서 재현이 어렵고, 비용과 시간도 들쭉날쭉해집니다.
- 지난번 성공한 실행 로그 두세 개를 나란히 놓고, 매번 반드시 거쳐야 하는 단계와 실행마다 달라진 단계를 표시합니다.
- 반드시 거쳐야 하는 단계 가운데 규칙으로 판단할 수 있는 부분(형식 검사, 필수 항목 확인 등)은 프롬프트 지시 대신 스크립트로 옮깁니다.
- 남은 판단 지점에는 승인·보류·사람 확인처럼 갈 수 있는 분기를 명시하고, 실행 기록에 어떤 분기를 탔는지 남깁니다.
- 이렇게 정리한 뒤 한 단계 작은 모델로 같은 과제를 돌려 정답률과 시간을 비교합니다.
DAKER에서 진행 중인 에이전트 대회와 해커톤은 DAKER에서, 데이터 대회는 DACON에서 확인하실 수 있습니다. 직접 실행 경로를 정리해 본 결과가 있다면 이 게시판에 공유해 주십시오.
출처: AI Engineer 채널, Zachary Blumenfeld(Neo4j) 발표 「Make Your AI Agents Predictable With Graph Engineering」(2026년 11월 3일 공개). 인용은 발표 음성을 번역한 것입니다.