KV 캐시에서 정상 기준선과 다른 페이지만 골라 음성 에이전트에 숨은 지시까지 찾아냈다고 AI Engineer 발표자가 밝혔습니다 | DAKER 커뮤니티

AI 에이전트를 직접 서빙하는 팀이라면, 이미 추론 엔진이 만들어 두는 KV 캐시를 보안 신호로 읽을 수 있다는 발표가 나왔습니다. 발표자는 정상 트래픽에서 KV 캐시 페이지의 기준선을 먼저 배우고, 그 기준에서 멀리 떨어진 페이지만 골라 보는 방식으로 음성 파일에 숨은 지시문을 찾아냈다고 설명했습니다. 글자 필터를 걸 수 없는 입력에서도 이상 징후를 짚을 수 있다는 점이 핵심입니다. DACON과 DAKER의 대회·해커톤에서 에이전트를 만들어 직접 모델을 띄워 보는 참가자에게 바로 쓸 만한 점검 관점이어서 정리합니다.

KV 캐시를 보안 신호로 보자는 제안은 무엇인가

이 내용은 AI Engineer 채널에 2026년 11월 9일 올라온 Ari Azarafrooz의 발표 「Your KV Cache Can Spot Attacks on Your AI Agents」에서 가져왔습니다. 발표자는 Intrinsec AI의 창업자로 자신을 소개했고, 영상 길이는 7분 남짓으로 짧습니다. 대상 청중은 에이전트를 만들면서 자체 추론 스택을 운영하고 있거나 운영할 계획이 있는 사람들이라고 먼저 밝혔습니다.

발표는 흔한 인식을 뒤집는 데서 시작합니다. 보통 KV 캐시는 토큰마다 계산한 키와 값을 저장해 두었다가 모델이 같은 계산을 반복하지 않게 해 주는 처리량 최적화로 이해됩니다. 발표자는 이 캐시를 다른 관점에서 보자고 말합니다. 모델은 입력을 받으면 응답을 내놓기 전에, 그리고 그 응답이 또 다른 도구 호출로 이어지기 전에 입력을 계산으로 바꿉니다. KV 캐시는 그 계산의 기록이라는 설명입니다.

모델은 행동하기 전에, 디코딩하기 전에 모든 입력을 하나의 계산으로 바꿉니다. KV 캐시는 그 계산에 대한 추론 엔진의 기록입니다. (발표 내용 요지)

발표자가 지적하는 문제는 에이전트가 잘못되는 경로가 많다는 것입니다. 그가 나열한 항목은 프롬프트 인젝션, 탈옥, 깨진 도구 호출, 민감한 도구 호출, 민감 정보 노출, 숨겨진 백도어, 그리고 시간이 지나며 생기는 드리프트입니다. 지금까지는 이런 문제를 가장자리에서 막는 방식이 일반적이었다고 말합니다. 입력과 출력을 판정 모델에 통과시켜 정책에 맞는지 확인하거나, 경우마다 분류기를 따로 만드는 방식입니다.

KV 우선 보안 신호가 내세우는 세 가지 이유

발표자는 이 접근을 KV 우선 보안 신호라고 부르면서 기존 가드레일을 대체하는 것이 아니라 보완하는 용도라고 선을 긋습니다. 이유는 세 가지로 정리됩니다.

• 데이터가 이미 있습니다. 추론 스택이 어차피 만들고 버리던 더미 속에서 쓸 만한 것을 골라 쓰는 셈입니다.
• 가드레일의 사각지대를 덮습니다. 가드레일을 빠져나간 입력도 결국 계산으로 바뀌므로 캐시에는 흔적이 남습니다.
• 제자리에서 처리됩니다. 입력과 출력을 직접 읽을 수 없는 개인정보 환경에도 맞는다고 설명합니다.

기준선을 배우고 드문 페이지를 찾는 세 단계 절차

절차는 단순합니다. 첫째, 내 AI 워크로드와 추론 트래픽에서 KV 페이지가 보통 어떻게 생겼는지 기준선을 학습합니다. 둘째, 그 기준선에 비해 드문 KV 페이지를 찾아 이상치로 삼습니다. 셋째, 필요하면 그 이상치를 분류하고 설명합니다. 첫 두 단계는 정상 기록만 있으면 되고 공격 사례를 미리 모을 필요가 없다는 점이 눈에 띕니다.

적용 위치도 두 가지로 나눠 설명합니다. 하나는 추론 엔진 안에 직접 넣는 방식입니다. 실시간으로 동작하고, 여기서 나온 경보는 이후 도구 호출이나 정책에 함께 실려 갈 수 있어서 계산상 이상 징후를 바탕으로 정책을 단단하게 만들 수 있다고 합니다. 다른 하나는 LMCache 같은 KV 캐시 관리 계층과 연결하는 방식입니다. 저장된 KV 페이지를 읽어서 나머지와 어울리지 않는 것을 찾는 위협 탐색 용도입니다.

발표자는 KV 캐시 덕분에 추론이 어느 정도 상태를 가진 작업이 되었다고 말합니다. LMCache 같은 관리 계층은 캐시를 GPU에서 원격 저장소까지 내려 보관하고, llm-d와 NVIDIA Dynamo는 이미 해당 KV 페이지를 가진 워커로 새 요청을 보낸다고 소개합니다. 연결할 지점이 이미 존재한다는 뜻입니다.

음성 에이전트 실험에서 숨은 지시를 짚어낸 과정

발표자는 이 방식이 실제로 작동하는지 보여 주려고 가장 단순한 사례를 골랐습니다. 걸러낼 글자가 아예 없는 음성 에이전트입니다. 기준선은 평범한 음성 클립 72개이고 목소리는 네 가지였습니다. KV 페이지는 토큰 16개 단위로 잘랐고, 기준선 데이터를 늘리려고 일부러 작은 단위를 썼다고 말합니다. 단위 크기는 바꿀 수 있다고 덧붙였습니다.

시험 입력은 깨끗한 목소리 하나와 숨겨진 지시가 들어간 목소리 하나였습니다. 발표자에 따르면 단순한 이상 탐지만으로 두 경우가 구분됐고, 요청의 어느 페이지에서 이상 징후가 나타났는지도 알 수 있었습니다. 더 나아가 KV 페이지를 특징으로 쓰는 모델을 학습시켜 이상치에 태그를 붙여 보았습니다. 이 모델은 오디오로 학습하지 않았는데도 개인 정보, 집 주소, 위치 정보, 여행 목적지 같은 내용을 맞게 짚었다고 합니다.

텍스트 에이전트 실험에서 확인한 경보 정확도

텍스트 에이전트에서는 대형 모델을 실제로 서빙하는 환경에서 실험했다고 합니다. 발표 화면 왼쪽에는 공격과 정상 트래픽이 어떻게 갈라지는지 보여 주는 그림이 있었고, 오른쪽이 더 의미 있는 결과였습니다. 허깅페이스에 공개된 에이전트 벤치마크 데이터를 썼고, 이 데이터에는 정상 에이전트 기록으로 이루어진 기준선과 도구 설명 주입부터 잘못된 정보까지 여덟 종류의 에이전트 실패가 들어 있었다고 설명합니다.

이상 탐지가 올린 경보 상위 10개를 살펴보니 그중 7개에서 8개는 실제로 의미 있는 이상 활동이었다고 합니다. 이 수치는 발표자가 직접 한 실험 결과이고, 청중이 환경을 재현해서 확인한 값은 아닙니다. 참가자가 인용할 때는 발표자의 시연 결과라는 점을 함께 적는 편이 안전합니다. 영상 자막에서는 서빙한 모델 이름과 벤치마크 이름이 또렷하게 확인되지 않아 이 글에서는 적지 않았습니다.

실제 운영에서 남는 두 가지 어려움

발표자는 현업에서 막히는 점도 숨기지 않았습니다. 첫째는 모델이 계속 바뀐다는 것입니다. 파인튜닝과 새 버전 출시가 이어지고, 에이전트마다 다른 모델을 쓰기도 하며, 요청마다 전문 모델을 고르는 라우터도 있습니다. 모델마다 페이지의 좌표계가 다르므로 모든 모델의 기준선과 분류기, 설명기를 따로 학습하면 계산 비용이 너무 큽니다. 그래서 하나의 공유된 표현 공간으로 옮기는 방법이 필요하다고 말합니다.

둘째는 실시간 처리에서 큰 객체를 옮겨야 한다는 것입니다. 발표자가 든 예로는 대형 모델의 256토큰 조각 하나가 KV로 약 40메가바이트입니다. 자막에서 모델 규모 표기가 불분명해 구체적인 모델 크기는 적지 않습니다. 압축과 스트리밍 기법이 도움이 되지만, 보안 분석을 위해 이를 옮기고 실시간으로 대응하기에는 여전히 느리다고 말합니다. 이 두 과제는 발표자의 회사가 풀고 있는 문제이며, 발표 마지막에는 자체 추론 스택을 만들고 보안을 기본 설계 결정으로 다루는 팀을 찾고 있다고 소개했습니다.

대회와 해커톤 참가자가 오늘 해 볼 수 있는 일

이 방식을 그대로 구현하려면 추론 엔진 내부 접근이 필요해서 클라우드 API만 쓰는 팀에는 바로 적용하기 어렵습니다. 대신 발표의 틀에서 가져올 수 있는 점검 순서는 있습니다. 아래는 발표 내용이 아니라 이 틀을 참가자 상황에 옮긴 제안입니다.

1. 정상 요청 기록을 먼저 모읍니다. 발표자가 72개 클립으로 기준선을 만든 것처럼, 우리 서비스가 평소 받는 입력을 비슷한 규모로 따로 저장합니다.
2. 가드레일을 통과한 요청 가운데 기준선과 가장 다른 열 개를 사람이 직접 읽습니다. 발표에서도 상위 10개 경보를 확인했을 때 대부분이 의미 있는 이상 활동이었습니다.
3. 입력이 글자가 아닌 경우를 따로 점검합니다. 음성이나 이미지가 들어가는 에이전트는 글자 필터만으로 숨은 지시를 걸러내기 어렵다는 점이 이번 실험의 출발점이었습니다.
4. 자체 서빙 환경을 쓴다면 캐시 관리 계층이 저장하는 정보를 확인해 이상 탐지를 붙일 수 있는지 살펴봅니다.

대회 제출물이 에이전트라면 심사 설명 자료에 입력 검증 방법을 한 줄이라도 적어 두는 것이 좋습니다. 입출력을 지키는 가드레일과 내부 계산 신호를 함께 쓰는 구성은 하나의 방어선에 의존하지 않는다는 근거가 됩니다. 다만 이 글은 발표 하나를 요약한 것이며, 이 방식의 일반적인 성능을 보장하지는 않습니다.

이 발표를 읽을 때 구분해야 할 점

• 발표자는 자신이 만든 회사의 솔루션 방향을 소개했고, 결과 수치는 발표자가 직접 보고한 것입니다.
• 음성 실험은 72개 클립과 네 가지 목소리라는 작은 규모의 간단한 사례라고 발표자 스스로 설명했습니다.
• 텍스트 실험에서 경보 상위 10개 중 7~8개가 의미 있는 이상이었다는 수치는 상위 경보만 본 값입니다. 전체 탐지율이나 오탐률은 영상에서 제시되지 않았습니다.
• 서로 다른 모델 사이에서 기준선을 공유하는 문제는 해결된 것이 아니라 남은 과제로 소개됐습니다.

출처: AI Engineer 채널, 「Your KV Cache Can Spot Attacks on Your AI Agents - Ari Azarafrooz, Intrinsec AI」, 2026년 11월 9일 업로드. 이 글의 수치와 설명은 해당 영상의 자막에서 확인한 내용이며, 모델 이름처럼 자막에서 분명하지 않은 부분은 적지 않았습니다.

다른 참가자들이 에이전트 보안과 평가를 어떻게 다루는지는 DAKER의 커뮤니티에서, 진행 중인 대회는 DACON에서 확인할 수 있습니다.