금융 AI는 왜 ‘생성’보다 ‘검증’이 먼저일까: 규칙·문맥·근거의 3단 설계 | DAKER 커뮤니티

금융 AI가 그럴듯한 문장을 만드는 것과, 실제 업무에서 믿고 쓸 수 있는 판단을 내리는 것은 다른 문제입니다. JB금융그룹 Fin:AI Challenge 갤러리의 ‘금융광고 준법심의 보조 AI Agent’ 기획서는 이 차이를 단일 LLM이 아닌 규칙·문맥·근거의 3단 구조로 풀어냅니다.

서비스의 목표는 금융광고 문구를 입력하면 위험도를 정상·주의·위험으로 분류하고, 문제가 된 표현과 누락된 고지사항, 위반 유형, 관련 법령 근거를 심의 담당자에게 함께 보여주는 것입니다. 광고 문구뿐 아니라 상품 유형과 노출 채널도 입력으로 사용해 판단 맥락을 보완합니다.

핵심은 AI 한 개가 아니라 역할이 다른 세 엔진

  1. 체크리스트 규칙 엔진
    JSON 규칙 DB와 키워드 매칭으로 필수 고지사항 누락, 금지 표현처럼 기준이 명확한 문제를 먼저 찾습니다. 결과가 항상 같은 결정적 검사이므로 설명과 재현이 쉽습니다.
  2. KLUE-BERT 문맥 판단 모델
    키워드만으로 판단하기 어려운 애매한 표현을 문장 전체 맥락에서 분석합니다. 하나의 문구가 여러 위반 유형을 동시에 가질 수 있어 단일 분류가 아닌 Multi-label Classification을 사용합니다. 학습에는 멀티핫 라벨과 BCEWithLogitsLoss를 사용하고, 추론 시 라벨별 sigmoid 확률이 임계값을 넘으면 복수의 위반 코드를 반환합니다.
  3. 법령·규칙 DB 근거 매칭
    모델이 예측한 위반 유형을 금융소비자보호법과 광고 가이드라인 조항에 연결합니다. 모델의 판단과 근거 검색을 분리해 ‘왜 위험한가’를 추적할 수 있게 합니다.

한 줄 인사이트
고위험 업무의 AI는 정답을 대신 말하는 모델보다, 규칙으로 걸러내고 문맥으로 보완하며 근거로 설명하는 파이프라인에 가깝습니다.

실제 처리 흐름은 이렇게 이어집니다

광고 문구 입력 → 1차 규칙 검사 → 2차 KLUE-BERT 문맥 검사 → 위반 표현 표시 → 법령 자동 매핑 → 위험도 계산 → 심의 리포트 생성 → 담당자 검토

자동화의 마지막에 사람이 남아 있다는 점도 중요합니다. AI가 최종 승인을 대신하는 것이 아니라, 반복적인 대조 작업을 줄이고 심의 담당자가 위험한 부분과 근거부터 검토하도록 돕는 구조입니다. 수정이 필요하면 문구를 바꿔 다시 검사하는 반복 루프도 포함합니다.

왜 생성형 AI 하나로 끝내지 않았을까?

실서비스로 발전시킬 때 필요한 네 가지

  1. 라벨별 임계값 보정
    모든 위반 유형에 같은 threshold를 쓰기보다, 놓치면 피해가 큰 유형은 재현율 중심으로 별도 보정해야 합니다.
  2. 법령 버전 관리
    근거 조항에는 시행일과 버전을 함께 저장해야 과거 심의 결과를 다시 설명할 수 있습니다.
  3. False Negative 집중 평가
    준법 업무에서는 정상 문구를 경고하는 불편보다 실제 위반을 놓치는 위험이 더 클 수 있습니다. 유형별 비용을 반영한 평가가 필요합니다.
  4. 사람의 수정 결과를 학습 데이터로 환류
    담당자가 판정을 수정한 사례를 회귀 테스트셋과 재학습 데이터로 축적하면 운영할수록 시스템이 좋아집니다.

다른 금융 AI에도 적용할 수 있는 설계 공식

이 방식은 광고 심의뿐 아니라 대출 서류 검토, 보험금 청구 이상 탐지, 상담 품질 점검에도 적용할 수 있습니다.

명확한 기준은 규칙 엔진으로, 애매한 맥락은 ML 모델로, 최종 설명은 검증된 지식 DB로 분리하세요. 그리고 세 결과가 충돌하거나 위험도가 높을 때만 사람에게 보내면 자동화 속도와 통제 가능성을 함께 확보할 수 있습니다.

출처

Redirecting to 금융 AI는 왜 ‘생성’보다 ‘검증’이 먼저일까: 규칙·문맥·근거의 3단 설계 | DAKER 커뮤니티...