문장 하나가 순위를 뒤집었다 — SW마에스트로 제16기 프롬프트 경진대회 현장 | DAKER 커뮤니티
※ 2025년 6월 15일 열린 ‘SW마에스트로 제16기 프롬프트 엔지니어링 오프라인 해커톤’을 공식 대회 안내와 현장 사진을 바탕으로 복기한 기록입니다.
오전 9시 37분, 대형 화면의 리더보드가 다시 움직였다. 누군가는 고개를 들었고, 누군가는 곧바로 프롬프트의 한 줄을 지웠다. 코드는 없었다. 바뀐 것은 문장뿐이었다. 그런데 그 문장이 점수와 순서를 갈랐다.
세 시간, 1,200자, 그리고 30번의 기회
SW마에스트로 제16기 연수생을 대상으로 열린 이번 경진대회의 과제는 ‘플랫폼 서비스 운영 문의 자동 분류를 위한 시스템 프롬프트 엔지니어링’이었다. 게시판 문의마다 실제 운영 담당자의 대응이 필요한지 AI가 1 또는 0으로 판단하게 만드는 시스템 프롬프트를 설계하는 문제다.
규칙은 짧지만 날카로웠다. 시스템 프롬프트는 최대 1,200자, 대회 중 제출은 30회. 평가는 모델 분류 정확도 90%와 프롬프트 길이 점수 10%를 합산했다. 많이 쓰는 것이 아니라, 짧게 쓰면서도 예외를 놓치지 않는 문장이 필요했다.
노트북이 열리자 대회장은 편집실이 됐다
시작 전까지 넓게 보이던 원형 테이블은 순식간에 노트북과 메모, 음료로 채워졌다. 참가자들은 문의 문장을 읽고, 운영 개입이 필요한 경계를 정하고, AI가 흔들릴 만한 반례를 프롬프트 안에 밀어 넣었다.
‘직접 답변해야 하는 질문’과 ‘일반적인 의견’을 어디에서 나눌 것인가. 숫자가 있다고 모두 운영 문의는 아니고, 질문처럼 보인다고 모두 담당자에게 넘길 수도 없다. 한 단어를 보태면 어떤 예시는 맞았지만 다른 예시가 틀렸다. 문장을 고칠 때마다 참가자들은 다시 제출 버튼을 눌렀다.
프롬프트 엔지니어링은 멋진 문장을 쓰는 일이 아니었다. AI가 판단을 틀릴 구멍을 찾아, 그 구멍을 가장 적은 말로 막는 일이었다.
점수 90%, 길이 10% — 한 글자에도 전략이 있었다
정확도가 평가의 대부분을 차지했지만 길이 점수 10%는 무시하기 어려웠다. 규칙을 늘어놓을수록 분류는 안정될 수 있지만, 프롬프트는 길어졌다. 반대로 압축하면 점수는 좋아질 수 있어도 예외 상황에서 흔들렸다. 참가팀은 설명과 예시, 우선순위와 출력 형식 사이의 균형을 계속 다시 계산했다.
리더보드가 곧 현장 중계였다
제출 결과가 올라올 때마다 대형 화면의 순위가 바뀌었다. 같은 프롬프트라도 LLM의 특성상 다른 점수가 나올 수 있었고, 공식 규칙상 제출 당시 기록된 점수만 인정됐다. 새로고침 한 번이 안도와 긴장을 동시에 만들었다.
세 시간의 경기는 마지막 제출과 함께 멈췄다. 시상 무대에 오른 팀들의 손에는 결과가 들렸지만, 대회가 남긴 질문은 더 길었다. AI에게 무엇을 시킬 것인가보다 더 어려운 것은, 어떤 기준으로 판단하게 할 것인가였다.
현장에서 남은 한 문장
좋은 프롬프트는 길게 설명하는 문장이 아니라, AI가 틀릴 순간을 먼저 발견한 문장이다.