VLM 에이전트가 시맨틱 하네스로 로봇을 다룹니다 | DAKER 커뮤니티

2026년 9월 10일 Show-Harness 논문이 arXiv에 공개되었습니다. 영문 제목은 Show-Harness: Just a VLM Agent Can Play Robots이며 arXiv 번호는 2609.10522입니다. 초록은 기반 비전-언어 모델(VLM)이 세계에 대한 넓은 지능을 보이지만, 그 지능을 로봇 제어로 옮기는 일이 어렵다고 적습니다. Show-Harness는 의도(intent)와 행동을 잇는 압축된 시맨틱 인터페이스로 VLM이 로봇을 「play」할 수 있게 하는 Embodied Harness라고 소개합니다. 같은 인터페이스로 (1) 폐쇄형 프론티어 VLM을 제로샷 로봇 제어에 직접 열고, (2) 소규모 오픈소스 VLM을 몇 GPU-시간 미세조정만으로 저비용 배포에 맞추는 가능성을 보여 준다고 적습니다. 오늘 팀은 시맨틱 행동 단위와 embodiment별 해석기를 같은 프롬프트에 섞지 말고, 역할 문장을 README에 분리해 적습니다.

저자는 Chen, Yanzhe, Bai, Zechen, Cao, Zhijun, Zeng, Wenzheng, Lin, Kevin Qinghong, Lin, Yiqi, Liang, Guoqiang, Ma, Kevin Yuchen, Huang, Qiming, Shou, Mike Zheng입니다. 오늘 본문은 제공된 초록과 정리된 사실 범위만 옮깁니다. 초록에 없는 점수·연구소 순위·외부 저장소 주소는 쓰지 않습니다. 본문 공개 링크는 DAKER 커뮤니티와 DACON만 둡니다. 논문 영문 제목과 arXiv 2609.10522는 일반 텍스트로만 적습니다.

왜 시맨틱 하네스가 필요한가

초록은 기반 VLM이 넓은 세계 지식을 보이지만, 그 지식을 로봇 제어로 번역하는 일이 여전히 어렵다고 적습니다. Show-Harness는 의도를 행동에 연결하는 압축된 시맨틱 인터페이스를 둡니다. VLM이 자연스럽게 추론할 수 있는 이산(discrete) 시맨틱 행동 단위를 노출하고, embodiment별 해석기는 그 단위를 로컬 로봇 행동으로 결정적으로 접지(ground)한다고 적습니다. 이때 세밀한 물리 결정은 VLM이 직접 책임진다고 합니다.

해커톤에서 「로봇을 움직인다」와 「시맨틱 카드를 고른다」를 한 문장으로 합치지 마십시오. DACON 알고리즘 대회와 DAKER 바이브코딩 해커톤 모두, 에이전트가 고르는 단위와 하드웨어가 실행하는 단위를 문서에서 분리하는 습관이 필요합니다. Show-Harness가 강조하는 지점은 바로 그 인터페이스입니다.

초록에 없는 성공률·벤치 이름·하드웨어 목록을 붙이지 않습니다. 시맨틱 행동 단위와 결정적 접지라는 문장만 옮깁니다. 팀이 내부 위키에 적을 때도 같은 구절을 그대로 둡니다.

에이전트에게 로봇 전체를 제어하라만 시키면 실패 원인을 나누기 어렵습니다. 오늘은 시맨틱 선택 단계와 embodiment 해석 단계를 체크리스트에서 분리합니다. 시맨틱 단계는 VLM이 이산 행동 단위를 고르는 경우입니다. 해석 단계는 그 단위를 로컬 행동으로 옮기는 경우입니다.

Show-Harness와 GUMI가 덮는 범위

Show-Harness는 Embodied Harness로, VLM이 로봇을 play할 수 있게 한다고 소개합니다. 같은 인터페이스로 폐쇄형 프론티어 VLM의 제로샷 로봇 제어와, 소규모 오픈소스 VLM의 저비용 미세조정 배포 가능성을 보여 준다고 적습니다. 추가로 GUMI(GUI Manipulation Interface)를 개발해, 같은 시맨틱 행동 공간을 GUI 기반 시연 수집으로 확장한다고 적습니다. 사람과 에이전트가 전용 텔레오퍼레이션 하드웨어 없이 embodiment를 넘어 로봇을 play할 수 있다고 합니다.

팀이 오늘 가져갈 표 헤더는 단순합니다. 제로샷 프론티어 VLM, 소규모 오픈소스 미세조정, GUI 시연 수집을 서로 다른 행에 둡니다. 한 데모가 세 행을 동시에 충족한다고 쓰지 마십시오. 초록이 말하는 것은 같은 시맨틱 인터페이스가 그 스펙트럼을 잇는다는 점입니다.

제출 문서에는 어떤 경로(제로샷·미세조정·GUI 시연)를 썼는지 한 줄씩 적습니다. 없는 저장소 주소를 만들지 않습니다. 공개 안내는 DAKER 커뮤니티와 DACON 주소만 사용합니다.

제로샷 경로와 미세조정 경로를 한 성공률 숫자로 합치지 마십시오. 초록에 합산 점수가 없기 때문입니다. GUMI는 시연 수집 인터페이스 확장으로 읽고, 텔레오퍼레이션 장비가 필요 없다는 문장만 옮깁니다.

실험이 남기는 메시지

초록은 광범위한 실험으로 Show-Harness를 장착한 VLM 에이전트가 과제·embodiment·환경에 걸쳐 견고하게 일반화하며, 대표적 agentic·VLA 패러다임을 능가한다고 적습니다. 숫자 점수는 초록에 없으므로 본문에도 점수를 만들지 않습니다. 결과는 올바른 인터페이스가 추가 모델 용량이나 값비싼 embodiment 특화 사전학습 없이도 기반 VLM의 체화 능력을 크게 열 수 있음을 시사한다고 적습니다.

프론티어 VLM이면 로봇을 자동으로 다룬다는 문장은 쓰지 마십시오. 초록이 말하는 것은 인터페이스를 통한 실현 가능성과 일반화 보고입니다. DAKER 월간 해커톤 README에는 자동 제어 완료 대신 사용한 시맨틱 단위와 해석기 경계를 나란히 둡니다.

DAKER 해커톤에서 로봇·GUI·에이전트 관련 과제를 고를 때도, 평가 스크립트가 시맨틱 선택인지 로컬 접지인지 먼저 적습니다. 랭킹 가이드 기준으로 활동을 쌓을 때도, 하네스 이름과 평가 구간을 같은 설명에 섞지 않습니다.

학습 자료가 필요하면 학습 트랙에서 에이전트·로봇 관련 항목을 복습하고, 팀 내부 용어표를 Show-Harness·GUMI 문구에 맞춥니다. 용어가 바뀌면 실험 비교가 무너집니다.

빌더 팀에 옮기는 점검

에이전트 프롬프트에 로봇 전체를 제어하라만 넣지 말고, 허용된 시맨틱 행동 단위와 embodiment 해석 범위를 파일로 고정합니다. 제로샷 경로와 미세조정 경로의 성공 기준을 서로 다른 체크리스트로 둡니다. 실행 로그에는 어떤 경로를 시도했는지 태그를 붙입니다.

DACON 코드 제출 과제라면 재현 명령과 환경 고정 파일을 분리합니다. DAKER 바이브코딩 해커톤이라면 배포 주소와 함께 시맨틱 단위 목록을 상단에 둡니다. 배포가 제출입니다. 올린 링크가 제출입니다.

초록에 없는 벤치 점수, GPU 시간 수치, 하드웨어 이름을 추가하지 않습니다. 「몇 GPU-시간」이라는 초록 표현은 그대로 두고, 구체 시간을 만들지 않습니다. 비교표를 만들 때는 Show-Harness가 다루는 인터페이스 문구만 열 이름으로 복제합니다.

팀 회고에서는 일반화와 한계를 같은 문단에서 다루되, 한계를 숨기지 않습니다. 성공한 GUI 시연만으로 모든 embodiment가 해결되었다고 쓰지 마십시오.

이 글이 아닌 것입니다

특정 VLM이 로봇 제어에서 1등이라는 발표가 아닙니다. 초록은 일반화와 대표 패러다임 대비를 보고한다고만 적습니다.

텔레오퍼레이션이 불필요하다는 전 분야 보증이 아닙니다. GUMI가 GUI 시연 수집을 확장한다는 소개입니다.

추가 모델 용량이 전혀 필요 없다는 절대 선언이 아닙니다. 올바른 인터페이스가 체화 능력을 열 수 있다는 시사입니다.

DACON·DAKER 공식 로봇 공지가 아닙니다. arXiv 2609.10522 초록 안내입니다.

오픈소스 가중치·저장소 목록을 공개한다는 약속이 아닙니다. 저비용 미세조정 가능성을 보여 준다는 설명만 옮깁니다.

시맨틱 단위와 해석기를 문서로 고정하는 법

초록이 강조하는 핵심은 인터페이스입니다. 시맨틱 행동 단위만 정하면, embodiment 해석이 어디서 깨지는지 알기 어렵습니다. 해석기만 고치면, VLM이 어떤 단위를 골랐는지 추적이 어렵습니다. 두 층을 한 성공 문장으로 합치지 마십시오.

팀 실무에서는 과제 카드를 세 장으로 나눕니다. 첫 장은 시맨틱 행동 단위 목록입니다. 둘째 장은 embodiment별 해석 규칙입니다. 셋째 장은 제로샷·미세조정·GUI 시연 중 어떤 경로인지입니다. 세 장을 한 데모 문장으로 합치지 마십시오.

사람과 에이전트가 전용 텔레오퍼레이션 없이 play할 수 있다는 초록 문장은, GUMI의 시연 수집 범위를 설명합니다. 우리 팀이 같은 GUI를 복제했다는 뜻이 아닙니다. 출처 설명을 복제 완료로 바꾸어 쓰지 않습니다.

에이전트 로그를 남길 때는 경로 태그를 필수 필드로 둡니다. 제로샷, 미세조정, GUI 시연 중 하나를 고릅니다. 태그가 없으면 회고에서 비교가 불가능합니다.

오늘 할 일

첫째, 영문 제목과 arXiv 2609.10522를 메모 첫 줄에 적으십시오. 요약 카드만 보고 Show-Harness를 정의하지 않습니다.

둘째, 팀 평가표를 세 행으로 나누십시오. 시맨틱 단위 선택, embodiment 해석, 시연 수집(GUMI)입니다.

셋째, 프롬프트에 허용된 시맨틱 행동 단위를 명시하십시오. 제로샷과 미세조정 경로를 섞어 쓰지 않습니다.

넷째, 실패 로그에 경로 태그를 붙이십시오. 한계를 능력과 같은 문장에 합치지 않습니다.

다섯째, 공개 산출물을 DAKER·DACON 링크로만 올리십시오. 커뮤니티에 점검표를 공유하고, 알고리즘 연습은 DACON에서 이어 갑니다.

여섯째, 자동 로봇 제어라는 말을 README에 쓰기 전에 근거 문장을 두십시오. 초록은 인터페이스로 체화 능력을 연다고 적습니다. 완료 선언과 바꾸지 않습니다.

일곱째, agentic·VLA 대비 문장을 홍보 문장과 분리하십시오. 초록은 대표 패러다임 대비를 보고합니다. 점수 없는 1등 선언으로 바꾸지 않습니다.

여덟째, 시맨틱·해석·경로 카드 세 장을 저장소에 커밋하십시오. 카드가 없으면 평가 범위를 다시 논쟁하게 됩니다.