GUI와 CLI를 같이 쓰는 컴퓨터 사용 환경을 앱에서 자동으로 만듭니다 | DAKER 커뮤니티

2026년 9월 4일 CUA-Universe 논문이 arXiv에 공개되었습니다. 컴퓨터 사용 에이전트가 OSWorld·AndroidWorld 같은 벤치에서 발전했지만 대부분 GUI만 눌러 비효율적 궤적을 만든다고 적습니다. 실제 컴퓨터 작업은 화면 상태를 눈으로 확인하고, 정밀하고 처리량이 큰 작업은 명령줄로 처리하는 하이브리드입니다. 그런데 실제 앱 위에 GUI와 CLI를 같이 열려면 앱마다 수동 공수가 커서 확장 가능한 하이브리드 환경이 드뭅니다. CUA-Universe는 실제 데스크톱 소프트웨어를 하이브리드 GUI+CLI 환경으로 바꾸는 환경-데이터 파이프라인을 제안합니다. App-Forge는 앱을 재현 가능한 VM과 CLI 표면으로 적응하며 16개 앱까지 확장합니다. Task-Weave는 시드 파일 위 재사용 연산으로 난이도를 조절한 하이브리드 과제를 합성합니다. Path-Steer는 효율적 하이브리드 경로로 롤아웃을 유도하고 검증된 궤적을 후학습용으로 수확합니다. 9B 모델은 CUA-Verse에서 Score +39.3포인트, 스텝 −37%, 토큰 −60%를 보고합니다. OSWorld에서는 성공률 +16.8포인트, 스텝 −57%, 토큰 −44%입니다. OSWorld-MCP에서는 Score +7.84포인트, 스텝 −27%, 토큰 −30%입니다. 초록에 코드 URL은 없습니다. 오늘 팀은 GUI 전용 궤적과 CLI 전용 궤적을 같은 표에 나누어 적습니다.

논문은 2026-09-04 arXiv에 올라왔습니다. 초록은 arXiv:2609.05374에서 확인할 수 있습니다. 영문 제목은 CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents입니다. 저자는 Haoting Shi, Wenhao Wang, Weicheng Fang, Yaozhong Liang, Tian Jin, Pengxiang Zhao, Guangyi Liu, Siheng Chen, Yanfeng Wang입니다. PDF는 같은 번호의 pdf입니다. 오늘 본문은 초록에서 확인한 범위만 옮깁니다.

GUI만으로는 부족하고 CLI만으로도 부족합니다

컴퓨터 사용 에이전트는 벤치에서 앞으로 나갔지만, 실제로는 GUI를 주로 눌러 경로가 길어지는 경우가 많습니다. 반대로 CLI만 쓰는 에이전트는 화면 상태·레이아웃이 필요한 작업에서 시각 정보가 부족합니다. GUI 전용 에이전트는 명령으로 끝낼 수 있는 작업에서도 클릭을 반복해 비효율적입니다. 두 인터페이스를 같은 앱 상태 위에서 조율해야 한다고 적습니다.

문제는 환경입니다. 실제 앱에 GUI와 CLI를 동시에 열려면 앱마다 수동 엔지니어링이 커서, 확장 가능한 하이브리드 환경이 드물다고 적습니다. CUA-Universe는 이 병목을 환경-데이터 파이프라인으로 줄이려 합니다.

DAKER 바이브코딩 해커톤에서 데스크톱 자동화를 데모할 때도, “클릭만” 또는 “셸만”으로 나누지 말고 같은 앱 상태에서의 조율 경로를 로그에 남깁니다.

App-Forge·Task-Weave·Path-Steer 세 단계

App-Forge는 실제 데스크톱 앱을 재현 가능한 가상머신과 명령줄 표면으로 적응합니다. CLI 표면은 발견하거나 감싸거나 생성한다고 적습니다. 규모는 16개 앱까지 확장했다고 보고합니다. Task-Weave는 시드 파일 위 재사용 연산으로 난이도를 조절할 수 있는 하이브리드 과제를 합성합니다. Path-Steer는 효율적 하이브리드 경로로 롤아웃을 유도하고, 검증된 궤적을 후학습용으로 수확합니다.

이 데이터로 학습하면 비효율적인 GUI 상호작용과 깨지기 쉬운 CLI 스크립트에서, GUI와 CLI를 같이 쓰는 조율로 행동이 이동한다고 적습니다. 세부 학습률·에폭·데이터 장수는 초록에 없으므로 쓰지 않습니다.

팀 문서에는 App-Forge로 만든 앱 목록, Task-Weave 시드 파일 해시, Path-Steer로 수확한 궤적 수를 서로 다른 칸에 둡니다.

보고된 점수와 효율

9B 모델을 이 데이터로 학습한 결과를 초록이 적습니다. CUA-Verse에서 Score가 +39.3포인트 오르고, 스텝은 37% 줄며, 토큰은 60% 줄었다고 합니다. OSWorld에서는 성공률이 +16.8포인트, 스텝 −57%, 토큰 −44%입니다. OSWorld-MCP에서는 Score +7.84포인트, 스텝 −27%, 토큰 −30%입니다.

성공과 효율을 같이 보고했다는 점이 중요합니다. 점수만 올리고 스텝·토큰이 늘어난 것이 아니라고 읽을 수 있습니다. 세부 베이스라인 모델명과 절대 점수는 초록에 없으므로 추측해 채우지 마십시오.

해커톤 README에는 “CUA-Verse +39.3 / 스텝 −37% / 토큰 −60%”처럼 벤치별로 한 줄을 고정합니다. 배포가 제출입니다. 올린 링크가 제출입니다.

빌더 팀에 옮기는 점검

팀이 오늘 할 일은 컴퓨터 사용 데모를 GUI 궤적과 CLI 궤적으로 나누어 저장하는 것입니다. 같은 앱 상태를 공유하는지 스크린샷과 터미널 로그를 한 폴더에 묶습니다. OSWorld·AndroidWorld만 돌리던 파이프라인에 하이브리드 과제가 있는지 점검표를 만듭니다.

앱을 VM으로 감쌀 때는 재현 가능한 스냅샷 해시를 남깁니다. CLI 래퍼가 생성물인지 발견물인지 태그를 붙입니다. Path-Steer처럼 경로를 유도했다면, 유도 전후 스텝 수를 같은 CSV에 둡니다.

Controller와 Worker를 나누면, GUI 정책과 CLI 도구 목록을 한 프롬프트에 섞지 마십시오. 공유 머신에서는 화면 녹화와 명령 로그의 보존 기간을 문서에 적습니다. API 키를 공개 저장소에 넣지 않습니다.

초록에 없는 GitHub·HF 경로를 만들지 마십시오. 출처는 arXiv 번호와 PDF만 상단에 둡니다.

하이브리드 경로를 제출 문서로 옮기는 방법

CUA-Universe가 강조하는 점은 GUI 점수만이 아니라 스텝과 토큰을 함께 줄인다는 점입니다. 팀 문서에도 같은 구조를 둡니다. 앱 적응, 과제 합성, 경로 유도, 벤치별 점수·스텝·토큰을 절로 나눕니다.

OSWorld만 보던 팀은 CUA-Verse와 OSWorld-MCP 숫자를 같은 표에 추가합니다. 성공률만 올리고 스텝이 늘어난 실험을 하이브리드 성공으로 적지 마십시오. Path-Steer로 수확한 궤적과 임의 롤아웃을 섞어 학습하지 않도록 폴더를 나눕니다.

데모 페이지에는 “GUI+CLI 조율”을 크게 두고, 바로 옆에 16개 앱 확장과 9B 벤치 변화 요약을 둡니다. 없는 다운로드 URL을 만들지 마십시오.

팀 회고에는 “성공률 개선”과 “스텝·토큰 절감”을 서로 다른 항목에 적습니다. 한 항목에 섞으면 재현이 어렵습니다.

제출 전에 같은 과제에 대해 GUI 전용 궤적과 하이브리드 궤적을 나란히 저장합니다. 차이는 로그로만 남기고 과장 문구를 붙이지 않습니다.

이 글이 아닌 것입니다

모든 데스크톱 앱에 바로 붙는다는 보증이 아닙니다. 초록은 16개 앱 확장을 보고합니다.

9B가 모든 컴퓨터 사용 벤치를 이긴다는 뜻이 아닙니다. CUA-Verse·OSWorld·OSWorld-MCP에서 보고된 변화만 옮깁니다.

코드 공개 URL을 이 글이 확정한다는 뜻이 아닙니다. 초록에 URL이 없습니다.

DACON·DAKER 공식 우승 공지가 아닙니다. 빌더가 옮길 점검 안내입니다.

오늘 할 일

첫째, 초록과 PDF를 직접 여십시오. arXiv:2609.05374와 pdf를 같은 탭에 둡니다.

둘째, GUI/CLI 조율 여부를 데모 체크리스트에 넣으십시오. 클릭만·셸만 경로를 표시합니다.

셋째, 앱 VM 스냅샷과 CLI 표면 출처를 기록하십시오. 발견·래핑·생성을 구분합니다.

넷째, 벤치별 점수·스텝·토큰을 한 표에 옮기십시오. CUA-Verse·OSWorld·OSWorld-MCP 숫자를 섞지 않습니다.

다섯째, Path-Steer류 경로 유도가 있으면 전후 스텝을 남기십시오. 검증된 궤적만 학습 후보로 둡니다.

여섯째, 9B 결과 인용은 초록 범위만 쓰십시오. 없는 절대 점수를 채우지 않습니다.

일곱째, 데모와 로그를 공개 주소로 올리십시오. 배포가 제출입니다. 올린 링크가 제출입니다.

출처: arXiv:2609.05374 — CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents (2026-09-04) · PDF