agent-desktop은 AI 에이전트가 화면 픽셀 대신 접근성 트리로 데스크톱 앱을 조작하게 합니다 | DAKER 커뮤니티
2026년 11월 3일 오전 11시 30분(한국 시간) GitHub Trending 일간 1위는 vercel-labs/agent-desktop입니다. 한 줄로 말하면 agent-desktop은 AI 에이전트가 스크린숏을 보고 좌표를 찍는 대신, 운영체제의 접근성 트리를 읽고 요소마다 붙은 참조값(ref)으로 데스크톱 앱을 클릭하고 입력하게 해 주는 명령줄 도구입니다. 브라우저 밖의 앱까지 에이전트에게 맡겨 보고 싶었던 분이라면 오늘 살펴볼 만합니다.
agent-desktop은 무엇인가
저장소 설명은 Computer use CLI for AI agents, 즉 AI 에이전트를 위한 컴퓨터 사용 CLI입니다. README에 따르면 macOS, Windows, Linux에서 돌아가는 CLI이자 C 라이브러리이고, 스냅숏 명령을 실행하면 에이전트가 조작할 수 있는 모든 요소에 ref가 달린 JSON이 돌아옵니다. 에이전트는 그 ref로 행동한 뒤 다시 스냅숏을 찍어 결과를 확인하며, 이 과정에 픽셀 매칭은 없습니다.
agent-desktop은 화면을 보는 대신 운영체제가 이미 알고 있는 앱 구조를 읽어서, 에이전트가 무엇을 눌렀는지 다시 확인할 수 있게 만듭니다.
2026년 11월 3일 오전 11시 31분(KST) GitHub API 기준 스타는 10,014개, 포크는 673개이고 라이선스는 Apache-2.0, 주요 언어는 Rust입니다. 저장소는 2026년 2월 20일(KST)에 만들어졌습니다. README는 명령 이름이 60개이고 그중 56개가 실제로 동작하는 명령이라고 밝힙니다. 나머지 4개(key-down, key-up, mouse-down, mouse-up)는 눌린 키나 버튼을 풀어 줄 데몬이 생길 때까지 실행을 거부합니다.
agent-desktop은 왜 지금 뜨나
오늘 GitHub Trending 페이지에는 agent-desktop이 하루 동안 2,275개의 스타를 받았다고 표시됩니다(2026년 11월 3일 오전 11시 31분 KST 확인). 화면 캡처 기반 컴퓨터 사용 에이전트는 해상도나 테마가 바뀌면 좌표가 틀어지기 쉬운데, agent-desktop은 접근성 API를 통해 요소 자체를 다룹니다. README는 기본 동작이 헤드리스라서 ref 동작은 마우스 포인터를 움직이거나 포커스를 빼앗지 않는다고 설명하며, 물리 입력이 필요할 때만 --headed 옵션을 씁니다.
오류 처리도 에이전트용으로 설계되어 있습니다. 모든 명령은 ok와 data 또는 error를 담은 JSON 봉투 하나를 출력하고, 오류에는 code와 disposition, 대개 suggestion이 붙습니다. README는 error.disposition.retry가 safe일 때만 다시 시도하라고 안내합니다. 화면이 바뀌어 ref가 낡으면 STALE_REF가 돌아오므로 새 스냅숏을 찍으면 됩니다.
agent-desktop은 어떻게 써 보나
README의 설치 방법은 npm 한 줄입니다. npm install -g agent-desktop 으로 설치하고 agent-desktop version 으로 확인합니다. macOS는 손쉬운 사용(Accessibility) 권한이 필요하고 agent-desktop permissions --guide 로 안내를 볼 수 있습니다. Linux는 at-spi2-core가 있는 사용자 그래픽 세션이 필요하고, Windows는 터미널과 같은 무결성 수준의 앱이라면 별도 권한이 필요 없습니다.
빠른 시작 예시는 관찰, 행동, 재관찰의 세 단계입니다. agent-desktop snapshot --app Finder -i 로 상호작용 가능한 요소와 ref를 받고, agent-desktop click @s8f3k2p9:e8 처럼 그 ref로 클릭한 뒤, 같은 스냅숏 명령으로 결과를 다시 확인합니다. Slack처럼 요소가 많은 앱은 snapshot --skeleton 으로 먼저 구조를 그린 뒤 --root 로 한 영역만 파고들라고 README는 권합니다.
에이전트에게 붙일 때는 agent-desktop skills get desktop 과 agent-desktop skills get platform 으로 버전에 맞는 사용 문서를 바로 꺼낼 수 있습니다. npx skills add 명령으로 에이전트 하네스에 스킬을 설치하거나, AGENTS.md에 이 두 명령을 먼저 실행하라는 문장을 넣는 방법도 README에 나와 있습니다. CLI를 매번 띄우지 않고 프로그램 안에서 부르고 싶다면 릴리스마다 함께 나오는 libagent_desktop_ffi 라이브러리를 쓸 수 있습니다.
agent-desktop은 어디에 쓰면 좋나
첫째, 웹 API가 없는 사내 데스크톱 도구나 설정 화면을 반복 조작하는 업무 자동화에 맞습니다. 둘째, Claude Code 같은 코딩 에이전트가 만든 데스크톱 앱을 직접 열어 버튼을 눌러 보며 확인하는 UI 점검에 쓸 수 있습니다. 셋째, 알림 목록 읽기, 클립보드, 창 이동처럼 운영체제 단위 작업을 에이전트 실험에 넣어 보는 연구에도 유용합니다.
주의할 점도 README에 분명히 적혀 있습니다. 스냅숏, 클립보드, 스크린숏, 디버그 결과물에는 개인 데스크톱 내용이 담길 수 있으니 공개 로그나 업로드에 섞지 말라고 안내합니다. Linux에서는 마우스 입력이 X11과 --headed 조건에서만 지원되는 등 플랫폼별 차이가 있으니 skills get platform 결과를 먼저 확인하는 편이 좋습니다.
여러분은 agent-desktop으로 어떤 데스크톱 앱 작업을 에이전트에게 맡겨 보고 싶으신가요? 댓글로 알려 주세요.