[Claude Code 스킬] 컴퓨터 사용(Computer Use) — 터미널의 Claude에게 눈과 손이 생겼다 | DAKER 커뮤니티

무엇

컴퓨터 사용(Computer Use)은 터미널의 Claude Code가 macOS 화면을 스크린샷으로 '보고', 마우스·키보드로 앱을 직접 조작하는 기능입니다(리서치 프리뷰, v2.1.85+, Pro/Max 플랜, 인터랙티브 세션 전용). 지금까지 Bash 도구가 Claude의 '손'이었다면, 컴퓨터 사용은 눈(화면 기록)과 손(접근성)을 동시에 붙여주는 셈입니다. 코드를 짠 바로 그 대화에서 Swift 앱을 컴파일하고, 실행하고, 버튼을 하나씩 눌러 확인한 뒤 스크린샷까지 남깁니다.

언제 쓰나

기준은 "CLI도 API도 없는 GUI 전용 작업"입니다. 네이티브 앱 빌드 검증(빌드→실행→모든 컨트롤 클릭), 테스트 하네스 없이 하는 E2E UI 테스트(온보딩 플로우를 직접 클릭하며 단계별 스크린샷), 창 크기를 줄여가며 레이아웃 버그를 재현→CSS 수정→재확인하는 시각 디버깅, iOS 시뮬레이터·디자인 도구·하드웨어 제어판처럼 API가 없는 도구 조작에 맞습니다.

중요한 건 Claude가 정밀한 도구부터 시도한다는 점입니다. 해당 서비스의 MCP가 있으면 MCP, 셸로 되면 Bash, 웹이면 Claude in Chrome, 그 무엇으로도 닿지 않을 때만 화면 제어가 나섭니다. 컴퓨터 사용은 가장 넓지만 가장 느린 '최후의 손'입니다.

사용법

내장 MCP 서버 computer-use로 제공되며 기본은 꺼져 있습니다.

/mcp                # 서버 목록에서 computer-use 선택 → Enable (프로젝트별 1회)

# 첫 실행 시 macOS 권한 2개를 승인:
#  - 접근성(Accessibility)     = 손: 클릭·타이핑·스크롤
#  - 화면 기록(Screen Recording) = 눈: 화면 보기 (승인 후 재시작 필요할 수 있음)

이후엔 평소처럼 부탁하면 됩니다.

앱 타깃을 빌드해서 실행하고, 탭을 전부 눌러 크래시가 없는지 확인해.
오류 화면이 보이면 스크린샷으로 남겨줘.

서버를 켰다고 모든 앱이 열리는 건 아닙니다. 세션에서 처음 필요한 앱마다 승인 프롬프트가 뜨고(Allow for this session), 승인은 그 세션에서만 유효합니다. 접근 폭이 큰 앱에는 경고가 붙습니다 — 터미널·IDE는 "셸 접근과 동등", Finder는 "모든 파일 읽기·쓰기", 시스템 설정은 "설정 변경 가능". 제어 수준도 앱 종류별로 다릅니다.

동작 원리

루프는 단순합니다: 스크린샷으로 보고 → 모델이 다음 행동을 정하고 → 클릭·타이핑으로 실행 → 화면이 바뀌면 다시 캡처. 스크린샷은 전송 전 자동 축소되므로(16인치 맥북 레티나 3456x2234 → 약 1372x887) 해상도를 일부러 낮출 필요가 없습니다. 작업 중 다른 앱은 자동으로 숨겨지고, 터미널 창은 스크린샷에서 제외됩니다 — Claude가 자기 출력을 다시 읽는 피드백 루프를 구조적으로 차단한 설계입니다.

팁

1) Esc는 전역 비상정지. 어디에 포커스가 있든 즉시 중단되며, 그 키 입력은 '소비'되어 화면 속 인젝션 문구가 Esc로 자기 다이얼로그를 닫는 악용이 불가능합니다. 머신 전역 락으로 동시에 1개 세션만 화면을 잡고, 락은 세션 종료까지 유지됩니다(v2.1.195+). "다른 세션이 사용 중" 오류가 나면 그 세션을 먼저 종료하세요.

2) 글자가 작아 못 읽으면 앱 안 글자 크기를 키우세요. 다운스케일 목표 크기는 설정할 수 없습니다. /mcp 목록에 computer-use가 안 보이면 macOS인지, v2.1.85+인지, Pro/Max 플랜인지, claude.ai 인증인지(Bedrock·Vertex 불가), 인터랙티브 세션인지(-p 불가)를 순서대로 점검하면 됩니다.

출처

공식 문서: Computer use in the CLI
데스크톱 앱의 컴퓨터 사용 (macOS·Windows)
컴퓨터 사용 안전 가이드