Claude Code 상세 사용법 29: CLI computer-use로 GUI 검증하기 | DAKER 커뮤니티
Claude Code 상세 사용법 29: CLI computer-use로 GUI 검증하기
Claude Code 공식 computer use 문서는 CLI 세션에서 Claude가 macOS 앱을 열고, 클릭하고, 화면을 보며 GUI 전용 작업을 처리하는 preview 기능을 설명한다. 2026년 6월 5일 기준 조건은 분명하다. macOS, Claude Code v2.1.85 이상, Pro 또는 Max 플랜, 그리고 -p가 아닌 interactive 세션이 필요하다.
위 SVG는 Mermaid 기반 도구 선택 흐름을 DAKER 편집기용 이미지로 옮긴 것이다.
1. 먼저 더 좁은 도구를 시도한다
computer-use는 실제 데스크톱을 조작한다. 그래서 공식 문서도 MCP, Bash, Chrome 같은 더 정확한 도구를 먼저 쓰고, 네이티브 앱, iOS Simulator, GUI-only 설정 화면처럼 다른 경로가 없을 때 쓰는 흐름을 권장한다.
이 Electron 앱의 온보딩을 검증해줘.
가능하면 npm test와 Playwright를 먼저 확인하고,
테스트 도구로 닿지 않는 네이티브 창만 computer-use로 열어.
각 단계는 스크린샷과 실패 조건을 남겨줘.프롬프트의 핵심은 “화면을 만져줘”가 아니라 “어떤 검증이 CLI로 충분하고, 어떤 부분만 화면 제어가 필요한지 나눠줘”다. 이 습관이 AI 코딩과 바이브코딩의 비용, 시간, 위험을 줄인다.
2. /mcp에서 computer-use를 켠다
interactive Claude Code 세션에서 /mcp를 열고 built-in MCP server인 computer-use를 Enable 한다. 설정은 프로젝트 단위로 유지된다. 처음 실제 조작을 시도하면 macOS가 Accessibility와 Screen Recording 권한을 요구한다. Screen Recording 권한은 터미널 앱 재시작이 필요할 수 있다.
claude --version
claude
# 세션 안에서
/mcpcomputer-use가 목록에 없다면 macOS가 아니거나, 버전이 낮거나, Pro/Max가 아니거나, third-party provider 인증만 쓰는 경우일 수 있다. 이때는 /status와 claude --version부터 확인한다.
두 번째 Mermaid 기반 체크리스트는 승인 전에 볼 안전 경계를 요약한다.
3. 앱 승인은 세션 단위로 좁힌다
서버를 켰다고 모든 앱을 조작할 수 있는 것은 아니다. Claude가 특정 앱을 처음 쓰려 하면 터미널에 앱 목록과 추가 권한 요청이 뜬다. Terminal, IDE, Finder, System Settings처럼 넓은 권한을 주는 앱은 별도 경고가 나온다.
실무에서는 한 번에 많은 앱을 허용하지 않는다. 예를 들어 “Xcode 빌드 후 Simulator 온보딩 확인”이면 Simulator와 대상 앱만 먼저 허용하고, 터미널/IDE 클릭 권한은 필요할 때 다시 판단한다.
4. 실패 모드를 미리 적는다
computer-use는 화면을 보므로 검증 증거를 만들기 쉽다. 대신 한 세션만 화면 제어 lock을 잡고, 작동 중 다른 앱은 숨겨질 수 있다. 멈춰야 하면 Esc 또는 Ctrl+C를 누른다.
빌드 후 앱을 실행하고 설정 탭까지 눌러봐.
실패로 간주할 조건:
1. 앱이 실행되지 않음
2. 버튼 클릭 후 2초 이상 응답 없음
3. 작은 창에서 푸터가 잘림
마지막에 스크린샷 기준으로 통과/실패를 표로 정리해줘.Senior takeaway: Claude Code computer-use는 테스트 자동화의 대체재가 아니라 마지막 20% GUI 검증 도구다. 클로드 코드로 개발 생산성을 높이려면 구조화 도구를 먼저 쓰고, 화면 제어는 승인 범위와 중단 경로가 명확할 때만 열어야 한다.
