코덱스 툴 사용법 06: 브라우저와 컴퓨터 사용으로 화면까지 검증하기 | DAKER 커뮤니티

코덱스 툴 사용법 06: 브라우저와 컴퓨터 사용으로 화면까지 검증하기

코덱스가 코드를 고치고 테스트까지 통과시켰는데도 실제 화면에서 깨지는 경우가 있다. 버튼은 보이지만 클릭이 안 되거나, 로그인한 상태에서만 메뉴가 달라지거나, 브라우저 콘솔에는 오류가 남아 있는 식이다. 이럴 때는 "코드만 읽는 에이전트"가 아니라 "화면을 직접 보는 에이전트"로 코덱스를 써야 한다.

OpenAI 공식 Codex 문서 기준으로 Codex 앱에는 로컬 개발 서버와 공개 페이지 확인에 적합한 in-app browser, 로그인된 Chrome 상태가 필요한 작업을 위한 Chrome extension, 데스크톱 앱과 복합 GUI 흐름을 다루는 Computer Use가 구분되어 있다. 핵심은 모든 화면 작업을 큰 권한으로 열어 두는 것이 아니라, 필요한 검증에 맞춰 가장 좁은 도구를 고르는 것이다.

1. 먼저 "무엇을 화면으로 증명할지" 정한다

브라우저를 열기 전에 검증 문장을 하나로 줄여야 한다. 예를 들어 "UI 확인해줘"는 너무 넓다. 대신 이렇게 쓴다.

상품 상세 페이지에서 로그인 사용자가 장바구니 버튼을 누르면
버튼 로딩 상태가 사라지고, 장바구니 카운트가 1 증가하는지 확인해줘.
콘솔 오류와 네트워크 실패도 같이 보고해줘.

이렇게 쓰면 코덱스는 화면을 보는 이유를 안다. 클릭해야 할 흐름, 봐야 할 상태, 완료 보고에 들어갈 증거가 분명해진다.

2. 로컬 웹은 in-app browser부터 쓴다

로컬 개발 서버, 파일 기반 미리보기, 로그인 없는 공개 페이지는 in-app browser가 기본값이다. OpenAI의 Chrome extension 문서도 로컬 개발 서버나 로그인 없는 공개 페이지에는 in-app browser를 먼저 쓰라고 안내한다.

실무에서는 다음 조합이 좋다.

• 먼저 shell로 서버를 띄우고 테스트를 실행한다.

• in-app browser로 핵심 경로를 클릭한다.

  5. 화면 검증도 완료 기준을 가져야 한다

  브라우저나 Computer Use를 썼다면 완료 보고는 "잘 보입니다"로 끝나면 안 된다. 최소한 다음을 분리해야 한다.

  • 어떤 URL이나 앱 화면을 열었는가

  • 어떤 viewport나 계정 상태에서 봤는가

  • 어떤 버튼, 입력, 전환을 실행했는가

  • 콘솔 오류나 네트워크 실패가 있었는가

  • 자동 테스트와 화면 검증 중 무엇이 각각 통과했는가

  • 민감한 액션을 어디서 멈췄는가

  이 기준이 있으면 화면 도구가 감상평이 아니라 검증 절차가 된다.

  6. 권한이 커질수록 사람이 봐야 할 지점도 늘어난다

  공식 Computer Use 안전 안내는 화면 내용, 브라우저 페이지, 스크린샷, 열린 파일이 Codex가 처리할 수 있는 컨텍스트가 된다고 설명한다. 따라서 민감 앱은 닫아 두고, 계정, 보안, 개인정보, 결제, 자격 증명 관련 흐름은 사람이 있는 상태에서만 진행하는 편이 맞다.

  바이브코딩에서 중요한 기준은 단순하다. 코덱스에게 화면을 맡길 수는 있지만, 계정 권한이 걸린 마지막 책임까지 자동화에 넘기면 안 된다. 권한이 강한 도구일수록 작업 범위, 중지 조건, 검증 증거를 더 구체적으로 적어야 한다.

  Senior takeaway: 코덱스의 화면 도구는 테스트의 대체재가 아니라 검증의 마지막 한 칸이다. 로컬 웹은 in-app browser, 로그인 세션은 Chrome extension, 브라우저 밖 GUI는 Computer Use로 나누고, 각 작업을 재현 경로와 증거 중심으로 닫으면 "코드상 통과"와 "실제 사용자 화면 통과" 사이의 빈틈을 줄일 수 있다.

• 콘솔 오류, 레이아웃 깨짐, 빈 화면 여부를 확인한다.

• 스크린샷이나 관찰 결과를 완료 보고에 남긴다.

이 흐름은 Chrome 프로필이나 계정 세션을 건드리지 않기 때문에 반복 검증에 적합하다.

3. 로그인 상태가 필요하면 Chrome extension을 쓴다

사내 도구, CMS, 결제 관리 화면, 커뮤니티 글쓰기처럼 로그인된 브라우저 상태가 필요한 작업은 Chrome extension이 맞다. 공식 문서 기준으로 Chrome extension은 Codex가 사용자의 signed-in browser state가 필요한 사이트에서 Chrome을 사용할 수 있게 해준다.

다만 Chrome은 더 강한 권한이다. 페이지 내용은 신뢰할 수 없는 컨텍스트로 취급해야 하고, 새 웹사이트를 사용할 때는 Codex의 사이트 승인 프롬프트와 allowlist, blocklist를 확인해야 한다. 로그인된 사이트의 클릭과 제출은 실제 계정 액션이기 때문이다.

좋은 프롬프트는 범위를 닫아 둔다.

@Chrome DAKER 글쓰기 화면에서 이 HTML 초안을 게시해줘.
새 탭은 DAKER만 사용하고, 결제/계정/보안 설정 화면으로 이동하면 멈춰.
게시 후 공개 API와 바이브코딩 목록에서 글이 보이는지 확인해줘.

4. 브라우저 밖 GUI는 Computer Use로 좁게 맡긴다

Computer Use는 코덱스가 macOS나 Windows의 그래픽 인터페이스를 보고 조작하는 기능이다. 공식 문서 기준으로 데스크톱 앱 확인, 브라우저 사용, 앱 설정 변경, GUI에서만 재현되는 버그 확인처럼 명령줄이나 구조화된 통합만으로 부족한 작업에 적합하다.

반대로 모든 일을 Computer Use로 보내면 추적이 어려워진다. 파일 편집, 테스트, API 호출, 데이터 조회는 먼저 shell, 플러그인, MCP 같은 구조화된 도구로 처리하고, 화면에서만 확인 가능한 마지막 부분을 Computer Use로 맡긴다.