ChatGPT 문서
한국어
문의 goolvyouyou@gmail.com

Computer Use

Computer Use

작업하는 동안 ChatGPT가 데스크톱 앱을 사용하도록 하세요

Computer Use를 사용하면 ChatGPT가 macOS 또는 Windows의 그래픽 사용자 인터페이스를 보고 조작할 수 있습니다. 데스크톱 앱 확인, 브라우저 사용, 앱 설정 변경, 플러그인으로 제공되지 않는 데이터 소스 작업 또는 그래픽 사용자 인터페이스에서만 발생하는 버그 재현처럼 명령줄 도구나 구조화된 통합만으로는 충분하지 않은 작업에 사용하세요.

Computer Use는 프로젝트 작업 공간 외부의 앱 및 시스템 상태에 영향을 줄 수 있으므로, 범위가 명확한 작업에 사용하고 계속하기 전에 권한 요청을 검토하세요.

Computer Use 설정

ChatGPT 데스크톱 앱에서 ChatGPT를 선택한 후 전환기에서 Work로 전환하거나 Codex를 선택하세요. Plugins > Computer Use를 열고 메시지가 표시되면 Install plugin을 선택하세요. ChatGPT에 Enable이 표시되면 이를 선택하세요. Computer Use 서버 및 스킬 토글을 켠 다음 Try now를 선택하여 시작하세요.

그런 다음 Settings > Computer use를 열어 앱 접근 권한을 검토하세요. 연결된 브라우저 컨트롤에는 Manage 작업이 표시됩니다. 향후 작업에 사용하도록 승인한 앱은 Always-allowed apps 섹션에 표시됩니다.

Windows에서는 작업이 실행되는 동안 대상 앱이 활성 데스크톱에 보이도록 유지하세요. macOS에서는 ChatGPT가 대상 앱을 보고 상호 작용할 수 있도록 메시지가 표시될 때 화면 기록 및 손쉬운 사용 권한을 부여하세요.

macOS에서는 다음 권한을 부여하세요.

  • ChatGPT가 대상 앱을 볼 수 있도록 Screen Recording 권한을 부여합니다.
  • ChatGPT가 클릭하고 입력하고 탐색할 수 있도록 Accessibility 권한을 부여합니다.

Computer Use를 사용해야 하는 경우

스크린샷이나 시각적 판단이 필요한 어려운 작업에는 모델 선택기에서 사용할 수 있는 경우 GPT-6 Astra를 선택하세요. 동일한 플러그인 설정, 운영 체제 권한 및 앱 접근 컨트롤이 적용됩니다.

파일이나 명령 출력만으로 확인하기 어려운 그래픽 사용자 인터페이스가 필요한 작업에는 Computer Use를 선택하세요.

적합한 작업은 다음과 같습니다.

  • ChatGPT가 빌드 중인 macOS 앱, Windows 앱, iOS 시뮬레이터 흐름 또는 기타 데스크톱 앱을 테스트합니다.
  • 웹 브라우저가 필요한 작업을 수행합니다.
  • 그래픽 인터페이스에서만 나타나는 버그를 재현합니다.
  • UI에서 여러 항목을 클릭해야 하는 앱 설정을 변경합니다.
  • 플러그인을 통해 사용할 수 없는 앱이나 데이터 소스의 정보를 검사합니다.
  • macOS에서 다른 작업을 계속하는 동안 범위가 명확한 작업을 백그라운드에서 실행합니다.
  • 둘 이상의 앱에 걸친 워크플로를 실행합니다.

로컬에서 빌드 중인 웹 앱에는 먼저 내장 브라우저를 사용하세요.

Windows 포그라운드 사용

Windows에서 Computer Use는 활성 데스크톱에서 실행됩니다. 동일한 Windows 세션을 계속 사용하는 동안 백그라운드에서 작동할 수 없으므로, 작업이 실행되는 동안 ChatGPT가 포인터를 움직이고 입력하며 포그라운드를 제어하게 됩니다.

자리를 비운 동안에도 계속되어야 하는 Windows 작업의 경우 Windows 기기를 잠금 해제된 상태로 인터넷에 연결해 두세요. 휴대전화에서 원격 제어를 사용하여 진행 상황을 확인하거나 후속 지침을 보내세요. 또는 Windows 가상 머신 내에서 ChatGPT 데스크톱 앱을 실행하여 Computer Use가 기본 데스크톱 대신 VM을 제어하도록 하세요.

Computer Use 작업 시작

프롬프트에서 @Computer 또는 @AppName을 언급하거나 ChatGPT에 Computer Use를 사용하도록 요청하세요. ChatGPT가 조작해야 하는 정확한 앱, 창 또는 흐름을 설명하세요.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

대상 앱에서 전용 플러그인이나 MCP 서버를 제공하는 경우 데이터 접근 및 반복 가능한 작업에는 해당 구조화된 통합을 우선 사용하세요. ChatGPT가 앱을 시각적으로 검사하거나 조작해야 할 때 Computer Use를 선택하세요.

권한 및 승인

워크스페이스 관리자는 Computer Use가 접근할 수 있는 앱과 승인을 저장할 수 있는지를 제한할 수 있습니다. 관리형 브라우저 및 Computer Use 컨트롤을 참조하세요.

Computer Use의 시스템 권한은 ChatGPT의 앱 승인과 별개입니다. macOS에서는 화면 기록 및 손쉬운 사용 권한을 통해 ChatGPT가 앱을 보고 조작할 수 있습니다. 앱 승인은 ChatGPT가 사용하도록 허용할 앱을 결정합니다. 파일 읽기, 파일 편집 및 셸 명령에는 작업의 샌드박스 및 승인 설정이 계속 적용됩니다.

Computer Use를 사용할 때 ChatGPT는 사용자가 허용한 앱만 보고 작업을 수행할 수 있습니다. 작업 중 ChatGPT가 컴퓨터의 앱을 사용하려면 먼저 사용자에게 권한을 요청합니다. Always allow를 선택하면 ChatGPT가 나중에 다시 묻지 않고 해당 앱을 사용할 수 있습니다. ChatGPT 데스크톱 앱 설정의 Computer Use 섹션에 있는 Always allow 목록에서 앱을 제거할 수 있습니다.

ChatGPT는 민감하거나 중단을 유발할 수 있는 작업을 수행하기 전에도 권한을 요청할 수 있습니다.

ChatGPT가 앱을 보거나 제어할 수 없다면 macOS에서 System Settings > Privacy & Security를 열고 Codex Computer Use의 Screen Recording 및 Accessibility를 확인하세요. Windows에서는 대상 앱이 활성 데스크톱 세션에 표시되는지 확인하세요.

Windows 앱 정책 구성

Windows에서 Computer Use는 영구 앱 결정을 $CODEX_HOME/config.toml에 저장합니다. Computer Use가 메시지를 표시하지 않고 열 수 있는 앱을 나열하세요.

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

데스크톱 앱의 실행 파일 이름이나 패키지 앱의 앱 사용자 모델 ID처럼 Windows Computer Use가 보고하는 앱 식별자를 사용하세요. 목록에 없는 앱에 대해서는 ChatGPT가 권한을 요청합니다. 저장된 결정을 취소하려면 Settings > Computer Use > Always allow에서 앱을 제거하세요.

이 표에는 로컬 Computer Use 결정이 저장됩니다. 관리자가 적용하는 requirements.toml과는 별개이며, 관리자는 여기에서 [features].computer_use = false을 사용해 Computer Use를 비활성화할 수 있습니다. 이전 $CODEX_HOME/computer-use/config.toml 허용 목록 항목은 현재 설정으로 마이그레이션됩니다. 해당 항목의 denied 목록은 현재 정책 스키마에 포함되지 않습니다.

잠금 상태에서 사용

잠금 상태에서 사용 기능을 활성화하면 Mac이 잠긴 후에도 ChatGPT가 Computer Use를 사용할 수 있습니다. Mac이 잠긴 후 연결된 기기에서 시작한 ChatGPT 작업이 데스크톱 앱을 사용해야 할 때 이 기능을 사용하세요.

잠금 상태에서 사용 기능을 활성화하면 ChatGPT가 macOS 잠금 해제 흐름에 참여하는 Apple 인증 플러그인을 설치합니다.

잠금 상태에서 사용 기능은 의도적으로 제한된 범위에서만 작동합니다. Mac을 위한 범용 원격 잠금 해제 수단이 아니며, 다른 앱이나 로컬 프로세스가 컴퓨터의 잠금을 해제하도록 허용하지 않습니다.

잠금 상태에서 사용하려면 다음 단계를 따르세요.

  1. 앱에서 Settings > Computer Use를 엽니다.
  2. 잠금 상태에서 사용 기능을 활성화합니다.
  3. Mac 화면이 잠긴 후 연결된 기기에서 Computer Use를 사용하는 작업을 시작합니다.

Mac이 잠긴 후 ChatGPT 작업이 Computer Use를 통해 앱에 접근하면 ChatGPT는 로컬 사용을 차단하고 잠금 화면 보호 기능을 유지하면서 Mac을 일시적으로 잠금 해제합니다. 잠금을 해제하기 전에 ChatGPT는 잠금 해제 시도가 활성 상태의 신뢰할 수 있는 Computer Use 턴을 위한 것인지 확인합니다. 이 짧은 유효 시간 외에는 ChatGPT가 잠금 해제를 거부하고 필요한 경우 수동으로 잠금을 해제하도록 요청합니다.

잠금 상태에서 사용 기능에는 다음과 같은 보호 조치가 포함됩니다.

  • 인증 창은 짧은 시간 동안만 유효하며 현재 잠금 해제 시도로 범위가 제한됩니다.
  • 자동 잠금 해제는 활성 Computer Use 턴 중인 ChatGPT에서만 사용할 수 있습니다.
  • 데스크톱이 일시적으로 잠금 해제된 동안 ChatGPT가 모든 디스플레이를 가립니다.
  • ChatGPT가 로컬 키보드 또는 포인터 입력을 감지하면 Mac을 다시 잠그고 사용자가 수동으로 잠금을 해제할 때까지 자동 잠금 해제를 일시 중지합니다.

안전 지침

Computer Use를 사용하면 ChatGPT가 대상 앱에서 화면 콘텐츠를 보고, 스크린샷을 촬영하며, 창, 메뉴, 키보드 입력 및 클립보드 상태와 상호 작용할 수 있습니다. 표시된 앱 콘텐츠, 브라우저 페이지, 스크린샷 및 대상 앱에서 연 파일은 작업 실행 중 ChatGPT가 처리할 수 있는 컨텍스트로 간주하세요.

작업 범위를 좁게 유지하고 민감한 흐름이 진행될 때는 자리를 지키세요.

  • ChatGPT에는 한 번에 하나의 명확한 대상 앱이나 흐름을 지정하세요.
  • 언제든지 작업을 중지하거나 컴퓨터 제어권을 가져올 수 있습니다.
  • 작업에 필요하지 않다면 민감한 앱은 닫아 두세요.
  • Windows에서는 ChatGPT가 작업하는 동안 포그라운드 입력을 제어하게 됩니다. 보조 기기나 VM을 사용하거나, 해당 데스크톱을 직접 사용하기 전에 작업을 중지하세요.
  • 사용자가 자리를 지키며 각 단계를 승인할 수 있는 경우가 아니라면 보안 비밀이 필요한 작업을 피하세요.
  • ChatGPT가 앱을 사용하도록 허용하기 전에 앱 권한 요청을 검토하세요.
  • 향후 작업에서 ChatGPT가 자동으로 사용해도 된다고 신뢰하는 앱에만 Always allow를 사용하세요.
  • 계정, 보안, 개인정보 보호, 네트워크, 결제 또는 자격 증명 관련 설정을 다룰 때는 자리를 지키세요.
  • ChatGPT가 잘못된 창과 상호 작용하기 시작하면 작업을 취소하세요.

ChatGPT가 브라우저를 사용하면 이미 로그인한 페이지와 상호 작용할 수 있습니다. 웹사이트 작업을 직접 수행하는 것처럼 검토하세요. 웹 페이지에는 악의적이거나 오해를 유발하는 콘텐츠가 포함될 수 있으며, 사이트에서는 승인된 클릭, 양식 제출 및 로그인 상태에서의 작업을 사용자 계정에서 수행한 것으로 간주할 수 있습니다. ChatGPT가 작업하는 동안 브라우저를 계속 사용하려면 ChatGPT에 다른 브라우저를 사용하도록 요청하세요.

터미널 앱이나 ChatGPT 자체를 자동화하면 ChatGPT 보안 정책을 우회할 수 있으므로 이 기능으로는 이를 자동화할 수 없습니다. 또한 관리자 권한으로 인증하거나 컴퓨터의 보안 및 개인정보 보호 권한 요청을 승인할 수도 없습니다.

해당되는 경우 파일 편집 및 셸 명령에는 ChatGPT의 승인 및 샌드박스 설정이 계속 적용됩니다. 데스크톱 앱을 통해 변경한 내용은 디스크에 저장되고 프로젝트에서 추적되기 전까지 검토 창에 나타나지 않을 수 있습니다. Computer Use가 촬영한 스크린샷을 포함하여 ChatGPT를 통해 처리되는 콘텐츠에는 사용자의 ChatGPT 데이터 컨트롤이 적용됩니다.