ChatGPT 문서
한국어
문의 goolvyouyou@gmail.com

Computer Use

ChatGPT가 작업하는 동안 데스크톱 앱을 사용하도록 허용합니다

Computer Use를 사용하면 ChatGPT가 macOS 또는 Windows의 그래픽 사용자 인터페이스를 보고 조작할 수 있습니다. 데스크톱 앱 확인, 브라우저 사용, 앱 설정 변경, 플러그인으로 제공되지 않는 데이터 소스 작업 또는 그래픽 사용자 인터페이스에서만 발생하는 버그 재현처럼 명령줄 도구나 구조화된 통합만으로 충분하지 않은 작업에 사용하세요.

Computer Use는 프로젝트 작업 공간 외부의 앱 및 시스템 상태에 영향을 줄 수 있으므로 범위가 명확한 작업에 사용하고, 계속하기 전에 권한 요청을 검토하세요.

Computer Use 설정

ChatGPT 데스크톱 앱에서 ChatGPT를 선택하고 전환기에서 Work로 전환하거나 Codex를 선택하세요. Plugins > Computer Use를 열고 메시지가 표시되면 Install plugin을 선택하세요. ChatGPT에 Enable이 표시되면 선택하세요. Computer Use 서버 및 스킬 토글을 켠 다음 Try now를 선택하여 시작하세요.

그런 다음 Settings > Computer use를 열어 앱 접근 권한을 검토하세요. 연결된 브라우저 컨트롤에는 Manage 작업이 표시됩니다. 향후 작업에 사용하도록 승인한 앱은 Always-allowed apps 섹션에 표시됩니다.

Windows에서는 작업이 실행되는 동안 대상 앱이 활성 데스크톱에 보이도록 유지하세요. macOS에서는 메시지가 표시될 때 화면 기록 및 손쉬운 사용 권한을 부여하여 ChatGPT가 대상 앱을 보고 상호작용할 수 있도록 하세요.

macOS에서는 다음 권한을 부여하세요.

  • ChatGPT가 대상 앱을 볼 수 있도록 화면 기록 권한을 부여합니다.
  • ChatGPT가 클릭하고 입력하며 탐색할 수 있도록 손쉬운 사용 권한을 부여합니다.

Computer Use를 사용해야 하는 경우

파일이나 명령 출력만으로 확인하기 어려운 그래픽 사용자 인터페이스에 작업이 의존하는 경우 Computer Use를 선택하세요.

적합한 사용 사례는 다음과 같습니다.

  • ChatGPT가 빌드 중인 macOS 앱, Windows 앱, iOS 시뮬레이터 흐름 또는 기타 데스크톱 앱을 테스트하는 경우
  • 웹 브라우저가 필요한 작업을 수행하는 경우
  • 그래픽 인터페이스에서만 나타나는 버그를 재현하는 경우
  • UI를 클릭하여 이동해야 하는 앱 설정을 변경하는 경우
  • 플러그인을 통해 사용할 수 없는 앱이나 데이터 소스의 정보를 살펴보는 경우
  • macOS에서 다른 작업을 계속하는 동안 범위가 명확한 작업을 백그라운드에서 실행하는 경우
  • 두 개 이상의 앱에 걸친 워크플로를 실행하는 경우

로컬에서 빌드 중인 웹 앱에는 먼저 내장 브라우저를 사용하세요.

Windows 포그라운드 사용

Windows에서 Computer Use는 활성 데스크톱에서 실행됩니다. 같은 Windows 세션을 계속 사용하는 동안에는 백그라운드에서 작동할 수 없으므로, 작업이 실행되는 동안 ChatGPT가 포인터를 움직이고 입력하며 포그라운드를 제어하게 됩니다.

자리를 비운 동안에도 계속 실행해야 하는 Windows 작업의 경우 Windows 기기를 잠금 해제된 상태로 인터넷에 연결해 두세요. 휴대전화에서 원격 제어를 사용해 진행 상황을 확인하거나 후속 지침을 보내세요. 또는 Windows 가상 머신 안에서 ChatGPT 데스크톱 앱을 실행하여 Computer Use가 기본 데스크톱 대신 VM을 제어하도록 하세요.

Computer Use 작업 시작

프롬프트에서 @Computer 또는 @AppName을 언급하거나 ChatGPT에 Computer Use를 사용하도록 요청하세요. ChatGPT가 조작해야 할 정확한 앱, 창 또는 흐름을 설명하세요.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

대상 앱이 전용 플러그인이나 MCP 서버를 제공하는 경우 데이터 접근과 반복 가능한 작업에는 해당 구조화된 통합을 우선 사용하세요. ChatGPT가 앱을 시각적으로 살펴보거나 조작해야 할 때 Computer Use를 선택하세요.

권한 및 승인

Computer Use의 시스템 권한은 ChatGPT의 앱 승인과 별개입니다. macOS에서는 화면 기록 및 손쉬운 사용 권한을 통해 ChatGPT가 앱을 보고 조작할 수 있습니다. 앱 승인은 ChatGPT가 사용하도록 허용할 앱을 결정합니다. 파일 읽기, 파일 편집 및 셸 명령에는 여전히 작업의 샌드박스 및 승인 설정이 적용됩니다.

Computer Use를 사용할 때 ChatGPT는 사용자가 허용한 앱에서만 내용을 보고 작업을 수행할 수 있습니다. 작업 중에 ChatGPT가 컴퓨터의 앱을 사용하려면 먼저 사용자의 권한을 요청합니다. Always allow를 선택하면 ChatGPT가 나중에 다시 묻지 않고 해당 앱을 사용할 수 있습니다. ChatGPT 데스크톱 앱 설정의 Computer Use 섹션에서 Always allow 목록의 앱을 제거할 수 있습니다.

Computer Use로 계산기를 사용하기 위한 권한을 요청하는 ChatGPT 데스크톱 앱

ChatGPT는 민감하거나 중단을 유발할 수 있는 작업을 수행하기 전에 권한을 요청할 수도 있습니다.

ChatGPT가 앱을 보거나 제어할 수 없다면 macOS에서 System Settings > Privacy & Security를 열고 Codex Computer Use의 Screen Recording 및 Accessibility를 확인하세요. Windows에서는 대상 앱이 활성 데스크톱 세션에 표시되는지 확인하세요.

Windows 앱 정책 구성

Windows에서 Computer Use는 지속적인 앱 결정을 $CODEX_HOME/config.toml에 저장합니다. Computer Use가 메시지를 표시하지 않고 열 수 있는 앱을 나열하세요.

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

데스크톱 앱의 실행 파일 이름이나 패키징된 앱의 앱 사용자 모델 ID처럼 Windows Computer Use가 보고하는 앱 식별자를 사용하세요. ChatGPT는 목록에 없는 앱에 대해 권한을 요청합니다. 저장된 결정을 취소하려면 Settings > Computer Use > Always allow에서 해당 앱을 제거하세요.

이 표에는 로컬 Computer Use 결정이 저장됩니다. 관리자가 적용하는 requirements.toml과는 별개이며, 관리자는 여기에서 [features].computer_use = false을 사용해 Computer Use를 비활성화할 수 있습니다. 이전 $CODEX_HOME/computer-use/config.toml 허용 목록 항목은 현재 설정으로 마이그레이션되며, 해당 설정의 denied 목록은 현재 정책 스키마에 포함되지 않습니다.

잠금 상태에서 사용

잠금 상태에서 사용 기능을 활성화하면 Mac이 잠긴 후에도 ChatGPT가 Computer Use를 사용할 수 있습니다. Mac이 잠긴 후 연결된 기기에서 시작한 ChatGPT 작업이 데스크톱 앱을 사용해야 할 때 이 기능을 사용하세요.

잠금 상태에서 사용 기능을 활성화하면 ChatGPT는 macOS 잠금 해제 흐름에 관여하는 Apple 인증 플러그인을 설치합니다.

잠금 상태에서 사용 기능은 의도적으로 범위가 제한되어 있습니다. Mac을 원격으로 잠금 해제하기 위한 범용 수단이 아니며, 다른 앱이나 로컬 프로세스가 컴퓨터의 잠금을 해제하도록 허용하지도 않습니다.

잠금 상태에서 사용하려면 다음 단계를 따르세요.

  1. 앱에서 Settings > Computer Use를 엽니다.
  2. 잠금 상태에서 사용 기능을 활성화합니다.
  3. Mac 화면이 잠긴 후 연결된 기기에서 Computer Use를 사용하는 작업을 시작합니다.

Mac이 잠긴 후 ChatGPT 작업이 Computer Use를 통해 앱에 접근하면 ChatGPT는 로컬 사용을 차단하고 잠금 화면 보호 기능을 유지하면서 Mac의 잠금을 일시적으로 해제합니다. 잠금을 해제하기 전에 ChatGPT는 잠금 해제 시도가 활성 상태이며 신뢰할 수 있는 Computer Use 실행에 해당하는지 확인합니다. 이 짧은 유효 시간 외에는 ChatGPT가 잠금 해제를 거부하고 필요한 경우 사용자가 직접 잠금을 해제하도록 요청합니다.

잠금 상태에서 사용 기능에는 다음과 같은 보호 장치가 포함됩니다.

  • 인증 유효 시간은 짧으며 현재 잠금 해제 시도로 범위가 제한됩니다.
  • 자동 잠금 해제는 활성 Computer Use 실행 중인 ChatGPT에만 제공됩니다.
  • 데스크톱의 잠금이 일시적으로 해제되는 동안 ChatGPT가 모든 디스플레이를 가립니다.
  • ChatGPT가 로컬 키보드 또는 포인터 입력을 감지하면 Mac을 다시 잠그고 사용자가 직접 잠금을 해제할 때까지 자동 잠금 해제를 일시 중지합니다.

안전 지침

Computer Use를 사용하면 ChatGPT가 대상 앱의 화면 콘텐츠를 보고, 스크린샷을 찍고, 창, 메뉴, 키보드 입력 및 클립보드 상태와 상호작용할 수 있습니다. 표시된 앱 콘텐츠, 브라우저 페이지, 스크린샷 및 대상 앱에서 연 파일은 작업 실행 중 ChatGPT가 처리할 수 있는 컨텍스트로 간주하세요.

작업 범위를 좁게 유지하고 민감한 흐름에서는 자리를 지키세요.

  • ChatGPT에 한 번에 하나의 명확한 대상 앱이나 흐름을 지정하세요.
  • 언제든지 작업을 중지하거나 컴퓨터 제어권을 가져올 수 있습니다.
  • 작업에 필요하지 않은 민감한 앱은 닫아 두세요.
  • Windows에서는 ChatGPT가 작업하는 동안 포그라운드 입력을 제어한다는 점을 고려하세요. 보조 기기나 VM을 사용하거나, 해당 데스크톱을 직접 사용하기 전에 작업을 중지하세요.
  • 자리를 지키면서 각 단계를 승인할 수 있는 경우가 아니라면 비밀 정보가 필요한 작업은 피하세요.
  • ChatGPT가 앱을 사용하도록 허용하기 전에 앱 권한 요청을 검토하세요.
  • 향후 작업에서 ChatGPT가 자동으로 사용해도 된다고 신뢰하는 앱에만 Always allow를 사용하세요.
  • 계정, 보안, 개인정보 보호, 네트워크, 결제 또는 자격 증명 관련 설정을 다룰 때는 자리를 지키세요.
  • ChatGPT가 잘못된 창과 상호작용하기 시작하면 작업을 취소하세요.

ChatGPT가 브라우저를 사용하면 이미 로그인된 페이지와 상호작용할 수 있습니다. 웹사이트 작업을 직접 수행하는 것처럼 검토하세요. 웹 페이지에는 악의적이거나 오해를 유발하는 콘텐츠가 포함될 수 있으며, 사이트에서는 승인된 클릭, 양식 제출 및 로그인 상태에서 수행된 작업을 사용자 계정에서 발생한 것으로 간주할 수 있습니다. ChatGPT가 작업하는 동안 브라우저를 계속 사용하려면 ChatGPT에 다른 브라우저를 사용하도록 요청하세요.

터미널 앱이나 ChatGPT 자체를 자동화하면 ChatGPT 보안 정책을 우회할 수 있으므로 이 기능으로는 자동화할 수 없습니다. 또한 관리자 권한으로 인증하거나 컴퓨터의 보안 및 개인정보 보호 권한 요청을 승인할 수도 없습니다.

해당하는 경우 파일 편집 및 셸 명령에는 여전히 ChatGPT 승인 및 샌드박스 설정이 적용됩니다. 데스크톱 앱에서 변경한 내용은 디스크에 저장되고 프로젝트에서 추적될 때까지 검토 창에 표시되지 않을 수 있습니다. Computer Use가 촬영한 스크린샷을 포함하여 ChatGPT를 통해 처리되는 콘텐츠에는 사용자의 ChatGPT 데이터 제어 설정이 적용됩니다.