Computer Use
Computer Use
ChatGPT が作業中にデスクトップアプリを使用できるようにします
Computer Use はプロジェクトのワークスペース外にあるアプリやシステムの状態に影響を与える可能性があるため、範囲を限定したタスクに使用し、続行する前に権限の確認メッセージを確認してください。
Computer Use を設定する
ChatGPT デスクトップアプリで ChatGPT を選択し、切り替えメニューから Work に切り替えるか、 Codex を選択します。Plugins > Computer Use を開き、求められた場合は Install plugin を選択します。ChatGPT に Enable と表示された場合は、それを選択してください。Computer Use のサーバーとスキルのトグルをオンにしてから、Try now を選択して開始します。
Try now
次に、Settings > Computer use を開いてアプリへのアクセスを確認します。接続済みブラウザのコントロールには Manage アクションが表示されます。今後のタスクでの使用を承認したアプリは、 Always-allowed apps セクションに表示されます。
Windows では、タスクの実行中、対象アプリをアクティブなデスクトップに表示したままにしてください。 macOS では、ChatGPT が対象アプリを認識して操作できるように、求められたときに画面収録とアクセシビリティの権限を付与してください。
macOS では、次の権限を付与します。
- ChatGPT が対象アプリを認識できるようにする 画面収録 権限。
- ChatGPT がクリック、入力、移動を行えるようにする アクセシビリティ 権限。
Computer Use を使用する場面
スクリーンショットや視覚的な判断が必要な難しいタスクでは、モデル選択画面でGPT-6 Astra を利用できる場合は選択してください。プラグインの設定、オペレーティングシステムの権限、アプリのアクセス制御は同じものが適用されます。
ファイルやコマンド出力だけでは検証しにくいグラフィカルユーザーインターフェースに依存するタスクでは、Computer Use を選択してください。
適している用途は次のとおりです。
- ChatGPT が構築している macOS アプリ、Windows アプリ、iOS シミュレーターのフロー、またはその他のデスクトップアプリをテストする。
- Web ブラウザが必要なタスクを実行する。
- グラフィカルインターフェースでのみ発生するバグを再現する。
- UI 上での操作が必要なアプリ設定を変更する。
- プラグインから利用できないアプリやデータソースの情報を調査する。
- macOS で、別の作業を続けながら、範囲を限定したタスクをバックグラウンドで実行する。
- 複数のアプリにまたがるワークフローを実行する。
ローカルで構築している Web アプリには、まず組み込みブラウザを使用してください。
Windows でのフォアグラウンド使用
Windows では、Computer Use はアクティブなデスクトップで動作します。同じ Windows セッションを使用し続けながらバックグラウンドで操作することはできないため、タスクの実行中は ChatGPT がポインターを動かし、入力を行い、フォアグラウンドを占有します。
席を離れている間も Windows のタスクを続行するには、Windows デバイスをロックせず、インターネットに接続したままにしてください。スマートフォンからリモートコントロールを使用して進捗を確認したり追加の指示を送ったりするか、Windows 仮想マシン内で ChatGPT デスクトップアプリを実行し、メインのデスクトップではなく VM を Computer Use が操作するようにします。
Computer Use タスクを開始する
プロンプトで @Computer または @AppName に言及するか、ChatGPT に Computer
Use を使用するよう依頼します。ChatGPT が操作すべきアプリ、ウィンドウ、またはフローを具体的に説明してください。
Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.Open @Chrome and verify the checkout page still works after the latest changes.対象アプリに専用のプラグインまたは MCP サーバーがある場合は、データアクセスや反復可能な操作にはその構造化された連携を優先してください。ChatGPT がアプリを視覚的に確認または操作する必要がある場合は、 Computer Use を選択します。
権限と承認
ワークスペース管理者は、Computer Use がアクセスできるアプリや、承認を保存できるかどうかを制限できます。管理対象ブラウザと Computer Use の制御を参照してください。
Computer Use のシステム権限は、ChatGPT 内のアプリ承認とは別です。 macOS では、画面収録とアクセシビリティの権限により、ChatGPT がアプリを認識して操作できるようになります。アプリの承認では、ChatGPT に使用を許可するアプリを指定します。ファイルの読み取り、ファイルの編集、シェルコマンドには、引き続きタスクのサンドボックスと承認の設定が適用されます。
Computer Use を使うと、ChatGPT は許可されたアプリだけを認識して操作できます。タスクの実行中、ChatGPT がコンピューター上のアプリを使用する前に、権限の付与を求めます。 Always allow を選択すると、以降は確認なしで ChatGPT がそのアプリを使用できるようになります。 ChatGPT デスクトップアプリ設定の Computer Use セクションで、 Always allow リストからアプリを削除できます。
ChatGPT がアプリを認識または操作できない場合は、macOS で System Settings > Privacy & Security を開き、Codex Computer Use の Screen Recording と Accessibility を確認してください。Windows では、対象アプリがアクティブなデスクトップセッションに表示されていることを確認します。
Windows のアプリポリシーを設定する
Windows では、Computer Use は永続的なアプリの選択内容を
$CODEX_HOME/config.toml に保存します。Computer Use が確認なしで開けるアプリを列挙します。
[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]Windows Computer Use が報告するアプリ識別子を使用します。たとえば、デスクトップアプリの実行可能ファイル名や、パッケージ化されたアプリのアプリユーザーモデル ID です。リストにないアプリについては ChatGPT が確認を求めます。保存済みの選択を取り消すには、 Settings > Computer Use > Always allow からアプリを削除します。
このテーブルには Computer Use のローカルな選択内容が保存されます。これは、管理者が
[features].computer_use = false を使用して Computer
Use を無効化できる、管理者によって適用される requirements.toml とは別です。古い
$CODEX_HOME/computer-use/config.toml の許可リストのエントリは現在の設定に移行されますが、その denied リストは現在のポリシースキーマには含まれません。
ロック中の使用
ロック中の使用を有効にすると、Mac のロック後も ChatGPT が Computer Use を使用できます。 Mac のロック後に、接続済みデバイスから ChatGPT タスクでデスクトップアプリを使用する必要がある場合に利用してください。ロック中の使用を有効にすると、ChatGPT は macOS のロック解除フローに関与する Apple の認証プラグインをインストールします。
ロック中の使用は、意図的に用途を限定しています。Mac を汎用的にリモートからロック解除するための手段ではなく、他のアプリやローカルプロセスがコンピューターをロック解除できるようにするものでもありません。
ロック中の使用を利用するには、次の手順に従います。
- アプリで Settings > Computer Use を開きます。
- ロック中の使用を有効にします。
- Mac の画面がロックされた後、接続済みデバイスから Computer Use を使用するタスクを開始します。
Mac のロック後に ChatGPT タスクが Computer Use を介してアプリにアクセスすると、ChatGPT はロック画面の保護を維持し、ローカルでの使用を遮断しながら、一時的に Mac のロックを解除します。ロックを解除する前に、その解除試行がアクティブかつ信頼済みの Computer Use ターンのためのものかどうかを ChatGPT が確認します。その短い有効期間外では、ChatGPT はロック解除を拒否し、必要に応じて手動でロックを解除するよう求めます。
ロック中の使用には、次の安全対策が含まれます。
- 認証ウィンドウの有効期間は短く、現在のロック解除試行に限定されます。
- 自動ロック解除は、Computer Use のアクティブなターン中の ChatGPT だけが利用できます。
- デスクトップが一時的にロック解除されている間、ChatGPT がすべてのディスプレイを覆います。
- ChatGPT がローカルのキーボードまたはポインター入力を検出すると、Mac を再ロックし、ユーザーが手動でロック解除するまで自動ロック解除を一時停止します。
安全に使用するためのガイド
Computer Use を使うと、ChatGPT は画面の内容を表示し、スクリーンショットを撮影し、対象アプリのウィンドウ、メニュー、キーボード入力、クリップボードの状態を操作できます。表示されているアプリの内容、ブラウザページ、スクリーンショット、対象アプリで開いたファイルは、タスクの実行中に ChatGPT が処理する可能性のあるコンテキストとして扱ってください。
タスクの範囲を狭く保ち、機密性の高いフローではその場を離れないでください。
- ChatGPT に指定する対象アプリまたはフローは、一度に 1 つにします。
- いつでもタスクを停止したり、コンピューターの操作を引き継いだりできます。
- タスクに必要な場合を除き、機密性の高いアプリは閉じておきます。
- Windows では、作業中に ChatGPT がフォアグラウンド入力を占有することを想定してください。別のデバイスや VM を使用するか、そのデスクトップを自分で使う前にタスクを停止してください。
- シークレットを必要とするタスクは、その場で各手順を承認できる場合を除き避けてください。
- ChatGPT にアプリの使用を許可する前に、アプリの権限確認メッセージを確認してください。
- Always allow は、今後のタスクで ChatGPT に自動使用させてもよいと信頼できるアプリにのみ使用してください。
- アカウント、セキュリティ、プライバシー、ネットワーク、支払い、または認証情報に関する設定を扱う際は、その場を離れないでください。
- ChatGPT が誤ったウィンドウを操作し始めた場合は、タスクをキャンセルしてください。
ChatGPT がブラウザを使用する場合、すでにログインしているページを操作できます。 Web サイト上の操作は、自分で行う場合と同様に確認してください。Web ページには悪意のある内容や誤解を招く内容が含まれる可能性があり、サイトは承認済みのクリック、フォーム送信、ログイン中の操作を、あなたのアカウントから行われたものとして扱う場合があります。ChatGPT の作業中もブラウザを使い続けるには、別のブラウザを使用するよう ChatGPT に依頼してください。
この機能では、ターミナルアプリや ChatGPT 自体を自動操作できません。それらを自動操作すると ChatGPT のセキュリティポリシーを回避できる可能性があるためです。また、管理者として認証したり、コンピューター上のセキュリティやプライバシーに関する権限確認メッセージを承認したりすることもできません。
該当する場合、ファイル編集とシェルコマンドには引き続き ChatGPT の承認設定とサンドボックス設定が適用されます。デスクトップアプリを通じて加えた変更は、ディスクに保存されてプロジェクトで追跡されるまで、レビューペインに表示されない場合があります。ChatGPT のデータ管理設定は、Computer Use が撮影したスクリーンショットを含め、 ChatGPT を介して処理されるコンテンツに適用されます。