Computer Use

Computer Use を使うと、ChatGPT は macOS または Windows のグラフィカルユーザーインターフェースを表示して操作できます。コマンドラインツールや構造化された連携だけでは対応できないタスクに使用してください。たとえば、デスクトップアプリの確認、ブラウザの使用、アプリ設定の変更、プラグインとして利用できないデータソースの操作、グラフィカルユーザーインターフェースでのみ発生するバグの再現などに適しています。

Computer Use はプロジェクトのワークスペース外にあるアプリやシステムの状態にも影響を与える可能性があるため、対象範囲を限定したタスクに使用し、続行する前に権限を求めるプロンプトを確認してください。

Computer Use を設定する

ChatGPT デスクトップアプリで ChatGPT を選択し、切り替えメニューで Work に切り替えるか、 Codex を選択します。Plugins > Computer Use を開き、表示された場合は Install plugin を選択します。ChatGPT に Enable と表示された場合は、それを選択してください。Computer Use のサーバーとスキルのトグルをオンにしてから、Try now を選択して開始します。

次に、Settings > Computer use を開いてアプリへのアクセスを確認します。接続済みブラウザのコントロールには Manage アクションが表示されます。今後のタスクでの使用を許可したアプリは、 Always-allowed apps セクションに表示されます。

Windows では、タスクの実行中、対象アプリをアクティブなデスクトップ上に表示したままにしてください。 macOS では、ChatGPT が対象アプリを表示して操作できるよう、求められたら画面収録とアクセシビリティの権限を許可してください。

macOS では、以下を許可します。

• ChatGPT が対象アプリを表示できるようにする Screen Recording 権限。
• ChatGPT がクリック、入力、移動を行えるようにする Accessibility 権限。

Computer Use を使用する場面

ファイルやコマンド出力だけでは確認しにくいグラフィカルユーザーインターフェースにタスクが依存する場合は、Computer Use を選択してください。

適している用途は次のとおりです。

• ChatGPT が構築している macOS アプリ、Windows アプリ、iOS シミュレーターのフロー、またはその他のデスクトップアプリをテストする。
• Web ブラウザを必要とするタスクを実行する。
• グラフィカルインターフェースでのみ発生するバグを再現する。
• UI の操作が必要なアプリ設定を変更する。
• プラグインから利用できないアプリまたはデータソースの情報を調査する。
• macOS で、別の作業を続けながら対象範囲を限定したタスクをバックグラウンドで実行する。
• 複数のアプリにまたがるワークフローを実行する。

ローカルで構築している Web アプリには、まず 組み込みブラウザを使用してください。

Windows でのフォアグラウンド使用

Windows では、Computer Use はアクティブなデスクトップ上で実行されます。同じ Windows セッションを使い続けながらバックグラウンドで操作することはできないため、タスクの実行中は ChatGPT がポインターを移動し、入力を行い、フォアグラウンドの操作を引き継ぎます。

席を離れている間も続行する Windows タスクでは、Windows デバイスをロックせず、インターネットに接続したままにしてください。スマートフォンから リモートコントロールを使用して進捗を確認したり追加の指示を送信したりするか、Windows 仮想マシン内で ChatGPT デスクトップアプリを実行して、メインデスクトップではなく VM を Computer Use に操作させます。

Computer Use タスクを開始する

プロンプトで @Computer または @AppName に言及するか、ChatGPT に Computer Use を使用するよう依頼します。ChatGPT が操作するアプリ、ウィンドウ、またはフローを具体的に記述してください。

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.

Open @Chrome and verify the checkout page still works after the latest changes.

対象アプリに専用プラグインまたは MCP server がある場合は、データへのアクセスや再現可能な操作には、その構造化された連携を優先してください。ChatGPT がアプリを視覚的に確認または操作する必要がある場合は、Computer Use を選択します。

権限と承認

Computer Use のシステム権限は、ChatGPT 内のアプリの承認とは別のものです。 macOS では、画面収録とアクセシビリティの権限により、ChatGPT がアプリを表示して操作できるようになります。アプリの承認では、ChatGPT に使用を許可するアプリを指定します。ファイルの読み取り、ファイルの編集、シェルコマンドには、引き続きタスクのサンドボックスと承認の設定が適用されます。

Computer Use では、ChatGPT は許可されたアプリのみを表示して操作できます。タスクの実行中、ChatGPT はコンピューター上のアプリを使用する前に権限を求めます。 Always allow を選択すると、ChatGPT は今後そのアプリを再確認なしで使用できます。ChatGPT デスクトップアプリ設定の Computer Use セクションで、Always allow リストからアプリを削除できます。

ChatGPT は、機密性の高い操作や中断を伴う操作を実行する前にも権限を求める場合があります。

ChatGPT がアプリを表示または操作できない場合は、macOS で System Settings > Privacy & Security を開き、Codex Computer Use の Screen Recording と Accessibility を確認してください。Windows では、対象アプリがアクティブなデスクトップセッションに表示されていることを確認します。

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

ロック中の使用

ロック中の使用を有効にすると、Mac がロックされた後も ChatGPT が Computer Use を使用できます。 Mac がロックされた後、接続済みデバイスから開始した ChatGPT タスクでデスクトップアプリを使用する必要がある場合に利用してください。

ロック中の使用を有効にすると、ChatGPT は macOS のロック解除フローに関与する Apple の 認証プラグイン をインストールします。

ロック中の使用は意図的に用途が限定されています。Mac を汎用的にリモートでロック解除する手段ではなく、ほかのアプリやローカルプロセスがコンピューターをロック解除できるようになることもありません。

ロック中の使用を利用するには、次の手順に従います。

1. アプリで Settings > Computer Use を開きます。
2. ロック中の使用を有効にします。
3. Mac の画面がロックされた後、接続済みデバイスから Computer Use を使用するタスクを開始します。

Mac がロックされた後に ChatGPT タスクが Computer Use 経由でアプリにアクセスすると、ChatGPT はローカルでの使用をブロックし、ロック画面の保護を維持したまま、一時的に Mac のロックを解除します。ロックを解除する前に、その試行が有効で信頼できる Computer Use の turn に対するものかどうかを ChatGPT が確認します。その短い有効期間を過ぎると、ChatGPT はロック解除を拒否し、必要に応じて手動でロックを解除するよう求めます。

ロック中の使用には、次の安全対策が含まれます。

• 認証ウィンドウの有効期間は短く、現在のロック解除の試行だけに限定されます。
• 自動ロック解除は、Computer Use の turn が有効な間に ChatGPT だけが利用できます。
• デスクトップが一時的にロック解除されている間、ChatGPT はすべてのディスプレイを覆います。
• ChatGPT がローカルのキーボードまたはポインター入力を検出すると、Mac を再ロックし、手動でロックを解除するまで自動ロック解除を一時停止します。

安全に関するガイダンス

Computer Use を使用すると、ChatGPT は画面の内容を表示し、スクリーンショットを撮影し、対象アプリのウィンドウ、メニュー、キーボード入力、クリップボードの状態を操作できます。表示されているアプリの内容、ブラウザページ、スクリーンショット、対象アプリで開いたファイルは、タスクの実行中に ChatGPT が処理する可能性のあるコンテキストとして扱ってください。

タスクの対象を限定し、機密性の高いフローではその場を離れないでください。

• 一度に 1 つの明確な対象アプリまたはフローを ChatGPT に指定します。
• いつでもタスクを停止したり、コンピューターの操作を引き継いだりできます。
• タスクに必要でない限り、機密性の高いアプリは閉じておきます。
• Windows では、ChatGPT が作業中にフォアグラウンド入力を引き継ぐことを想定し、別のデバイスや VM を使用するか、自分でそのデスクトップを使用する前にタスクを停止します。
• シークレットを必要とするタスクは、立ち会って各手順を承認できる場合を除き避けます。
• ChatGPT にアプリの使用を許可する前に、アプリの権限を求めるプロンプトを確認します。
• Always allow は、今後のタスクで ChatGPT が自動的に使用してもよいと信頼できるアプリにのみ使用します。
• アカウント、セキュリティ、プライバシー、ネットワーク、支払い、認証情報に関する設定では、その場を離れないでください。
• ChatGPT が誤ったウィンドウを操作し始めた場合は、タスクをキャンセルします。

ChatGPT がブラウザを使用すると、すでにサインインしているページを操作できます。 Web サイト上の操作は、自分で行う場合と同様に確認してください。Web ページには悪意のある内容や誤解を招く内容が含まれる可能性があり、サイト側では、承認されたクリック、フォーム送信、サインイン済みの操作があなたのアカウントから行われたものとして扱われることがあります。 ChatGPT の作業中もブラウザを使い続けるには、ChatGPT に別のブラウザを使用するよう依頼してください。

ターミナルアプリや ChatGPT 自体を自動操作すると ChatGPT のセキュリティポリシーを回避できる可能性があるため、この機能ではそれらを自動操作できません。また、管理者として認証したり、コンピューター上のセキュリティやプライバシーに関する権限プロンプトを承認したりすることもできません。

該当する場合、ファイルの編集とシェルコマンドには、引き続き ChatGPT の承認とサンドボックスの設定が適用されます。デスクトップアプリで行った変更は、ディスクに保存され、プロジェクトで追跡されるまでレビューペインに表示されないことがあります。Computer Use が撮影したスクリーンショットを含め、 ChatGPT を通じて処理されるコンテンツには、ChatGPT のデータコントロールが適用されます。