日本語

Browser

Browser

ChatGPT に Web サイトの調査と操作を任せる

Browser を使用すると、ユーザーが制御を維持したまま、ChatGPT が Web サイトを開き、最新情報を収集して、操作を実行できます。 Web サイト上で選択肢を比較したり、複数ステップのタスクを完了したり、構築中のページを確認したりする場合に使用します。

Browser は、Web 版 ChatGPT と ChatGPT デスクトップアプリで利用できます。

GPT-6 Astra は、ページとスクリーンショットの照合や、複数サイトにまたがるワークフローの完了などのタスクにおける視覚的な判断能力を向上させます。モデルセレクターで利用できる場合は選択し、完了結果の検証方法を説明してください。

管理対象のデスクトップ環境では、管理者がブラウザーのオリジン、アップロード、ダウンロード、開発者アクセスを制限できます。詳しくは、管理対象ブラウザーのコントロールをご覧ください。

ページのコンテンツは信頼できないコンテキストとして扱ってください。センシティブな情報を共有したり、ChatGPT に操作を許可したりする前に、サイトと提案された操作を確認してください。

ChatGPT デスクトップアプリの組み込みブラウザーでは、チャット内の Web サイトとローカル Web アプリをユーザーと ChatGPT が同じ画面で確認できます。ページのプレビュー、視覚的なフィードバックの追加、またはユーザーに代わる ChatGPT のサイト操作に使用します。

組み込みブラウザーでは、通常のブラウザーとは別のブラウザープロフィールが使用されます。既存のタブやブラウザーセッションが自動的に共有されることはありません。タスクでアカウントが必要な場合は、直接サインインできます。Settings > Browser を開くと、ブラウザーデータと、デバイスで利用可能なプロフィールのインポート機能を管理できます。

Browser でダウンロードしたファイルは、デフォルトではシステムの Downloads フォルダーに保存されます。Settings > Browser では、別のダウンロード先の選択、システムのデフォルトへのリセット、または Ask where to save downloads の有効化ができます。

ChatGPT が既存の Chrome、Edge、Brave、Opera、Vivaldi のタブで作業する必要がある場合や、通常のブラウザープロフィールを使用する必要がある場合は、代わりに browser extension を使用します。

ツールバー、URL のクリック、手動での移動、または Cmd+Shift+B (Windows では Ctrl+Shift+B)で組み込みブラウザーを開きます。

アドレスバーから検索する

組み込みブラウザーのアドレスバーに入力し始めると、その閲覧履歴からページを検索できます。一致するページを選択して再度開くか、履歴に一致する結果がない場合は、検索語を入力して Google で検索します。

組み込みブラウザーは独自のプロフィールと閲覧履歴を保持します。通常の Chrome プロフィールやその他のブラウザーにあるページが結果に自動的に含まれることはありません。

閲覧履歴を管理する

Settings > Browser を開くと、組織で許可されている場合、組み込みブラウザーの履歴の検索、訪問済みページの再表示、履歴項目の削除を行えます。 Clear browsing data を使用して、削除する閲覧データの期間と種類を選択します。

利用可能な場合、ChatGPT は現在のタスクに関連するページを探すために、閲覧履歴の検索許可を求めることがあります。アクセスを許可する前にリクエストを確認してください。閲覧履歴には、内部 URL、検索語、その他のセンシティブな情報が含まれる可能性があるため、タスクでそのコンテキストが必要な場合にのみ許可してください。

ブラウザーでの Computer Use

デスクトップアプリでは、Computer Use により、ChatGPT Work または Codex が組み込みブラウザーを直接操作できます。選択した機能は、ページを開き、クリックや入力を行い、レンダリングされた状態を検査し、スクリーンショットを撮影して、ページ上で作業結果を検証できます。

Plugins タブを開き、Browser をインストールします。その後、タスクでブラウザーを使用するよう ChatGPT または Codex に依頼するか、@Browser で直接指定します。

例:

Use the browser to open http://localhost:3000/settings, reproduce the layout
bug, and fix only the overflowing controls.

サイトの使用をすでに許可している場合を除き、ChatGPT は Web サイトを使用する前に確認を求めます。許可およびブロックするサイトは Settings > Browser で管理します。また、ChatGPT は情報の送信、購入、権限の変更、データの削除など、センシティブな操作を行う前にも確認を求めます。ChatGPT は、組み込みブラウザーでファイルのアップロードを自動化できません。

ページをプレビューする

  1. integrated terminal または local environment action を使用して、アプリの開発サーバーを起動します。
  2. URL をクリックするか、ブラウザーで手動で移動して、ローカルルート、ファイルベースのページ、または公開ページを開きます。
  3. コードの差分と並べて、レンダリングされた状態を確認します。
  4. 変更が必要な要素または領域にブラウザーコメントを追加します。
  5. コメントに対応し、作業範囲を限定するよう ChatGPT に依頼します。

例:

I left comments on the pricing page in the built-in browser. Address the mobile
layout issues and keep the card structure unchanged.

ページにコメントする

レンダリングされたページでのみ確認できるバグには、ブラウザーコメントを使用して ChatGPT に正確なフィードバックを伝えます。

  1. Annotation mode をオンにします。
  2. 要素をクリックするか、ドラッグして領域を選択します。
  3. コメントを書いて保存します。
  4. コメントへの対応を ChatGPT に依頼するメッセージをチャットで送信します。

問題と希望する結果を明記すると、コメントがより効果的になります。

This button overflows on mobile. Keep the label on one line if it fits,
otherwise wrap it without changing the card height.
This tooltip covers the data point under the cursor. Reposition the tooltip so
it stays inside the chart bounds.

スタイルに関するフィードバック

ページ上のセクションに注釈を追加するときは、テキスト入力の横にある Adjust を選択して、 ChatGPT により細かなスタイルのフィードバックを伝えます。フォント、テキスト、間隔、色などの値を変更し、ページ上で結果をプレビューしてから、より明確な対象を指定した注釈を送信できます。

ブラウザータスクの範囲を限定する

各ブラウザータスクは、1 回で確認できる程度の小さな範囲に収めます。

  • ページ、ルート、または URL を指定します。
  • 読み込み中、空、エラー、成功など、確認したい状態を指定します。
  • 変更が必要な要素または領域を正確に指定してコメントを残します。
  • ChatGPT の作業完了後、ページをもう一度確認します。
  • ローカルページを開く前に、開発サーバーを起動または確認するよう ChatGPT に依頼します。

リポジトリの変更については、review pane を使用して変更を確認し、コメントを追加します。

Developer mode

Developer mode は、Chrome および組み込みブラウザーの Computer Use と連携します。 ChatGPT に Chrome DevTools Protocol (CDP) への制御されたアクセスを提供します。JavaScript のプロファイリング、コンソール出力やネットワークトラフィックの検査、DOM と適用済みスタイルの確認、または稼働中のブラウザーでの問題の診断に使用します。

有効にするには、Settings > Browser を開き、 Developer modeEnable full CDP access をオンにします。組織でこの設定が無効になっている場合、ローカルでは有効にできません。管理者はrequirements.toml[features]browser_use_full_cdp_access = false を設定すると、完全な CDP アクセスを無効にし、ChatGPT デスクトップアプリで対応する設定をユーザーが有効にできないようにできます。

完全な CDP アクセスによって、ブラウザー内部のセンシティブな情報が公開される可能性があります。ChatGPT は、完全な CDP を使用して Web サイトを検査する前に、明示的な承認を求めます。承認する前に、サイト、タスク、要求されたアクセスを確認してください。

組み込みブラウザーには @Browser を使用します。Chrome で Developer mode を使用するには、Chrome 拡張機能を設定し、@Chrome を呼び出します。

例:

This app is slow. Use @Browser to capture a performance trace and inspect
network traffic, then identify the bottleneck.

ChatGPT Work を使用して Web 上の作業を完了する

ChatGPT Work は、サインインが必要なサイトを含め、複数の Web サイトにまたがるタスクを完了できます。

Work は、スマートフォンやノートパソコン上のブラウザーではなく、クラウド内の別のコンピューターで動作する独自のブラウザーを使用します。

Web またはモバイルの ChatGPT Work からタスクを開始すると、その場を離れてコンピューターを閉じた後も、ChatGPT は作業を続けられます。Work は自身のコンピューターを使用し、Web ページを読み、クリックし、入力することで、インターネット上のさまざまなタスクを実行できます。依頼内容に応じて、プラグイン、ブラウザー、またはその両方を使用する場合があります。

たとえば、ChatGPT は次の作業を支援できます。

  • DMV の予約枠を探して予約する。
  • 公共料金のアカウントにサインインしてプランを比較する。
  • 条件に合うアパートを探して保存する。
  • ソーシャルメディアで競合他社を調査する。
  • 会計ソフトウェアで帳簿を締める。

ChatGPT がアクセスできる Web サイトはユーザーが制御します。また、予約や支払いの完了など、重大な結果を伴う操作の前に確認を求めるようトレーニングされています。何らかの理由で ChatGPT が作業を続けられなくなった場合は、モバイルまたはデスクトップからそのコンピューターの操作を引き継ぎ、自分で操作できます。

ChatGPT Work が認証を必要とする Web サイトへ移動する機能は、Plus および Pro プランの Web 版とモバイル版で利用できます。

利用可否はロールアウト状況によって異なります。Enterprise または Edu ワークスペースでは、Web サイトへのサインインを利用できません。

ChatGPT Work のコンピューターの仕組み

タスクで Web サイトが必要になると、ChatGPT は独自のブラウザーを使用してページ間を移動し、情報を収集して、オンライン上の手順を完了します。

デフォルトでは、ChatGPT は新しい Web サイトへアクセスする前に確認を求めます。リクエストを個別に承認することも、設定を変更して、タスクに関連する Web サイトを ChatGPT が自動的に承認できるようにすることもできます。ChatGPT Work は、予約のための情報送信や支払いの完了など、重大な結果を伴う操作の前には必ず確認を求めます。

Web サイトにサインインする

Web サイトでサインインが必要な場合、ChatGPT Work はサインインを求めます。認証すると、サインイン済みの Web サイトで作業を続行します。セッションは今後のタスクでも有効なまま維持されるため、毎回サインインする必要はありません。

安全なサインインフォームを使用する

ChatGPT はユーザー名やパスワードを見ることができず、モデルに表示されたり、モデルのトレーニングに使用されたりすることもありません。ChatGPT はユーザー名やパスワードを保存しません。Settings > Cloud browser > Browser data から、すべてのサイトまたは個別のサイトの閲覧履歴をいつでも削除できます。削除すると、そのサイトからサインアウトします。

ChatGPT がログイン画面を検出すると、一時停止して、必要に応じて認証情報と二要素認証コードの入力を求めます。iOS では、サポート対象のパスワードマネージャーを使用してシームレスにサインインできます。

ChatGPT が提供するサインインフォームを使用してください。チャットでパスワードを送信しないでください。

DMV タスクを一時停止し、Web サイトのアドレスとマスクされたパスワードを含む安全なサインインフォームを表示している iOS 版 ChatGPT Work。

Web ページでサインインする

表示される場合は、Sign in on web page instead を選択し、クラウドブラウザーで直接サインインします。サインイン中はタスクが一時停止します。I'm done を選択して ChatGPT に操作を戻すか、リクエストをスキップまたはキャンセルします。

ChatGPT Work でタスクを開始する方法

  1. Web またはモバイルで ChatGPT を開き、Work でタスクを開始します。
  2. ChatGPT に実行してほしい内容を説明します。
  3. 求められた場合は、Web サイトへのアクセスを承認します。
  4. Web サイトで必要な場合は、直接サインインします。
  5. 会話内でタスクの進捗を確認します。
  6. 結果を確認し、重大な結果を伴う操作を承認します。

ブラウザーを個別に選択する必要はありません。ChatGPT は依頼内容に基づいて、ブラウザーを使用するタイミングを判断します。

一部の Web サイトではアクセスがブロックされます。その場合、ChatGPT はその旨を通知し、可能であれば別の方法でタスクの完了を試みます。

セキュリティとユーザーコントロール

ChatGPT の設定で Cloud browser を開き、Web サイトの権限を管理します。利用可能なオプションは次のとおりです。

  • Always ask:Web サイトへのアクセスリクエストを毎回手動で確認します。
  • Auto approve:Web サイトがタスクに関連していることを ChatGPT が確認した後、アクセスを自動的に承認します。
  • Always allow:追加の確認手順なしで Web サイトへのアクセスを許可します。操作の手間を最小限に抑えるためのオプションですが、推奨はしていません。

Always ask、Auto approve、Always allow の Web サイト権限オプションを表示する Cloud browser 設定。

個別の Web サイトを許可またはブロックして、デフォルトの権限を上書きすることもできます。

ChatGPT が Web サイトへのサインインを求める前に、追加のレビューモデルがサインインリクエストと情報の入力先にフィッシングや欺瞞の兆候がないかを確認します。プロンプトインジェクション、フィッシング、意図しない操作などのリスクに対してエージェントをテストしています。

透明性を確保するため、Web サイトのアドレスとサインインフォームのプレビューが表示され、続行前に実際の Web サイトを確認できます。安全なサインインフォームから入力した認証情報はブラウザーへ直接送信され、モデルには表示されません。

プライバシーとブラウザーデータ

ChatGPT Work のコンピューターは、デバイス上のブラウザーとは別に動作します。独自の Cookie、ブラウザーデータ、サインイン済みセッションを保持します。タスクの完了中に ChatGPT が使用する情報には、ユーザーが選択した ChatGPT のデータコントロール設定が適用されます。Web 版およびモバイル版 ChatGPT の Settings > Data controls で確認できます。

ユーザーの個人用ブラウザーで開いているタブ、閲覧履歴、保存済みパスワード、Cookie、拡張機能、既存のサインイン済みセッションは使用しません。

ブラウザーデータを消去するには、Settings > Cloud browser > Browser data > Clear all に移動します。これにより ChatGPT Work のブラウザー内の Web サイトからサインアウトするため、今後のタスクでは再度サインインする必要があります。

クラウドブラウザーに保存された Cookie を管理する Cookies コントロールと Browser data セクションを表示する Cloud browser 設定。

制限事項

  • Web サイトへのサインインは、すべてのワークスペースやロールアウトで利用できるわけではありません。タスクでサポート対象外のサインイン方法が必要な場合は、その手順を自分で完了するか、利用可能な別のツールを使用してください。
  • 一部のサイトでは自動ブラウザーがブロックされたり、CAPTCHA が要求されたりします。そのようなサイトでは、ChatGPT がタスクを完了できない場合があります。
  • クラウドブラウジングを利用できるかどうかは、プラン、ワークスペース設定、ロールアウト状況によって異なる場合があります。クラウドブラウジングは、Free と Go を除く有料プランですべての地域から利用できます。Enterprise の管理者は、ワークスペースでクラウドブラウジングを有効にする必要があります。

ロールアウト中は、プランが対応していてもブラウザーがすぐに表示されない場合があります。