Appshots

Appshots を使用すると、最前面のアプリウィンドウを ChatGPT のチャットへ送信できます。コンピューター上の別のアプリで作業中に、その時点のコンテキストを ChatGPT に提供してタスクの支援を受けたい場合に使用してください。

appshot が取得する内容

appshot は最前面のウィンドウだけを取得します。次の内容が含まれる場合があります。

• 表示中のウィンドウの画像。
• そのウィンドウから取得できるテキスト。表示中のテキストと、表示範囲外にあるもののアプリから取得可能なテキストが含まれます。

appshot をチャットに追加すると、添付ファイルとして扱われます。ChatGPT は、手動で添付したファイルや画像と同様に、appshot をセッションファイルへローカルに保存します。

appshot を使用する場面

ChatGPT が操作を行う前に Mac アプリからのコンテキストを必要とする場合は、appshot を使用します。

例：

• API リファレンスページを共有し、それを使用するスクリプトの作成を ChatGPT に依頼する。
• メールまたはカレンダーの画面を共有し、次のステップの下書きを ChatGPT に依頼する。
• 画像エディター、デザイン、プレビューウィンドウを共有し、関連するアセットやコードの修正を ChatGPT に依頼する。
• 説明するより見せるほうが簡単なエラー、設定パネル、アプリの状態を共有する。

appshot を撮影する

1. 共有するアプリウィンドウを最前面に表示します。
2. 両方の Command キー、または ChatGPT の設定で構成したカスタムホットキーを押します。
3. ChatGPT から求められた場合は、macOS の権限を許可します。
4. appshot を使用してタスクを実行するよう ChatGPT に依頼します。

デフォルトでは、ChatGPT は appshot 用に新しいチャットを開始します。過去 60 秒以内にチャットを操作していた場合は、代わりにその直近のチャットへ appshot を追加します。 appshot を続けて撮影すると、同じチャットに追加されます。

Appshots のホットキーはアプリの設定で変更できます。

権限と安全性

ChatGPT は appshot を撮影する前に権限を求める場合があります。

• Screen & System Audio Recording を許可すると、ChatGPT は最前面のウィンドウの画像を取得できます。
• Accessibility を許可すると、ChatGPT は最前面のウィンドウから取得可能なテキストを読み取れます。

appshot を撮影すると、取得された画像と利用可能なテキストが ChatGPT と共有されます。タスクに必要でない限り、機密性の高い内容の appshot は撮影しないでください。

ChatGPT とスクリーンショットやドキュメントを共有する場合と同じように、appshot の内容を確認してください。

制限事項とトラブルシューティング

Appshots は、macOS の ChatGPT デスクトップアプリで利用できます。すでに appshot が含まれているチャットを CLI で再開すると、その添付ファイルはチャット履歴の一部として利用できますが、CLI で新しい appshot を作成することはできません。

Google Docs、Gmail、Google Sheets、Google Slides を含む一部のアプリや Web サイトでは、 ChatGPT が受け取れるのは表示中のスクリーンショットだけで、ドキュメント全体や画面外のテキストを受け取れない場合があります。ChatGPT Work または Codex では、ChatGPT は対応するインストール済みプラグインを使用して関連するアプリの内容へアクセスし、リクエストを支援できます。

appshot が機能しない場合は、次の手順に従います。

1. System Settings > Privacy & Security を開きます。
2. Codex Computer Use の Screen & System Audio Recording と Accessibility を確認します。
3. アプリを再起動して、もう一度試します。