繁體中文

Appshots(應用截圖)

從任意 Mac App 向 ChatGPT 提供上下文

Appshots 可以把最前方的應用視窗傳送到 ChatGPT 中的聊天。當你正在電腦上的其他應用中工作,並希望向 ChatGPT 提供當前上下文時,可以使用 Appshots。

Appshots 會捕獲什麼

一張 Appshot 只捕獲最前方的視窗,其中可以包含:

  • 可見視窗的影像。
  • 該視窗提供的文本,包括螢幕上可見的文字,以及應用在當前滾動區域之外公開的文字。

把 Appshot 加入聊天后,它會像普通附件一樣工作。與手動附加的檔案或圖片一樣,ChatGPT 會把 Appshot 本機儲存在會話檔案中。

何時使用 Appshots

當 ChatGPT 需要先了解某個 Mac 應用中的上下文才能繼續時,可以使用 Appshots。例如:

  • 分享 API 參考頁面,讓 ChatGPT 編寫使用該 API 的指令碼。
  • 分享郵件或日曆檢視,讓 ChatGPT 起草下一步內容。
  • 分享圖片編輯器、設計工具或預覽視窗,讓 ChatGPT 修改相關資源或程式碼。
  • 分享錯誤、設定面板或難以用文字描述的應用狀態。

拍攝 Appshot

  1. 把需要分享的應用視窗切換到最前方。
  2. 按下左右兩個 Command 鍵,或你在 ChatGPT 設定中設定的自定義快捷鍵。
  3. 如果 ChatGPT 請求 macOS 權限,請允許相應權限。
  4. 讓 ChatGPT 使用這張 Appshot 完成任務。

預設情況下,ChatGPT 會為 Appshot 新建聊天。如果你在最近 60 秒內操作過某個聊天,ChatGPT 會把 Appshot 加入該聊天;連續拍攝的 Appshots 也會進入同一聊天。

你可以在應用設定中修改 Appshots 快捷鍵。

權限與安全

ChatGPT 可能需要以下權限:

  • Screen & System Audio Recording(螢幕與系統音訊錄製):捕獲最前方視窗的影像。
  • Accessibility(輔助功能):讀取最前方視窗提供的文本。

拍攝 Appshot 會把捕獲的影像和可用文本分享給 ChatGPT。除非任務確實需要,否則不要對敏感內容拍攝 Appshot。審查 Appshots 時,應採用與分享截圖和文件相同的安全標準。

限制與故障排查

Appshots 只能在 macOS 版 ChatGPT 桌面應用中建立。如果你在 CLI 中繼續一個已包含 Appshot 的聊天,該附件仍屬於聊天曆史,但 CLI 無法建立新的 Appshot。

對於 Google Docs、Gmail、Google Sheets 和 Google Slides 等部分應用或網站,ChatGPT 可能只能獲得可見截圖,而無法獲得完整文件或螢幕外文字。在 ChatGPT Work 或 Codex 中,如果安裝了匹配的 plugin,ChatGPT 可以通過該 plugin 存取相關內容並協助完成請求。

如果 Appshots 無法使用:

  1. 開啟 System Settings > Privacy & Security(系統設定 > 隱私與安全性)
  2. 檢查 Codex Computer Use 的 Screen & System Audio RecordingAccessibility 權限。
  3. 重啟應用後重試。