Appshots
Appshots
從任意 Mac app 取得上下文並提供給 ChatGPT
Appshots 可讓你將最前端的 app 視窗傳送到 ChatGPT 聊天中。當你正在 電腦上的另一個 app 中工作,並希望向 ChatGPT 提供當前上下文以便它 協助你完成任務時,可以使用 Appshots。
Appshots 會捕獲哪些內容
Appshot 只會捕獲最前端的視窗。其中可以包含:
- 可見視窗的影像。
- 該視窗中可用的文本,包括可見文本以及 app 在可見滾動區域之外 提供的文本。
將 Appshot 新增到聊天后,它的行為與附件相同。ChatGPT 會像處理你手動 附加的檔案或影像一樣,將 Appshots 本機儲存在會話檔案中。
何時使用 Appshots
當 ChatGPT 需要先取得其他應用的上下文才能執行操作時,可以使用 Appshots。
範例:
- 分享 API 參考頁面,並讓 ChatGPT 編寫使用該 API 的指令碼。
- 分享電子郵件或日曆檢視,並讓 ChatGPT起草後續步驟。
- 分享影像編輯器、設計或預覽視窗,並讓 ChatGPT 修改相關 資源或程式碼。
- 分享錯誤、設定面板或 app 狀態,直觀展示比文字 描述更容易。
拍攝 Appshot
- 將要分享的應用視窗置於最前方。
- 在 macOS 上同時按下兩個 Command 鍵,或在 Windows 上同時按下兩個 Alt 鍵,也可以使用 你在 ChatGPT 設定中設定的自定義快捷鍵。
- 如果 ChatGPT 提示你設定權限,請完成設定。
- 讓 ChatGPT 根據 Appshot 執行任務。
預設情況下,ChatGPT 會為 Appshot 新建一個聊天。如果你在過去 60 秒內與某個 聊天進行過互動,ChatGPT 會將 Appshot 新增到最近的 聊天中。連續拍攝的 Appshots 會新增到同一個聊天中。
你可以在應用設定中更改快捷鍵和 Appshot 傳送目標。 選擇當前聊天 或新聊天 來設定傳送目標,或保留 自動,使用此處描述的行為。
通過懸浮控制項使用 Appshots
在 macOS 上,當寵物懸浮控制項 已開啟且 ChatGPT 主視窗位於後臺時,自動 會通過這些控制項啟動 一個包含 Appshot 的新聊天。將寵物選擇為 Mini 時也會如此。請先在主應用中完成 Appshots 的權限 設定。在 Windows 上,Appshots 會在主應用中開啟。
權限與安全
在 macOS 上,ChatGPT 可能會先請求以下權限,才能擷取 Appshots:
- 螢幕與系統音訊錄製 權限讓 ChatGPT 能夠捕獲 最前端視窗的影像。
- 輔助功能 權限讓 ChatGPT 能夠讀取最前端視窗中的可用文本。
拍攝 Appshot 會與 ChatGPT 分享捕獲的影像和可用文本。 除非任務需要這些內容,否則請避免拍攝包含敏感內容的 Appshots。
請像檢查要與 ChatGPT 分享的螢幕截圖和文件一樣檢查 Appshots。
限制與故障排除
Appshots 需要使用 macOS 或 Windows 版 ChatGPT 桌面應用。如果你在 CLI 中恢復一個 已包含 Appshot 的聊天,該附件會作為 聊天曆史的一部分保留,但 CLI 無法建立新的 Appshot。
對於某些 app 和網站(包括 Google Docs、Gmail、Google Sheets 和 Google Slides),ChatGPT 可能只能接收到可見的螢幕截圖,而無法取得 完整文件或螢幕外的文本。在 ChatGPT Work 或 Codex 中,ChatGPT 可以使用 匹配的已安裝外掛存取相關 app 內容,並協助處理你的 請求。
如果 Appshots 無法正常使用,請更新桌面應用,檢查已設定的快捷鍵, 並確認你的組織允許使用 Appshots。在 macOS 上,還需檢查 權限:
- 開啟系統設定 > 隱私與安全性。
- 檢查 Codex Computer Use 的螢幕與系統音訊錄製 和輔助功能 權限。
- 重新啟動 app,然後重試。