Appshots(应用截图)
从任意 Mac App 向 ChatGPT 提供上下文
Appshots 可以把最前方的应用窗口发送到 ChatGPT 中的任务。当你正在电脑上的其他应用中工作,并希望向 ChatGPT 提供当前上下文时,可以使用 Appshots。
Appshots 会捕获什么
一张 Appshot 只捕获最前方的窗口,其中可以包含:
- 可见窗口的图像。
- 该窗口提供的文本,包括屏幕上可见的文字,以及应用在当前滚动区域之外公开的文字。
把 Appshot 加入任务后,它会像普通附件一样工作。与手动附加的文件或图片一样,ChatGPT 会把 Appshot 本地存储在会话文件中。
何时使用 Appshots
当 ChatGPT 需要先了解某个 Mac 应用中的上下文才能继续时,可以使用 Appshots。例如:
- 分享 API 参考页面,让 ChatGPT 编写使用该 API 的脚本。
- 分享邮件或日历视图,让 ChatGPT 起草下一步内容。
- 分享图片编辑器、设计工具或预览窗口,让 ChatGPT 修改相关资源或代码。
- 分享错误、设置面板或难以用文字描述的应用状态。
拍摄 Appshot
- 把需要分享的应用窗口切换到最前方。
- 按下左右两个 Command 键,或你在 ChatGPT 设置中配置的自定义快捷键。
- 如果 ChatGPT 请求 macOS 权限,请允许相应权限。
- 让 ChatGPT 使用这张 Appshot 完成任务。
默认情况下,ChatGPT 会为 Appshot 新建任务。如果你在最近 60 秒内操作过某个任务,ChatGPT 会把 Appshot 加入该任务;连续拍摄的 Appshots 也会进入同一任务。
你可以在应用设置中修改 Appshots 快捷键。
权限与安全
ChatGPT 可能需要以下权限:
- Screen & System Audio Recording(屏幕与系统音频录制):捕获最前方窗口的图像。
- Accessibility(辅助功能):读取最前方窗口提供的文本。
拍摄 Appshot 会把捕获的图像和可用文本分享给 ChatGPT。除非任务确实需要,否则不要对敏感内容拍摄 Appshot。评审 Appshots 时,应采用与分享截图和文档相同的安全标准。
限制与故障排查
Appshots 只能在 macOS 版 ChatGPT 桌面应用中创建。如果你在 CLI 中继续一个已包含 Appshot 的任务,该附件仍属于任务历史,但 CLI 无法创建新的 Appshot。
对于 Google Docs、Gmail、Google Sheets 和 Google Slides 等部分应用或网站,ChatGPT 可能只能获得可见截图,而无法获得完整文档或屏幕外文字。在 ChatGPT Work 或 Codex 中,如果安装了匹配的 plugin,ChatGPT 可以通过该 plugin 访问相关内容并协助完成请求。
如果 Appshots 无法使用:
- 打开 System Settings > Privacy & Security(系统设置 > 隐私与安全性)。
- 检查 Codex Computer Use 的 Screen & System Audio Recording 和 Accessibility 权限。
- 重启应用后重试。