应用截图
Appshots
从任意 Mac app 获取上下文并提供给 ChatGPT
Appshots 可让你将最前端的 app 窗口发送到 ChatGPT 聊天中。当你正在 电脑上的另一个 app 中工作,并希望向 ChatGPT 提供当前上下文以便它 协助你完成任务时,可以使用 Appshots。
Appshots 会捕获哪些内容
Appshot 只会捕获最前端的窗口。其中可以包含:
- 可见窗口的图像。
- 该窗口中可用的文本,包括可见文本以及 app 在可见滚动区域之外 提供的文本。
将 Appshot 添加到聊天后,它的行为与附件相同。ChatGPT 会像处理你手动 附加的文件或图像一样,将 Appshots 本地存储在会话文件中。
何时使用 Appshots
当 ChatGPT 需要先获取其他应用的上下文才能执行操作时,可以使用 Appshots。
示例:
- 分享 API 参考页面,并让 ChatGPT 编写使用该 API 的脚本。
- 分享电子邮件或日历视图,并让 ChatGPT起草后续步骤。
- 分享图像编辑器、设计或预览窗口,并让 ChatGPT 修改相关 资源或代码。
- 分享错误、设置面板或 app 状态,直观展示比文字 描述更容易。
拍摄 Appshot
- 将要分享的应用窗口置于最前方。
- 在 macOS 上同时按下两个 Command 键,或在 Windows 上同时按下两个 Alt 键,也可以使用 你在 ChatGPT 设置中配置的自定义快捷键。
- 如果 ChatGPT 提示你设置权限,请完成设置。
- 让 ChatGPT 根据 Appshot 执行任务。
默认情况下,ChatGPT 会为 Appshot 新建一个聊天。如果你在过去 60 秒内与某个 聊天进行过交互,ChatGPT 会将 Appshot 添加到最近的 聊天中。连续拍摄的 Appshots 会添加到同一个聊天中。
你可以在应用设置中更改快捷键和 Appshot 发送目标。 选择当前聊天 或新聊天 来设置发送目标,或保留 自动,使用此处描述的行为。
通过悬浮控件使用 Appshots
在 macOS 上,当宠物悬浮控件 已打开且 ChatGPT 主窗口位于后台时,自动 会通过这些控件启动 一个包含 Appshot 的新聊天。将宠物选择为 Mini 时也会如此。请先在主应用中完成 Appshots 的权限 设置。在 Windows 上,Appshots 会在主应用中打开。
权限与安全
在 macOS 上,ChatGPT 可能会先请求以下权限,才能截取 Appshots:
- 屏幕与系统音频录制 权限让 ChatGPT 能够捕获 最前端窗口的图像。
- 辅助功能 权限让 ChatGPT 能够读取最前端窗口中的可用文本。
拍摄 Appshot 会与 ChatGPT 分享捕获的图像和可用文本。 除非任务需要这些内容,否则请避免拍摄包含敏感内容的 Appshots。
请像检查要与 ChatGPT 分享的屏幕截图和文档一样检查 Appshots。
限制与故障排除
Appshots 需要使用 macOS 或 Windows 版 ChatGPT 桌面应用。如果你在 CLI 中恢复一个 已包含 Appshot 的聊天,该附件会作为 聊天历史的一部分保留,但 CLI 无法创建新的 Appshot。
对于某些 app 和网站(包括 Google Docs、Gmail、Google Sheets 和 Google Slides),ChatGPT 可能只能接收到可见的屏幕截图,而无法获取 完整文档或屏幕外的文本。在 ChatGPT Work 或 Codex 中,ChatGPT 可以使用 匹配的已安装插件访问相关 app 内容,并协助处理你的 请求。
如果 Appshots 无法正常使用,请更新桌面应用,检查已配置的快捷键, 并确认你的组织允许使用 Appshots。在 macOS 上,还需检查 权限:
- 打开系统设置 > 隐私与安全性。
- 检查 Codex Computer Use 的屏幕与系统音频录制 和辅助功能 权限。
- 重新启动 app,然后重试。