从写代码,到创作下一幕

探索 字节跳动 - 火山方舟 的 AI 编程与视频创作活动。

Agent Plan & Coding Plan

一站体验多款热门模型,为 AI 编程与智能体开发提供更多选择。新用户可联系(微信: goo_lvyouyou)免费体验 9.9 agent plan。

Seedance 2.5

让创意,跃然成片。探索 30 秒视频、多模态参考与局部编辑,把脑海中的画面变成下一支作品。

中文

应用截图

Appshots

从任意 Mac app 获取上下文并提供给 ChatGPT

Appshots 可让你将最前端的 app 窗口发送到 ChatGPT 聊天中。当你正在 电脑上的另一个 app 中工作,并希望向 ChatGPT 提供当前上下文以便它 协助你完成任务时,可以使用 Appshots。

Appshots 会捕获哪些内容

Appshot 只会捕获最前端的窗口。其中可以包含:

  • 可见窗口的图像。
  • 该窗口中可用的文本,包括可见文本以及 app 在可见滚动区域之外 提供的文本。

将 Appshot 添加到聊天后,它的行为与附件相同。ChatGPT 会像处理你手动 附加的文件或图像一样,将 Appshots 本地存储在会话文件中。

何时使用 Appshots

当 ChatGPT 需要先获取其他应用的上下文才能执行操作时,可以使用 Appshots。

示例:

  • 分享 API 参考页面,并让 ChatGPT 编写使用该 API 的脚本。
  • 分享电子邮件或日历视图,并让 ChatGPT起草后续步骤。
  • 分享图像编辑器、设计或预览窗口,并让 ChatGPT 修改相关 资源或代码。
  • 分享错误、设置面板或 app 状态,直观展示比文字 描述更容易。

拍摄 Appshot

  1. 将要分享的应用窗口置于最前方。
  2. 在 macOS 上同时按下两个 Command 键,或在 Windows 上同时按下两个 Alt 键,也可以使用 你在 ChatGPT 设置中配置的自定义快捷键。
  3. 如果 ChatGPT 提示你设置权限,请完成设置。
  4. 让 ChatGPT 根据 Appshot 执行任务。
ChatGPT 聊天编辑框,其中包含 Appshot 附件和后续提示词

默认情况下,ChatGPT 会为 Appshot 新建一个聊天。如果你在过去 60 秒内与某个 聊天进行过交互,ChatGPT 会将 Appshot 添加到最近的 聊天中。连续拍摄的 Appshots 会添加到同一个聊天中。

你可以在应用设置中更改快捷键和 Appshot 发送目标。 选择当前聊天新聊天 来设置发送目标,或保留 自动,使用此处描述的行为。

通过悬浮控件使用 Appshots

在 macOS 上,当宠物悬浮控件 已打开且 ChatGPT 主窗口位于后台时,自动 会通过这些控件启动 一个包含 Appshot 的新聊天。将宠物选择为 Mini 时也会如此。请先在主应用中完成 Appshots 的权限 设置。在 Windows 上,Appshots 会在主应用中打开。

权限与安全

在 macOS 上,ChatGPT 可能会先请求以下权限,才能截取 Appshots:

  • 屏幕与系统音频录制 权限让 ChatGPT 能够捕获 最前端窗口的图像。
  • 辅助功能 权限让 ChatGPT 能够读取最前端窗口中的可用文本。

拍摄 Appshot 会与 ChatGPT 分享捕获的图像和可用文本。 除非任务需要这些内容,否则请避免拍摄包含敏感内容的 Appshots。

请像检查要与 ChatGPT 分享的屏幕截图和文档一样检查 Appshots。

限制与故障排除

Appshots 需要使用 macOS 或 Windows 版 ChatGPT 桌面应用。如果你在 CLI 中恢复一个 已包含 Appshot 的聊天,该附件会作为 聊天历史的一部分保留,但 CLI 无法创建新的 Appshot。

对于某些 app 和网站(包括 Google Docs、Gmail、Google Sheets 和 Google Slides),ChatGPT 可能只能接收到可见的屏幕截图,而无法获取 完整文档或屏幕外的文本。在 ChatGPT Work 或 Codex 中,ChatGPT 可以使用 匹配的已安装插件访问相关 app 内容,并协助处理你的 请求。

如果 Appshots 无法正常使用,请更新桌面应用,检查已配置的快捷键, 并确认你的组织允许使用 Appshots。在 macOS 上,还需检查 权限:

  1. 打开系统设置 > 隐私与安全性
  2. 检查 Codex Computer Use 的屏幕与系统音频录制辅助功能 权限。
  3. 重新启动 app,然后重试。