从写代码,到创作下一幕

探索 字节跳动 - 火山方舟 的 AI 编程与视频创作活动。

Agent Plan & Coding Plan

一站体验多款热门模型,为 AI 编程与智能体开发提供更多选择。新用户可联系(微信: goo_lvyouyou)免费体验 9.9 agent plan。

Seedance 2.5

让创意,跃然成片。探索 30 秒视频、多模态参考与局部编辑,把脑海中的画面变成下一支作品。

中文

应用截图

Appshots

向 ChatGPT 提供来自 macOS 和 Windows 应用的上下文

Appshots 可让你将最前端的应用 窗口发送到 ChatGPT 聊天中。当你正在电脑上的另一个应用 中工作,并希望向 ChatGPT 提供当前上下文以便它协助你完成任务时,可以使用 Appshots。

Appshots 会捕获哪些内容

Appshot 只会捕获最前端的窗口。其中可以包含:

  • 可见窗口的图像。
  • 该窗口中可用的文本,包括可见文本以及 应用在可见滚动区域之外提供的文本。

将 Appshot 添加到聊天后,它的行为与附件相同。ChatGPT 会像处理你手动附加的文件或图像一样,将 Appshots 本地存储在会话文件中。

何时使用 Appshots

当 ChatGPT 需要先获取其他应用的上下文才能执行操作时,可以使用 Appshots。

示例:

  • 分享 API 参考页面,并让 ChatGPT 编写使用该 API 的脚本。
  • 分享电子邮件或日历视图,并让 ChatGPT 起草后续步骤。
  • 分享图像编辑器、设计或预览窗口,并让 ChatGPT 修改相关资源或代码。
  • 分享错误、设置面板或 应用状态,直观展示比文字描述更容易。

拍摄 Appshot

  1. 将要分享的应用窗口置于最前方。
  2. 在 macOS 上同时按下两个 Command 键,或在 Windows 上同时按下两个 Alt 键,也可以使用你在 ChatGPT 设置中配置的自定义快捷键。
  3. 如果 ChatGPT 提示你设置权限,请完成设置。
  4. 让 ChatGPT 根据 Appshot 执行任务。

默认情况下,ChatGPT 会为 Appshot 新建一个聊天。如果你在过去 60 秒内与某个聊天进行过交互,ChatGPT 会将 Appshot 添加到最近的聊天中。连续拍摄的 Appshots 会添加到同一个聊天中。

你可以在应用设置中更改快捷键和 Appshot 发送目标。选择当前聊天 或新聊天 来设置发送目标,或保留 自动,使用此处描述的行为。

通过悬浮控件使用 Appshots

在 macOS 上,当宠物悬浮控件 已打开且 ChatGPT 主窗口位于后台时,自动 会通过这些控件启动一个包含 Appshot 的新聊天。将宠物选择为 Mini 时也会如此。请先在主应用中完成 Appshots 的权限设置。在 Windows 上,Appshots 会在主应用中打开。

权限与安全

在 macOS 上,ChatGPT 可能会先请求以下权限,才能截取 Appshots:

  • 屏幕与系统音频录制 权限让 ChatGPT 能够捕获最前端窗口的图像。
  • 辅助功能 权限让 ChatGPT 能够读取最前端窗口中的可用文本。

拍摄 Appshot 会与 ChatGPT 分享捕获的图像和可用文本。除非任务需要这些内容,否则请避免拍摄包含敏感内容的 Appshots。

请像检查要与 ChatGPT 分享的屏幕截图和文档一样检查 Appshots。

限制与故障排除

Appshots 需要使用 macOS 或 Windows 版 ChatGPT 桌面应用。如果你在 CLI 中恢复一个已包含 Appshot 的聊天,该附件会作为聊天历史的一部分保留,但 CLI 无法创建新的 Appshot。

对于某些应用和网站(包括 Google Docs、Gmail、Google Sheets 和 Google Slides),ChatGPT 可能只能接收到可见的屏幕截图,而无法获取完整文档或屏幕外的文本。在 ChatGPT Work 或 Codex 中,ChatGPT 可以使用匹配的已安装插件访问相关应用内容,并协助处理你的请求。

如果 Appshots 无法正常使用,请更新桌面应用,检查已配置的快捷键,并确认你的组织允许使用 Appshots。在 macOS 上,还需检查权限:

  1. 打开系统设置 > 隐私与安全性。
  2. 检查 Codex Computer Use 的屏幕与系统音频录制 和辅助功能 权限。
  3. 重新启动应用,然后重试。