计算机操作
Computer Use
让 ChatGPT 在工作时使用桌面应用
由于 Computer Use 可能影响项目工作区之外的应用和系统状态, 请将其用于范围明确的任务,并在继续之前审查权限提示。
设置 Computer Use
在 ChatGPT 桌面应用中,选择 ChatGPT 并在切换器中切换到 Work,或选择 Codex。打开 插件 > Computer Use,并在出现提示时选择 安装插件。如果 ChatGPT 显示 启用, 请选择它。开启 Computer Use 服务器和技能开关,然后选择 立即 试用 以开始使用。
Use ChatGPT to see and operate graphical interfaces on your computer.
然后打开 设置 > Computer use 审查应用访问权限。已连接的浏览器 控件会显示 管理 操作。你批准供未来任务使用的应用会出现在 始终允许的应用 区域中。
Manage which apps ChatGPT can see and operate.
在 Windows 上,任务运行期间,请让目标应用在活动桌面上保持可见。 在 macOS 上,请按提示授予屏幕录制和辅助功能权限, 以便 ChatGPT 查看目标应用并与之交互。
在 macOS 上,请授予:
- 屏幕录制 权限,以便 ChatGPT 查看目标应用。
- 辅助功能 权限,以便 ChatGPT 点击、输入和导航。
何时使用 Computer Use
当任务依赖图形用户界面,并且难以仅通过文件或命令输出 验证时,请选择 Computer Use。
适用场景包括:
- 测试 ChatGPT 正在构建的 macOS 应用、Windows 应用、iOS 模拟器流程或其他桌面应用。
- 执行需要使用 Web 浏览器的任务。
- 复现仅在图形界面中出现的错误。
- 更改需要通过 UI 点击完成的应用设置。
- 检查无法通过插件访问的应用或数据源中的信息。
- 在 macOS 上,让范围明确的任务在后台运行,同时继续处理 其他工作。
- 执行跨越多个应用的工作流。
对于正在本地构建的 Web 应用,请优先使用 内置浏览器。
Windows 前台使用
在 Windows 上,Computer Use 在活动桌面中运行。它无法在你继续使用 同一个 Windows 会话时在后台操作,因此任务运行期间,ChatGPT 会 移动指针、输入内容并接管前台操作。
如果 Windows 任务需要在你离开时继续运行,请让 Windows 设备保持解锁并连接到互联网。使用手机上的 远程控制检查进度或 发送后续指令,或者在 Windows 虚拟机中运行 ChatGPT 桌面应用, 让 Computer Use 接管虚拟机,而不是你的主桌面。
启动 Computer Use 任务
在提示词中提及 @Computer 或 @AppName,或者让 ChatGPT 使用 Computer
Use。准确描述 ChatGPT 应操作的应用、窗口或流程。
Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.Open @Chrome and verify the checkout page still works after the latest changes.如果目标应用提供专用插件或 MCP 服务器,请优先使用该 结构化集成,以便访问数据并执行可重复的操作。当 ChatGPT 需要以可视化方式检查或操作应用时,再选择 Computer Use。
权限和审批
Computer Use 的系统权限与 ChatGPT 中的应用审批相互独立。 在 macOS 上,屏幕录制和辅助功能权限让 ChatGPT 能够查看并 操作应用。应用审批决定你允许 ChatGPT 使用哪些应用。文件 读取、文件编辑和 shell 命令仍遵循任务的沙箱和审批 设置。
借助 Computer Use,ChatGPT 只能查看你允许的应用并在其中执行操作。 任务期间,ChatGPT 在使用你计算机上的应用前会请求许可。 你可以选择 始终允许,让 ChatGPT 今后使用该应用时 不再询问。你可以在 ChatGPT 桌面应用设置的 Computer Use 区域中,从 始终允许 列表移除应用。
如果 ChatGPT 无法查看或控制应用,请打开 系统设置 > 隐私与 安全性,并检查 macOS 上 Codex Computer Use 的 屏幕录制 和 辅助功能 权限。在 Windows 上,请确保目标应用在 活动桌面会话中可见。
配置 Windows 应用策略
在 Windows 上,Computer Use 将持久化应用决策存储在
$CODEX_HOME/config.toml 中。列出 Computer Use 无需提示即可打开的应用:
[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]请使用 Windows Computer Use 报告的应用标识符,例如桌面应用的可执行文件 名称,或打包应用的应用用户模型 ID。对于列表中没有的应用,ChatGPT 会发出提示。要撤销已保存的决定,请从 设置 > Computer Use > 始终允许 中移除 相应应用。
此表存储本地 Computer Use 决策。它与管理员强制执行的
requirements.toml 相互独立;管理员可以在后者中通过 [features].computer_use = false 禁用 Computer
Use。旧版 $CODEX_HOME/computer-use/config.toml 允许列表条目会迁移到
当前设置;其 denied 列表不属于当前策略架构。
锁定状态下使用
锁定状态下使用让 ChatGPT 可以在 Mac 锁定后继续使用 Computer Use,但你必须先 启用此功能。当 ChatGPT 任务需要在 Mac 锁定后通过 已连接设备使用桌面应用时,请使用此功能。启用锁定状态下使用后,ChatGPT 会安装一个参与 macOS 解锁流程的 Apple 授权插件。
锁定状态下使用的适用范围经过刻意限制。它不是 Mac 的通用远程解锁 方式,也不会允许其他应用或本地进程解锁 计算机。
要使用锁定状态下使用功能:
- 在应用中打开 设置 > Computer Use。
- 启用锁定状态下使用。
- Mac 屏幕锁定后,从已连接设备启动使用 Computer Use 的任务。
当 ChatGPT 任务在 Mac 锁定后通过 Computer Use 访问应用时,ChatGPT 会暂时解锁 Mac,同时阻止本地使用并保留锁屏 保护。解锁前,ChatGPT 会检查此次解锁尝试是否 属于正在进行且受信任的 Computer Use 轮次。在这个短暂时段之外,ChatGPT 会拒绝解锁,并在需要时要求你手动解锁。
锁定状态下使用包含以下安全措施:
- 授权时段很短,并且仅适用于当前解锁 尝试。
- 只有 ChatGPT 能在活跃的 Computer Use 轮次中自动解锁。
- 桌面暂时解锁时,ChatGPT 会遮盖所有显示器。
- 如果 ChatGPT 检测到本地键盘或指针输入,它会重新锁定 Mac,并 暂停自动解锁,直至你手动解锁。
安全指南
借助 Computer Use,ChatGPT 可以查看屏幕内容、截取屏幕截图,并与目标应用中的 窗口、菜单、键盘输入和剪贴板状态交互。 请将可见的应用内容、浏览器页面、屏幕截图和目标应用中打开的文件 视为任务运行期间 ChatGPT 可能处理的上下文。
请保持任务范围明确,并在敏感流程期间留在现场:
- 每次只为 ChatGPT 提供一个明确的目标应用或流程。
- 你可以随时停止任务或接管计算机。
- 除非任务需要,否则请关闭敏感应用。
- 在 Windows 上,ChatGPT 工作时会接管前台输入;请使用 辅助设备或虚拟机,或者在自己使用该桌面前停止任务。
- 除非你在现场并能批准每个步骤,否则请避免执行需要密钥的任务。
- 允许 ChatGPT 使用应用前,请审查应用权限提示。
- 仅对你信任 ChatGPT 今后自动使用的应用选择 始终允许。
- 涉及账户、安全、隐私、网络、付款或 凭据相关设置时,请留在现场。
- 如果 ChatGPT 开始与错误的窗口交互,请取消任务。
如果 ChatGPT 使用你的浏览器,它可以与已登录页面交互。请像亲自操作一样 审查网站操作:网页可能包含恶意或误导性内容, 网站可能会将已批准的点击、表单提交和已登录操作视为由你的账户执行。 如果你想在 ChatGPT 工作时继续使用浏览器,请让 ChatGPT 使用另一个浏览器。
此功能无法自动操作终端应用或 ChatGPT 本身,因为自动操作它们 可能绕过 ChatGPT 安全策略。它也无法以管理员身份进行身份验证, 或批准计算机上的安全和隐私权限提示。
在适用情况下,文件编辑和 shell 命令仍遵循 ChatGPT 的审批和沙箱设置。 通过桌面应用所做的更改在保存到磁盘并由项目跟踪之前,可能不会显示在审查 窗格中。你的 ChatGPT 数据控制设置适用于通过 ChatGPT 处理的内容, 包括 Computer Use 截取的屏幕截图。