ChatGPT 繁體中文教學
繁體中文
聯絡我 goolvyouyou@gmail.com

Computer Use

讓 ChatGPT 在工作時使用桌面 App。

Computer Use 允許 ChatGPT 檢視並操作 macOS 或 Windows 圖形介面。它適合命令列工具或結構化整合無法完成的任務，例如檢查桌面 App、使用瀏覽器、修改 App 設定、處理尚未通過 plugin 提供的資料來源，或復現僅在圖形介面中出現的 bug。

Computer Use 可能影響專案工作區之外的 App 和系統狀態，因此應保持任務範圍明確，並在繼續前檢查權限提示。

設定 Computer Use

在 ChatGPT 桌面 App 中選擇 ChatGPT 並在切換器中切換到 Work，或選擇 Codex。開啟 Plugins > Computer Use，並在出現提示時選擇 Install plugin（安裝 plugin）。如果 ChatGPT 顯示 Enable（啟用），請選擇它。開啟 Computer Use server 和 skill，然後選擇 Try now（立即試用）。

接著開啟 Settings > Computer use（設定 > Computer use） 檢查 App 存取。已連線的瀏覽器控制項會顯示 Manage（管理）；你核准後續任務直接使用的 App 會出現在 Always-allowed apps（始終允許的 App） 區域。

在 Windows 上，任務執行期間應讓目標 App 保持顯示在當前桌面。在 macOS 上，請按提示授予 Screen Recording 和 Accessibility 權限，使 ChatGPT 能夠檢視並操作目標 App。

macOS 需要授予：

  • Screen Recording：讓 ChatGPT 能看到目標 App。
  • Accessibility：讓 ChatGPT 能夠點選、輸入和導航。

何時使用 Computer Use

當任務依賴圖形介面，而且僅通過檔案或命令輸出難以驗證時，請選擇 Computer Use。

適合的場景包括：

  • 測試 ChatGPT 正在建置的 macOS App、Windows App、iOS 模擬器流程或其他桌面 App。
  • 執行需要使用你的 Web 瀏覽器的任務。
  • 復現只在圖形介面中出現的 bug。
  • 修改必須通過點選 UI 才能完成的 App 設定。
  • 檢查尚未通過 plugin 提供的 App 或資料來源中的資訊。
  • 在 macOS 上於後臺執行範圍明確的任務，同時繼續處理其他工作。
  • 執行跨越多個 App 的工作流程。

對於正在本機建置的 Web App，應優先使用內建瀏覽器。

Windows 前臺使用

在 Windows 上，Computer Use 運行於當前桌面。它無法在你繼續使用同一 Windows 會話時於後臺操作，因此任務執行期間，ChatGPT 會移動指標、輸入內容並接管前臺。

如果 Windows 任務需要在你離開時繼續執行，應保持裝置解鎖並連線網際網路。你可以從手機使用遠端控制檢查進度或傳送後續指令，也可以把 ChatGPT 桌面 App 放在 Windows 虛擬機器中，讓 Computer Use 接管 VM，而不是主桌面。

開始 Computer Use 任務

在提示詞中提及 @Computer 或 @AppName，或直接要求 ChatGPT 使用 Computer Use。明確描述要操作的 App、視窗或流程。

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

如果目標 App 提供專用 plugin 或 MCP server，應優先通過該結構化整合存取資料並執行可重複操作。只有 ChatGPT 確實需要目視檢查或操作 App 時，才選擇 Computer Use。

權限與審批

Computer Use 的系統權限與 ChatGPT 中的 App 審批相互獨立。在 macOS 上，Screen Recording 和 Accessibility 權限允許 ChatGPT 檢視並操作 App；App 審批則決定你允許 ChatGPT 使用哪些 App。檔案讀取、檔案修改和 shell 命令仍遵守當前任務的沙箱與審批設定。

ChatGPT 只能在你允許的 App 中檢視和執行操作。任務期間，使用電腦上的某個 App 前會請求權限。選擇 Always allow（始終允許） 後，ChatGPT 以後可以直接使用該 App。可以從 ChatGPT 桌面 App 設定的 Computer Use 區域，把 App 從 Always allow 列表中移除。

ChatGPT 介面截圖：ChatGPT 桌面 App 請求使用 Calculator 執行 Computer Use

執行敏感或具有破壞性的操作前，ChatGPT 也可能請求權限。

如果 ChatGPT 無法檢視或控制 App，請在 macOS 的 System Settings > Privacy & Security（系統設定 > 隱私與安全性） 中檢查 Codex Computer Use 的 Screen Recording 和 Accessibility。在 Windows 上，請確認目標 App 顯示在當前桌面會話中。

設定 Windows App 策略

在 Windows 上，Computer Use 把持久 App 決策儲存到 $CODEX_HOME/config.toml。通過以下設定列出無需提示即可開啟的 App：

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

請使用 Windows Computer Use 報告的 App 識別符號，例如桌面 App 的執行檔名，或 package App 的 app user model ID。不在列表中的 App 會觸發提示。要撤銷已儲存的決定，請從 Settings > Computer Use > Always allow 移除該 App。

該表儲存的是本機 Computer Use 決策，與管理員強制執行的 requirements.toml 相互獨立。管理員可在後者中通過 [features].computer_use = false 停用 Computer Use。舊 $CODEX_HOME/computer-use/config.toml 中的 allow-list 條目會遷移到當前設定；其 denied 列表不屬於當前策略 schema。

Locked use

啟用 Locked use 後，即使 Mac 已鎖定，ChatGPT 仍可使用 Computer Use。它適合 Mac 鎖定後，ChatGPT 任務仍需從已連線裝置操作桌面 App 的情況。

啟用後，ChatGPT 會安裝參與 macOS 解鎖流程的 Apple authorization plug-in。

Locked use 的範圍有意保持嚴格：它不是 Mac 的通用遠端解鎖方式，也不會允許其他 App 或本機程序解鎖電腦。

使用方式：

  1. 在 App 中開啟 Settings > Computer Use。
  2. 啟用 Locked use。
  3. Mac 螢幕鎖定後，從已連線裝置開始一項使用 Computer Use 的任務。

當 ChatGPT 任務在 Mac 鎖定後通過 Computer Use 存取 App 時，ChatGPT 會暫時解鎖 Mac，同時阻止本機使用並保留鎖屏保護。解鎖前，ChatGPT 會確認本次嘗試對應當前活躍且可信的 Computer Use 會話輪次。超過這個短時視窗後，ChatGPT 會拒絕解鎖，並在需要時要求你手動解鎖。

Locked use 包含以下保護措施：

  • 授權視窗持續時間很短，且只適用於當前解鎖嘗試。
  • 只有 ChatGPT 在活躍 Computer Use 會話輪次中可以自動解鎖。
  • 桌面暫時解鎖時，ChatGPT 會覆蓋每一塊顯示器。
  • 如果檢測到本機鍵盤或指標輸入，ChatGPT 會重新鎖定 Mac，並暫停自動解鎖，直到你手動解鎖。

安全指南

Computer Use 可以檢視螢幕內容、截圖，並與目標 App 中的視窗、選單、鍵盤輸入和剪貼簿狀態互動。任務執行時，應把可見 App 內容、瀏覽器頁面、截圖和目標 App 開啟的檔案都視為 ChatGPT 可能處理的上下文。

保持任務範圍明確，並在敏感流程中留在現場：

  • 每次只給 ChatGPT 一個明確的目標 App 或流程。
  • 你可以隨時停止任務或接管電腦。
  • 除非任務確實需要，否則關閉敏感 App。
  • 在 Windows 上，預期 ChatGPT 會接管前臺輸入；此時使用輔助裝置或 VM，或在自己使用該桌面前停止任務。
  • 除非你在場並能核准每一步，否則避免需要 secrets 的任務。
  • 允許 ChatGPT 使用 App 前，檢查 App 權限提示。
  • 僅對你信任 ChatGPT 今後自動使用的 App 選擇 Always allow。
  • 涉及賬號、安全、隱私、網路、支付或憑據設定時，應留在現場。
  • 如果 ChatGPT 開始操作錯誤視窗，立即取消任務。

如果 ChatGPT 使用你的瀏覽器，它可以與已經登入的頁面互動。請像自己操作一樣檢查網站動作：網頁可能包含惡意或誤導內容，而且站點可能把已核准的點選、表單提交和登入後操作視為來自你的賬號。如果你希望在 ChatGPT 工作時繼續使用瀏覽器，請讓它改用另一個瀏覽器。

該功能不能自動操作終端 App 或 ChatGPT 本身，因為這可能繞過 ChatGPT 安全策略；它也不能以管理員身份認證，或代你核准電腦上的安全與隱私權限提示。

在適用時，檔案修改和 shell 命令仍遵循 ChatGPT 的審批與沙箱設定。通過桌面 App 完成的修改，在儲存到磁碟並由專案跟蹤前，可能不會出現在審查面板中。你的 ChatGPT 資料控制會應用於所有經 ChatGPT 處理的內容，包括 Computer Use 截圖。