從寫程式碼,到創作下一幕

探索 字節跳動 - 火山方舟 的 AI 程式設計與影片創作活動。

Agent Plan & Coding Plan

一站體驗多款熱門模型,為 AI 程式設計與智能體開發提供更多選擇。新使用者可聯絡(微信: goo_lvyouyou)免費體驗 9.9 agent plan。

Seedance 2.5

讓創意,躍然成片。探索 30 秒影片、多模態參考與局部編輯,把腦海中的畫面變成下一支作品。

繁體中文

Appshots

Appshots

從任意 Mac app 取得上下文並提供給 ChatGPT

Appshots 可讓你將最前端的 app 視窗傳送到 ChatGPT 聊天中。當你正在 電腦上的另一個 app 中工作,並希望向 ChatGPT 提供當前上下文以便它 協助你完成任務時,可以使用 Appshots。

Appshots 會捕獲哪些內容

Appshot 只會捕獲最前端的視窗。其中可以包含:

  • 可見視窗的影像。
  • 該視窗中可用的文本,包括可見文本以及 app 在可見滾動區域之外 提供的文本。

將 Appshot 新增到聊天后,它的行為與附件相同。ChatGPT 會像處理你手動 附加的檔案或影像一樣,將 Appshots 本機儲存在會話檔案中。

何時使用 Appshots

當 ChatGPT 需要先取得其他應用的上下文才能執行操作時,可以使用 Appshots。

範例:

  • 分享 API 參考頁面,並讓 ChatGPT 編寫使用該 API 的指令碼。
  • 分享電子郵件或日曆檢視,並讓 ChatGPT起草後續步驟。
  • 分享影像編輯器、設計或預覽視窗,並讓 ChatGPT 修改相關 資源或程式碼。
  • 分享錯誤、設定面板或 app 狀態,直觀展示比文字 描述更容易。

拍攝 Appshot

  1. 將要分享的應用視窗置於最前方。
  2. 在 macOS 上同時按下兩個 Command 鍵,或在 Windows 上同時按下兩個 Alt 鍵,也可以使用 你在 ChatGPT 設定中設定的自定義快捷鍵。
  3. 如果 ChatGPT 提示你設定權限,請完成設定。
  4. 讓 ChatGPT 根據 Appshot 執行任務。
ChatGPT 聊天編輯框,其中包含 Appshot 附件和後續提示詞

預設情況下,ChatGPT 會為 Appshot 新建一個聊天。如果你在過去 60 秒內與某個 聊天進行過互動,ChatGPT 會將 Appshot 新增到最近的 聊天中。連續拍攝的 Appshots 會新增到同一個聊天中。

你可以在應用設定中更改快捷鍵和 Appshot 傳送目標。 選擇當前聊天新聊天 來設定傳送目標,或保留 自動,使用此處描述的行為。

通過懸浮控制項使用 Appshots

在 macOS 上,當寵物懸浮控制項 已開啟且 ChatGPT 主視窗位於後臺時,自動 會通過這些控制項啟動 一個包含 Appshot 的新聊天。將寵物選擇為 Mini 時也會如此。請先在主應用中完成 Appshots 的權限 設定。在 Windows 上,Appshots 會在主應用中開啟。

權限與安全

在 macOS 上,ChatGPT 可能會先請求以下權限,才能擷取 Appshots:

  • 螢幕與系統音訊錄製 權限讓 ChatGPT 能夠捕獲 最前端視窗的影像。
  • 輔助功能 權限讓 ChatGPT 能夠讀取最前端視窗中的可用文本。

拍攝 Appshot 會與 ChatGPT 分享捕獲的影像和可用文本。 除非任務需要這些內容,否則請避免拍攝包含敏感內容的 Appshots。

請像檢查要與 ChatGPT 分享的螢幕截圖和文件一樣檢查 Appshots。

限制與故障排除

Appshots 需要使用 macOS 或 Windows 版 ChatGPT 桌面應用。如果你在 CLI 中恢復一個 已包含 Appshot 的聊天,該附件會作為 聊天曆史的一部分保留,但 CLI 無法建立新的 Appshot。

對於某些 app 和網站(包括 Google Docs、Gmail、Google Sheets 和 Google Slides),ChatGPT 可能只能接收到可見的螢幕截圖,而無法取得 完整文件或螢幕外的文本。在 ChatGPT Work 或 Codex 中,ChatGPT 可以使用 匹配的已安裝外掛存取相關 app 內容,並協助處理你的 請求。

如果 Appshots 無法正常使用,請更新桌面應用,檢查已設定的快捷鍵, 並確認你的組織允許使用 Appshots。在 macOS 上,還需檢查 權限:

  1. 開啟系統設定 > 隱私與安全性
  2. 檢查 Codex Computer Use 的螢幕與系統音訊錄製輔助功能 權限。
  3. 重新啟動 app,然後重試。