Tài liệu ChatGPT
Tiếng Việt
Liên hệ goolvyouyou@gmail.com

Computer Use

Cho phép ChatGPT sử dụng các ứng dụng trên máy tính trong khi làm việc

Với Computer Use, ChatGPT có thể xem và điều khiển giao diện người dùng đồ họa trên macOS hoặc Windows. Hãy dùng tính năng này cho những tác vụ mà công cụ dòng lệnh hoặc tích hợp có cấu trúc không đáp ứng được, chẳng hạn như kiểm tra ứng dụng máy tính, sử dụng trình duyệt, thay đổi cài đặt ứng dụng, làm việc với nguồn dữ liệu không có dưới dạng plugin hoặc tái hiện lỗi chỉ xảy ra trong giao diện người dùng đồ họa.

Vì Computer Use có thể ảnh hưởng đến trạng thái ứng dụng và hệ thống bên ngoài không gian làm việc của dự án, hãy dùng tính năng này cho các tác vụ có phạm vi rõ ràng và xem xét lời nhắc cấp quyền trước khi tiếp tục.

Thiết lập Computer Use

Trong ứng dụng ChatGPT dành cho máy tính, hãy chọn ChatGPT rồi chuyển sang Work trong bộ chuyển đổi hoặc chọn Codex. Mở Plugins > Computer Use và chọn Install plugin nếu được nhắc. Nếu ChatGPT hiển thị Enable, hãy chọn mục này. Bật các nút chuyển máy chủ và kỹ năng Computer Use, sau đó chọn Try now để bắt đầu.

Sau đó, mở Settings > Computer use để xem xét quyền truy cập ứng dụng. Các công cụ điều khiển trình duyệt đã kết nối sẽ hiển thị hành động Manage. Các ứng dụng bạn phê duyệt cho tác vụ sau này xuất hiện trong phần Always-allowed apps.

Trên Windows, hãy giữ ứng dụng đích hiển thị trên màn hình nền đang hoạt động trong khi tác vụ chạy. Trên macOS, hãy cấp quyền Screen Recording và Accessibility khi được nhắc để ChatGPT có thể xem và tương tác với ứng dụng đích.

Trên macOS, hãy cấp:

  • Quyền Screen Recording để ChatGPT có thể xem ứng dụng đích.
  • Quyền Accessibility để ChatGPT có thể nhấp, nhập và điều hướng.

Khi nào nên dùng Computer Use

Hãy chọn Computer Use khi tác vụ phụ thuộc vào giao diện người dùng đồ họa khó xác minh chỉ qua tệp hoặc đầu ra lệnh.

Các trường hợp phù hợp gồm:

  • Kiểm thử ứng dụng macOS, ứng dụng Windows, luồng trong trình mô phỏng iOS hoặc ứng dụng máy tính khác mà ChatGPT đang xây dựng.
  • Thực hiện tác vụ cần dùng trình duyệt web của bạn.
  • Tái hiện lỗi chỉ xuất hiện trong giao diện đồ họa.
  • Thay đổi cài đặt ứng dụng cần thao tác nhấp qua giao diện người dùng.
  • Kiểm tra thông tin trong ứng dụng hoặc nguồn dữ liệu không có thông qua plugin.
  • Trên macOS, chạy một tác vụ có phạm vi rõ ràng trong nền trong khi bạn tiếp tục làm việc ở nơi khác.
  • Thực hiện quy trình trải dài trên nhiều ứng dụng.

Đối với ứng dụng web bạn đang xây dựng cục bộ, trước tiên hãy dùng trình duyệt tích hợp.

Sử dụng ở tiền cảnh trên Windows

Trên Windows, Computer Use chạy trên màn hình nền đang hoạt động. Tính năng này không thể hoạt động trong nền khi bạn vẫn sử dụng cùng một phiên Windows, vì vậy ChatGPT sẽ di chuyển con trỏ, nhập và chiếm quyền điều khiển tiền cảnh trong khi tác vụ chạy.

Đối với tác vụ Windows cần tiếp tục khi bạn rời đi, hãy giữ thiết bị Windows mở khóa và kết nối Internet. Dùng điều khiển từ xa từ điện thoại để kiểm tra tiến độ hoặc gửi hướng dẫn tiếp theo, hay chạy ứng dụng ChatGPT dành cho máy tính trong một máy ảo Windows để Computer Use điều khiển máy ảo thay vì màn hình nền chính của bạn.

Bắt đầu tác vụ Computer Use

Đề cập đến @Computer hoặc @AppName trong lời nhắc hoặc yêu cầu ChatGPT dùng Computer Use. Mô tả chính xác ứng dụng, cửa sổ hoặc luồng mà ChatGPT cần thao tác.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

Nếu ứng dụng đích cung cấp plugin chuyên dụng hoặc máy chủ MCP, hãy ưu tiên tích hợp có cấu trúc đó để truy cập dữ liệu và thực hiện các thao tác có thể lặp lại. Chọn Computer Use khi ChatGPT cần kiểm tra hoặc thao tác ứng dụng bằng hình ảnh.

Quyền và phê duyệt

Quyền hệ thống dành cho Computer Use tách biệt với phê duyệt ứng dụng trong ChatGPT. Trên macOS, quyền Screen Recording và Accessibility cho phép ChatGPT xem và điều khiển ứng dụng. Phê duyệt ứng dụng xác định những ứng dụng bạn cho phép ChatGPT sử dụng. Việc đọc tệp, chỉnh sửa tệp và chạy lệnh shell vẫn tuân theo cài đặt sandbox và phê duyệt của tác vụ.

Với Computer Use, ChatGPT chỉ có thể xem và thực hiện hành động trong các ứng dụng bạn cho phép. Trong một tác vụ, ChatGPT sẽ xin phép trước khi có thể sử dụng một ứng dụng trên máy tính của bạn. Bạn có thể chọn Always allow để ChatGPT dùng ứng dụng đó trong tương lai mà không cần hỏi lại. Bạn có thể xóa ứng dụng khỏi danh sách Always allow trong phần Computer Use của cài đặt ứng dụng ChatGPT dành cho máy tính.

Ứng dụng ChatGPT dành cho máy tính yêu cầu quyền sử dụng Calculator bằng Computer Use

ChatGPT cũng có thể xin phép trước khi thực hiện các hành động nhạy cảm hoặc gây gián đoạn.

Nếu ChatGPT không thể xem hoặc điều khiển một ứng dụng, hãy mở System Settings > Privacy & Security và kiểm tra Screen Recording cùng Accessibility cho Codex Computer Use trên macOS. Trên Windows, hãy đảm bảo ứng dụng đích hiển thị trong phiên màn hình nền đang hoạt động.

Định cấu hình chính sách ứng dụng Windows

Trên Windows, Computer Use lưu các quyết định lâu dài về ứng dụng trong $CODEX_HOME/config.toml. Liệt kê các ứng dụng mà Computer Use có thể mở mà không cần hỏi:

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

Dùng mã định danh ứng dụng do Windows Computer Use báo cáo, chẳng hạn như tên tệp thực thi của ứng dụng máy tính hoặc ID mô hình người dùng ứng dụng của một ứng dụng đóng gói. ChatGPT sẽ hỏi đối với ứng dụng không có trong danh sách. Để thu hồi quyết định đã lưu, hãy xóa ứng dụng khỏi Settings > Computer Use > Always allow.

Bảng này lưu các quyết định Computer Use cục bộ. Bảng này tách biệt với requirements.toml do quản trị viên thực thi, nơi quản trị viên có thể tắt Computer Use bằng [features].computer_use = false. Các mục trong danh sách cho phép $CODEX_HOME/computer-use/config.toml cũ được di chuyển sang cài đặt hiện tại; danh sách denied của cài đặt đó không thuộc lược đồ chính sách hiện tại.

Sử dụng khi máy bị khóa

Chế độ sử dụng khi máy bị khóa cho phép ChatGPT dùng Computer Use sau khi máy Mac khóa, nhưng chỉ sau khi bạn bật chế độ này. Hãy dùng khi một tác vụ ChatGPT cần sử dụng ứng dụng máy tính từ thiết bị đã kết nối sau khi máy Mac khóa.

Khi bạn bật chế độ sử dụng khi máy bị khóa, ChatGPT sẽ cài đặt một plugin ủy quyền của Apple tham gia vào luồng mở khóa macOS.

Chế độ sử dụng khi máy bị khóa được giới hạn có chủ đích. Đây không phải là phương thức mở khóa từ xa đa dụng cho máy Mac và không cho phép ứng dụng hoặc tiến trình cục bộ khác mở khóa máy tính.

Để dùng chế độ sử dụng khi máy bị khóa:

  1. Mở Settings > Computer Use trong ứng dụng.
  2. Bật chế độ sử dụng khi máy bị khóa.
  3. Bắt đầu tác vụ dùng Computer Use từ một thiết bị đã kết nối sau khi màn hình máy Mac đã khóa.

Khi một tác vụ ChatGPT truy cập ứng dụng qua Computer Use sau khi máy Mac khóa, ChatGPT sẽ tạm thời mở khóa máy Mac, đồng thời chặn việc sử dụng cục bộ và duy trì các biện pháp bảo vệ của màn hình khóa. Trước khi mở khóa, ChatGPT kiểm tra xem lần mở khóa đó có dành cho một lượt Computer Use đang hoạt động và đáng tin cậy hay không. Ngoài khoảng thời gian ngắn đó, ChatGPT từ chối mở khóa và yêu cầu bạn mở khóa thủ công nếu cần.

Chế độ sử dụng khi máy bị khóa có các biện pháp bảo vệ sau:

  • Khoảng thời gian ủy quyền rất ngắn và chỉ áp dụng cho lần mở khóa hiện tại.
  • Tính năng mở khóa tự động chỉ dành cho ChatGPT trong các lượt Computer Use đang hoạt động.
  • ChatGPT che phủ mọi màn hình trong khi máy tính tạm thời được mở khóa.
  • Nếu ChatGPT phát hiện thao tác bàn phím hoặc con trỏ cục bộ, ứng dụng sẽ khóa lại máy Mac và tạm dừng mở khóa tự động cho đến khi bạn mở khóa thủ công.

Hướng dẫn an toàn

Với Computer Use, ChatGPT có thể xem nội dung màn hình, chụp ảnh màn hình và tương tác với cửa sổ, menu, dữ liệu nhập từ bàn phím và trạng thái bảng nhớ tạm trong ứng dụng đích. Hãy coi nội dung ứng dụng hiển thị, trang trình duyệt, ảnh chụp màn hình và tệp được mở trong ứng dụng đích là ngữ cảnh mà ChatGPT có thể xử lý khi tác vụ chạy.

Giữ phạm vi tác vụ ở mức hẹp và luôn có mặt trong các luồng nhạy cảm:

  • Mỗi lần chỉ cung cấp cho ChatGPT một ứng dụng hoặc luồng đích rõ ràng.
  • Bạn có thể dừng tác vụ hoặc giành lại quyền điều khiển máy tính bất cứ lúc nào.
  • Đóng các ứng dụng nhạy cảm trừ khi tác vụ cần đến chúng.
  • Trên Windows, ChatGPT sẽ chiếm quyền điều khiển đầu vào ở tiền cảnh trong khi làm việc; hãy dùng thiết bị phụ, máy ảo hoặc dừng tác vụ trước khi tự sử dụng màn hình nền đó.
  • Tránh các tác vụ cần bí mật, trừ khi bạn có mặt và có thể phê duyệt từng bước.
  • Xem xét lời nhắc cấp quyền ứng dụng trước khi cho phép ChatGPT dùng ứng dụng.
  • Chỉ dùng Always allow cho các ứng dụng bạn tin tưởng để ChatGPT tự động sử dụng trong các tác vụ sau này.
  • Luôn có mặt khi thay đổi cài đặt liên quan đến tài khoản, bảo mật, quyền riêng tư, mạng, thanh toán hoặc thông tin xác thực.
  • Hủy tác vụ nếu ChatGPT bắt đầu tương tác với nhầm cửa sổ.

Nếu ChatGPT dùng trình duyệt của bạn, ứng dụng có thể tương tác với các trang mà bạn đã đăng nhập. Hãy xem xét các hành động trên trang web như thể chính bạn thực hiện: trang web có thể chứa nội dung độc hại hoặc gây hiểu nhầm, và trang web có thể coi những lần nhấp đã phê duyệt, lần gửi biểu mẫu và hành động khi đã đăng nhập là xuất phát từ tài khoản của bạn. Để tiếp tục sử dụng trình duyệt trong khi ChatGPT làm việc, hãy yêu cầu ChatGPT dùng một trình duyệt khác.

Tính năng này không thể tự động hóa ứng dụng terminal hoặc chính ChatGPT vì việc tự động hóa chúng có thể bỏ qua chính sách bảo mật của ChatGPT. Tính năng cũng không thể xác thực với tư cách quản trị viên hoặc phê duyệt lời nhắc quyền bảo mật và quyền riêng tư trên máy tính của bạn.

Việc chỉnh sửa tệp và chạy lệnh shell vẫn tuân theo cài đặt phê duyệt và sandbox của ChatGPT khi áp dụng. Các thay đổi được thực hiện qua ứng dụng máy tính có thể chưa xuất hiện trong ngăn xem xét cho đến khi được lưu vào ổ đĩa và được dự án theo dõi. Các biện pháp kiểm soát dữ liệu ChatGPT của bạn áp dụng cho nội dung được xử lý qua ChatGPT, bao gồm ảnh chụp màn hình do Computer Use tạo.