Dokumentasi ChatGPT
Bahasa Indonesia
Hubungi kami goolvyouyou@gmail.com

Computer Use

Memungkinkan ChatGPT menggunakan aplikasi desktop saat bekerja

Dengan Computer Use, ChatGPT dapat melihat dan mengoperasikan antarmuka pengguna grafis di macOS atau Windows. Gunakan untuk tugas yang tidak cukup ditangani oleh alat baris perintah atau integrasi terstruktur, seperti memeriksa aplikasi desktop, menggunakan browser, mengubah pengaturan aplikasi, bekerja dengan sumber data yang tidak tersedia sebagai plugin, atau mereproduksi bug yang hanya terjadi dalam antarmuka pengguna grafis.

Karena Computer Use dapat memengaruhi status aplikasi dan sistem di luar workspace proyek Anda, gunakan untuk tugas dengan cakupan terbatas dan tinjau permintaan izin sebelum melanjutkan.

Menyiapkan Computer Use

Di aplikasi desktop ChatGPT, pilih ChatGPT dan alihkan ke Work di pengalih, atau pilih Codex. Buka Plugins > Computer Use dan pilih Install plugin jika diminta. Jika ChatGPT menampilkan Enable, pilih opsi tersebut. Aktifkan pengalih server dan skill Computer Use, lalu pilih Try now untuk memulai.

Kemudian buka Settings > Computer use untuk meninjau akses aplikasi. Kontrol browser yang terhubung menampilkan tindakan Manage. Aplikasi yang Anda setujui untuk tugas mendatang muncul di bagian Always-allowed apps.

Di Windows, pertahankan aplikasi sasaran tetap terlihat di desktop aktif selama tugas berjalan. Di macOS, berikan izin Screen Recording dan Accessibility saat diminta agar ChatGPT dapat melihat dan berinteraksi dengan aplikasi sasaran.

Di macOS, berikan:

  • Izin Screen Recording agar ChatGPT dapat melihat aplikasi sasaran.
  • Izin Accessibility agar ChatGPT dapat mengeklik, mengetik, dan menavigasi.

Kapan menggunakan Computer Use

Pilih Computer Use saat tugas bergantung pada antarmuka pengguna grafis yang sulit diverifikasi hanya melalui file atau output perintah.

Penggunaan yang sesuai meliputi:

  • Menguji aplikasi macOS, aplikasi Windows, alur simulator iOS, atau aplikasi desktop lain yang sedang dibuat ChatGPT.
  • Melakukan tugas yang memerlukan browser web Anda.
  • Mereproduksi bug yang hanya muncul dalam antarmuka grafis.
  • Mengubah pengaturan aplikasi yang mengharuskan Anda mengeklik UI.
  • Memeriksa informasi dalam aplikasi atau sumber data yang tidak tersedia melalui plugin.
  • Di macOS, menjalankan tugas dengan cakupan terbatas di latar belakang sementara Anda tetap bekerja di tempat lain.
  • Menjalankan alur kerja yang mencakup lebih dari satu aplikasi.

Untuk aplikasi web yang Anda buat secara lokal, gunakan browser bawaan terlebih dahulu.

Penggunaan di latar depan Windows

Di Windows, Computer Use berjalan di desktop aktif. Computer Use tidak dapat beroperasi di latar belakang saat Anda tetap menggunakan sesi Windows yang sama, jadi ChatGPT akan menggerakkan penunjuk, mengetik, dan mengambil alih latar depan selama tugas berjalan.

Untuk tugas Windows yang harus berlanjut saat Anda meninggalkannya, biarkan perangkat Windows tidak terkunci dan terhubung ke internet. Gunakan kontrol jarak jauh dari ponsel Anda untuk memeriksa progres atau mengirim instruksi lanjutan, atau jalankan aplikasi desktop ChatGPT di dalam mesin virtual Windows agar Computer Use mengambil alih VM, bukan desktop utama Anda.

Memulai tugas Computer Use

Sebutkan @Computer atau @AppName dalam prompt Anda, atau minta ChatGPT menggunakan Computer Use. Jelaskan secara tepat aplikasi, jendela, atau alur yang harus dioperasikan ChatGPT.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

Jika aplikasi sasaran menyediakan plugin khusus atau server MCP, utamakan integrasi terstruktur tersebut untuk akses data dan operasi yang dapat diulang. Pilih Computer Use saat ChatGPT perlu memeriksa atau mengoperasikan aplikasi secara visual.

Izin dan persetujuan

Izin sistem untuk Computer Use terpisah dari persetujuan aplikasi di ChatGPT. Di macOS, izin Screen Recording dan Accessibility memungkinkan ChatGPT melihat dan mengoperasikan aplikasi. Persetujuan aplikasi menentukan aplikasi yang Anda izinkan untuk digunakan ChatGPT. Pembacaan file, pengeditan file, dan perintah shell tetap mengikuti pengaturan sandbox dan persetujuan untuk tugas tersebut.

Dengan Computer Use, ChatGPT hanya dapat melihat dan mengambil tindakan di aplikasi yang Anda izinkan. Selama tugas berlangsung, ChatGPT meminta izin Anda sebelum dapat menggunakan aplikasi di komputer Anda. Anda dapat memilih Always allow agar ChatGPT dapat menggunakan aplikasi tersebut di masa mendatang tanpa meminta lagi. Anda dapat menghapus aplikasi dari daftar Always allow di bagian Computer Use pada pengaturan aplikasi desktop ChatGPT.

Aplikasi desktop ChatGPT yang meminta izin menggunakan Calculator dengan Computer Use

ChatGPT juga dapat meminta izin sebelum melakukan tindakan sensitif atau mengganggu.

Jika ChatGPT tidak dapat melihat atau mengontrol aplikasi, buka System Settings > Privacy & Security dan periksa Screen Recording serta Accessibility untuk Codex Computer Use di macOS. Di Windows, pastikan aplikasi sasaran terlihat dalam sesi desktop aktif.

Mengonfigurasi kebijakan aplikasi Windows

Di Windows, Computer Use menyimpan keputusan aplikasi persisten di $CODEX_HOME/config.toml. Cantumkan aplikasi yang dapat dibuka Computer Use tanpa meminta izin:

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

Gunakan pengidentifikasi aplikasi yang dilaporkan Windows Computer Use, seperti nama executable untuk aplikasi desktop atau app user model ID untuk aplikasi terpaket. ChatGPT meminta izin untuk aplikasi yang tidak ada dalam daftar. Untuk mencabut keputusan yang disimpan, hapus aplikasi dari Settings > Computer Use > Always allow.

Tabel ini menyimpan keputusan Computer Use lokal. Tabel ini terpisah dari requirements.toml yang diberlakukan admin, tempat administrator dapat menonaktifkan Computer Use dengan [features].computer_use = false. Entri daftar izin $CODEX_HOME/computer-use/config.toml lama dimigrasikan ke pengaturan saat ini; daftar denied miliknya bukan bagian dari skema kebijakan saat ini.

Penggunaan saat terkunci

Penggunaan saat terkunci memungkinkan ChatGPT menggunakan Computer Use setelah Mac Anda terkunci, tetapi hanya setelah Anda mengaktifkannya. Gunakan saat tugas ChatGPT perlu menggunakan aplikasi desktop dari perangkat yang terhubung setelah Mac terkunci.

Saat Anda mengaktifkan penggunaan saat terkunci, ChatGPT menginstal plug-in otorisasi Apple yang berpartisipasi dalam alur pembukaan kunci macOS.

Penggunaan saat terkunci sengaja dibatasi. Fitur ini bukan jalur pembukaan kunci jarak jauh serbaguna untuk Mac Anda, dan tidak memungkinkan aplikasi atau proses lokal lain membuka kunci komputer.

Untuk menggunakan penggunaan saat terkunci:

  1. Buka Settings > Computer Use dalam aplikasi.
  2. Aktifkan penggunaan saat terkunci.
  3. Mulai tugas yang menggunakan Computer Use dari perangkat yang terhubung setelah layar Mac Anda terkunci.

Saat tugas ChatGPT mengakses aplikasi melalui Computer Use setelah Mac terkunci, ChatGPT membuka kunci Mac untuk sementara sambil memblokir penggunaan lokal dan mempertahankan perlindungan layar terkunci. Sebelum membuka kunci, ChatGPT memeriksa apakah upaya pembukaan kunci ditujukan untuk giliran Computer Use yang aktif dan tepercaya. Di luar jangka waktu singkat tersebut, ChatGPT menolak pembukaan kunci dan meminta Anda membuka kunci secara manual jika diperlukan.

Penggunaan saat terkunci mencakup perlindungan berikut:

  • Jangka waktu otorisasi berlangsung singkat dan terbatas pada upaya pembukaan kunci saat ini.
  • Pembukaan kunci otomatis hanya tersedia bagi ChatGPT selama giliran Computer Use aktif.
  • ChatGPT menutupi setiap layar saat desktop terbuka sementara.
  • Jika ChatGPT mendeteksi input keyboard atau penunjuk lokal, ChatGPT mengunci kembali Mac dan menjeda pembukaan kunci otomatis sampai Anda membukanya secara manual.

Panduan keselamatan

Dengan Computer Use, ChatGPT dapat melihat konten layar, mengambil tangkapan layar, dan berinteraksi dengan jendela, menu, input keyboard, dan status clipboard dalam aplikasi sasaran. Perlakukan konten aplikasi yang terlihat, halaman browser, tangkapan layar, dan file yang dibuka dalam aplikasi sasaran sebagai konteks yang dapat diproses ChatGPT selama tugas berjalan.

Batasi cakupan tugas dan tetap awasi alur sensitif:

  • Berikan satu aplikasi atau alur sasaran yang jelas kepada ChatGPT dalam satu waktu.
  • Anda dapat menghentikan tugas atau mengambil alih komputer kapan saja.
  • Tutup aplikasi sensitif kecuali diperlukan untuk tugas tersebut.
  • Di Windows, ChatGPT akan mengambil alih input latar depan selama bekerja; gunakan perangkat sekunder, VM, atau hentikan tugas sebelum menggunakan desktop tersebut sendiri.
  • Hindari tugas yang memerlukan rahasia kecuali Anda hadir dan dapat menyetujui setiap langkah.
  • Tinjau permintaan izin aplikasi sebelum mengizinkan ChatGPT menggunakan aplikasi.
  • Gunakan Always allow hanya untuk aplikasi yang Anda percayai dapat digunakan ChatGPT secara otomatis dalam tugas mendatang.
  • Tetap awasi pengaturan terkait akun, keamanan, privasi, jaringan, pembayaran, atau kredensial.
  • Batalkan tugas jika ChatGPT mulai berinteraksi dengan jendela yang salah.

Jika ChatGPT menggunakan browser Anda, ChatGPT dapat berinteraksi dengan halaman tempat Anda sudah masuk. Tinjau tindakan situs web seolah-olah Anda melakukannya sendiri: halaman web dapat berisi konten berbahaya atau menyesatkan, dan situs dapat menganggap klik yang disetujui, pengiriman formulir, serta tindakan saat masuk sebagai berasal dari akun Anda. Agar tetap dapat menggunakan browser saat ChatGPT bekerja, minta ChatGPT menggunakan browser lain.

Fitur ini tidak dapat mengotomatiskan aplikasi terminal atau ChatGPT itu sendiri, karena mengotomatiskannya dapat menghindari kebijakan keamanan ChatGPT. Fitur ini juga tidak dapat mengautentikasi sebagai administrator atau menyetujui permintaan izin keamanan dan privasi di komputer Anda.

Pengeditan file dan perintah shell tetap mengikuti pengaturan persetujuan dan sandbox ChatGPT jika berlaku. Perubahan yang dibuat melalui aplikasi desktop mungkin tidak muncul di panel peninjauan hingga disimpan ke disk dan dilacak oleh proyek. Kontrol data ChatGPT Anda berlaku untuk konten yang diproses melalui ChatGPT, termasuk tangkapan layar yang diambil oleh Computer Use.