Computer Use

Computer Use ile ChatGPT, macOS veya Windows'taki grafik kullanıcı arayüzlerini görebilir ve kullanabilir. Bir masaüstü uygulamasını kontrol etme, tarayıcı kullanma, uygulama ayarlarını değiştirme, eklenti olarak sunulmayan bir veri kaynağıyla çalışma veya yalnızca grafik kullanıcı arayüzünde ortaya çıkan bir hatayı yeniden oluşturma gibi komut satırı araçlarının ya da yapılandırılmış entegrasyonların yeterli olmadığı görevlerde kullanın.

Computer Use, proje çalışma alanınızın dışındaki uygulama ve sistem durumunu etkileyebileceğinden kapsamı belirlenmiş görevlerde kullanın ve devam etmeden önce izin istemlerini inceleyin.

Computer Use'ı ayarlama

ChatGPT masaüstü uygulamasında ChatGPT'yi seçip geçiş menüsünden Work'e geçin veya Codex'i seçin. Plugins > Computer Use bölümünü açın ve istenirse Install plugin seçeneğini belirleyin. ChatGPT Enable seçeneğini gösterirse bunu seçin. Computer Use sunucusu ve beceri geçişlerini açın, ardından başlamak için Try now seçeneğini belirleyin.

Ardından uygulama erişimini incelemek için Settings > Computer use bölümünü açın. Bağlı tarayıcı denetimleri bir Manage işlemi gösterir. Gelecekteki görevler için onayladığınız uygulamalar Always-allowed apps bölümünde görünür.

Windows'ta görev çalışırken hedef uygulamayı etkin masaüstünde görünür tutun. macOS'ta ChatGPT'nin hedef uygulamayı görüp onunla etkileşim kurabilmesi için istendiğinde Screen Recording ve Accessibility izinlerini verin.

macOS'ta şunları verin:

• ChatGPT'nin hedef uygulamayı görebilmesi için Screen Recording izni.
• ChatGPT'nin tıklayabilmesi, yazabilmesi ve gezinebilmesi için Accessibility izni.

Computer Use ne zaman kullanılmalı?

Görev, yalnızca dosyalar veya komut çıktısı üzerinden doğrulanması zor bir grafik kullanıcı arayüzüne bağlı olduğunda Computer Use'ı seçin.

Uygun kullanım alanları şunlardır:

• ChatGPT'nin geliştirdiği bir macOS uygulamasını, Windows uygulamasını, iOS simülatör akışını veya başka bir masaüstü uygulamasını test etme.
• Web tarayıcınızı gerektiren bir görevi gerçekleştirme.
• Yalnızca grafik arayüzde görünen bir hatayı yeniden oluşturma.
• Bir kullanıcı arayüzünde tıklayarak ilerlemeyi gerektiren uygulama ayarlarını değiştirme.
• Eklenti aracılığıyla kullanılamayan bir uygulamadaki veya veri kaynağındaki bilgileri inceleme.
• macOS'ta siz başka bir yerde çalışmaya devam ederken kapsamı belirlenmiş bir görevi arka planda çalıştırma.
• Birden fazla uygulamaya yayılan bir iş akışını yürütme.

Yerel olarak geliştirdiğiniz web uygulamalarında önce yerleşik tarayıcıyı kullanın.

Windows'ta ön planda kullanım

Windows'ta Computer Use etkin masaüstünde çalışır. Siz aynı Windows oturumunu kullanmaya devam ederken arka planda çalışamaz; bu nedenle görev çalışırken ChatGPT'nin işaretçiyi hareket ettirmesini, yazı yazmasını ve ön planın denetimini devralmasını bekleyin.

Siz uzaktayken devam etmesi gereken Windows görevleri için Windows cihazını kilidi açık ve internete bağlı tutun. İlerlemeyi kontrol etmek veya ek talimatlar göndermek için telefonunuzdan uzaktan denetimi kullanın ya da ChatGPT masaüstü uygulamasını bir Windows sanal makinesinde çalıştırarak Computer Use'ın ana masaüstünüz yerine VM'nin denetimini devralmasını sağlayın.

Bir Computer Use görevi başlatma

İsteminizde @Computer veya @AppName ifadesini kullanın ya da ChatGPT'den Computer Use'ı kullanmasını isteyin. ChatGPT'nin kullanması gereken uygulamayı, pencereyi veya akışı tam olarak açıklayın.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.

Open @Chrome and verify the checkout page still works after the latest changes.

Hedef uygulama özel bir eklenti veya MCP sunucusu sunuyorsa veri erişimi ve tekrarlanabilir işlemler için bu yapılandırılmış entegrasyonu tercih edin. ChatGPT'nin uygulamayı görsel olarak incelemesi veya kullanması gerektiğinde Computer Use'ı seçin.

İzinler ve onaylar

Computer Use sistem izinleri, ChatGPT'deki uygulama onaylarından ayrıdır. macOS'ta Screen Recording ve Accessibility izinleri ChatGPT'nin uygulamaları görmesini ve kullanmasını sağlar. Uygulama onayları, ChatGPT'nin hangi uygulamaları kullanmasına izin verdiğinizi belirler. Dosya okumaları, dosya düzenlemeleri ve kabuk komutları yine görevin korumalı alan ve onay ayarlarına tabidir.

Computer Use ile ChatGPT yalnızca izin verdiğiniz uygulamaları görebilir ve bu uygulamalarda işlem yapabilir. Bir görev sırasında ChatGPT, bilgisayarınızdaki bir uygulamayı kullanmadan önce izninizi ister. ChatGPT'nin gelecekte yeniden sormadan bu uygulamayı kullanabilmesi için Always allow seçeneğini belirleyebilirsiniz. Uygulamaları ChatGPT masaüstü uygulaması ayarlarındaki Computer Use bölümünün Always allow listesinden kaldırabilirsiniz.

ChatGPT ayrıca hassas veya kesintiye yol açabilecek işlemleri gerçekleştirmeden önce izin isteyebilir.

ChatGPT bir uygulamayı göremiyor veya denetleyemiyorsa macOS'ta System Settings > Privacy & Security bölümünü açıp Codex Computer Use için Screen Recording ve Accessibility ayarlarını kontrol edin. Windows'ta hedef uygulamanın etkin masaüstü oturumunda görünür olduğundan emin olun.

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

Kilitli kullanım

Kilitli kullanım, etkinleştirmeniz koşuluyla Mac'iniz kilitlendikten sonra ChatGPT'nin Computer Use'ı kullanmasını sağlar. Bir ChatGPT görevinin Mac kilitlendikten sonra bağlı bir cihazdan masaüstü uygulamalarını kullanması gerektiğinde bundan yararlanın.

Kilitli kullanımı etkinleştirdiğinizde ChatGPT, macOS kilit açma akışına katılan bir Apple yetkilendirme eklentisi yükler.

Kilitli kullanım bilinçli olarak dar kapsamlıdır. Mac'iniz için genel amaçlı bir uzaktan kilit açma yolu değildir ve diğer uygulamaların veya yerel işlemlerin bilgisayarın kilidini açmasına izin vermez.

Kilitli kullanımı etkinleştirmek için:

1. Uygulamada Settings > Computer Use bölümünü açın.
2. Kilitli kullanımı etkinleştirin.
3. Mac'inizin ekranı kilitlendikten sonra bağlı bir cihazdan Computer Use kullanan bir görev başlatın.

Bir ChatGPT görevi Mac'iniz kilitlendikten sonra Computer Use aracılığıyla bir uygulamaya eriştiğinde ChatGPT, yerel kullanımı engelleyip kilitli ekran korumalarını sürdürürken Mac'in kilidini geçici olarak açar. ChatGPT kilidi açmadan önce, kilit açma girişiminin etkin ve güvenilir bir Computer Use turuna yönelik olup olmadığını kontrol eder. Bu kısa süreli pencerenin dışında ChatGPT kilit açma işlemini reddeder ve gerekirse kilidi elle açmanızı ister.

Kilitli kullanım şu güvenlik önlemlerini içerir:

• Yetkilendirme penceresi kısa sürelidir ve mevcut kilit açma girişimiyle sınırlıdır.
• Otomatik kilit açma yalnızca etkin Computer Use turları sırasında ChatGPT tarafından kullanılabilir.
• Masaüstünün kilidi geçici olarak açıkken ChatGPT tüm ekranları kaplar.
• ChatGPT yerel klavye veya işaretçi girişi algılarsa Mac'i yeniden kilitler ve siz elle kilidi açana kadar otomatik kilit açmayı duraklatır.

Güvenlik yönergeleri

Computer Use ile ChatGPT ekran içeriğini görebilir, ekran görüntüleri alabilir ve hedef uygulamadaki pencereler, menüler, klavye girişi ve pano durumuyla etkileşim kurabilir. Görünür uygulama içeriğini, tarayıcı sayfalarını, ekran görüntülerini ve hedef uygulamada açılan dosyaları, görev çalışırken ChatGPT'nin işleyebileceği bağlam olarak değerlendirin.

Görevlerin kapsamını dar tutun ve hassas akışlar sırasında hazır bulunun:

• ChatGPT'ye aynı anda tek bir net hedef uygulama veya akış verin.
• Görevi istediğiniz zaman durdurabilir veya bilgisayarınızın denetimini devralabilirsiniz.
• Görev için gerekli olmadıkça hassas uygulamaları kapalı tutun.
• Windows'ta ChatGPT'nin çalışırken ön plan girişinin denetimini devralmasını bekleyin; ikincil bir cihaz veya VM kullanın ya da bu masaüstünü kendiniz kullanmadan önce görevi durdurun.
• Siz hazır bulunup her adımı onaylayamıyorsanız gizli bilgi gerektiren görevlerden kaçının.
• ChatGPT'nin bir uygulamayı kullanmasına izin vermeden önce uygulama izni istemlerini inceleyin.
• Always allow seçeneğini yalnızca ChatGPT'nin gelecekteki görevlerde otomatik olarak kullanmasına güvendiğiniz uygulamalar için kullanın.
• Hesap, güvenlik, gizlilik, ağ, ödeme veya kimlik bilgileriyle ilgili ayarlar sırasında hazır bulunun.
• ChatGPT yanlış pencereyle etkileşim kurmaya başlarsa görevi iptal edin.

ChatGPT tarayıcınızı kullanırsa oturum açmış olduğunuz sayfalarla etkileşim kurabilir. Web sitesi işlemlerini kendiniz yapıyormuş gibi inceleyin: web sayfaları kötü amaçlı veya yanıltıcı içerik barındırabilir ve siteler onaylanan tıklamaları, form gönderimlerini ve oturum açıkken yapılan işlemleri hesabınızdan gelmiş sayabilir. ChatGPT çalışırken tarayıcınızı kullanmaya devam etmek için ChatGPT'den farklı bir tarayıcı kullanmasını isteyin.

Bu özellik terminal uygulamalarını veya ChatGPT'nin kendisini otomatikleştiremez; çünkü bunların otomatikleştirilmesi ChatGPT güvenlik politikalarının atlanmasına yol açabilir. Ayrıca yönetici olarak kimlik doğrulaması yapamaz veya bilgisayarınızdaki güvenlik ve gizlilik izni istemlerini onaylayamaz.

Dosya düzenlemeleri ve kabuk komutları, uygun olduğu durumlarda yine ChatGPT onay ve korumalı alan ayarlarına tabidir. Masaüstü uygulamaları üzerinden yapılan değişiklikler diske kaydedilip proje tarafından izlenene kadar inceleme bölmesinde görünmeyebilir. ChatGPT veri denetimleriniz, Computer Use tarafından alınan ekran görüntüleri de dahil olmak üzere ChatGPT aracılığıyla işlenen içeriklere uygulanır.