ChatGPT-Dokumentation
Deutsch
Kontakt goolvyouyou@gmail.com

Computer Use

Lassen Sie ChatGPT während der Arbeit Desktop-Apps verwenden

Mit Computer Use kann ChatGPT grafische Benutzeroberflächen unter macOS oder Windows sehen und bedienen. Verwenden Sie die Funktion für Aufgaben, bei denen Befehlszeilentools oder strukturierte Integrationen nicht ausreichen, beispielsweise um eine Desktop-App zu überprüfen, einen Browser zu verwenden, App- Einstellungen zu ändern, mit einer Datenquelle zu arbeiten, die nicht als Plugin verfügbar ist, oder einen Fehler zu reproduzieren, der nur in einer grafischen Benutzeroberfläche auftritt.

Da Computer Use den App- und Systemzustand außerhalb Ihres Projekt- Workspace beeinflussen kann, sollten Sie die Funktion für klar abgegrenzte Aufgaben verwenden und Berechtigungsanfragen prüfen, bevor Sie fortfahren.

Computer Use einrichten

Wählen Sie in der ChatGPT-Desktop-App ChatGPT aus und wechseln Sie im Umschalter zu Work, oder wählen Sie Codex aus. Öffnen Sie Plugins > Computer Use und wählen Sie bei Aufforderung Plugin installieren aus. Wenn ChatGPT Aktivieren anzeigt, wählen Sie diese Option aus. Aktivieren Sie die Schalter für den Computer Use-Server und den Skill und wählen Sie dann Jetzt ausprobieren, um zu beginnen.

Öffnen Sie anschließend Einstellungen > Computer Use, um den App-Zugriff zu prüfen. Bei verbundenen Browser- Steuerelementen wird die Aktion Verwalten angezeigt. Apps, die Sie für zukünftige Aufgaben genehmigen, erscheinen im Abschnitt Immer erlaubte Apps.

Lassen Sie unter Windows die Ziel-App während der Ausführung der Aufgabe auf dem aktiven Desktop sichtbar. Erteilen Sie unter macOS bei Aufforderung die Berechtigungen für Bildschirmaufnahme und Bedienungshilfen, damit ChatGPT die Ziel-App sehen und mit ihr interagieren kann.

Erteilen Sie unter macOS folgende Berechtigungen:

  • Bildschirmaufnahme, damit ChatGPT die Ziel-App sehen kann.
  • Bedienungshilfen, damit ChatGPT klicken, Text eingeben und navigieren kann.

Wann Sie Computer Use verwenden sollten

Wählen Sie Computer Use, wenn die Aufgabe von einer grafischen Benutzeroberfläche abhängt, die sich allein anhand von Dateien oder Befehlsausgaben nur schwer überprüfen lässt.

Gut geeignet sind beispielsweise:

  • Das Testen einer macOS-App, Windows-App, eines Ablaufs im iOS-Simulator oder einer anderen Desktop-App, die ChatGPT entwickelt.
  • Das Ausführen einer Aufgabe, die Ihren Webbrowser erfordert.
  • Das Reproduzieren eines Fehlers, der nur in einer grafischen Benutzeroberfläche auftritt.
  • Das Ändern von App-Einstellungen, für die Sie sich durch eine Benutzeroberfläche klicken müssen.
  • Das Prüfen von Informationen in einer App oder Datenquelle, die nicht über ein Plugin verfügbar ist.
  • Unter macOS das Ausführen einer klar abgegrenzten Aufgabe im Hintergrund, während Sie an anderer Stelle weiterarbeiten.
  • Das Ausführen eines Workflows, der mehrere Apps umfasst.

Verwenden Sie für Web-Apps, die Sie lokal entwickeln, zuerst den integrierten Browser.

Verwendung im Windows-Vordergrund

Unter Windows wird Computer Use auf dem aktiven Desktop ausgeführt. Die Funktion kann nicht im Hintergrund arbeiten, während Sie dieselbe Windows-Sitzung weiterverwenden. Rechnen Sie daher damit, dass ChatGPT während der Ausführung der Aufgabe den Mauszeiger bewegt, Text eingibt und den Vordergrund übernimmt.

Wenn Windows-Aufgaben weiterlaufen sollen, während Sie nicht am Gerät sind, lassen Sie das Windows- Gerät entsperrt und mit dem Internet verbunden. Verwenden Sie die Fernsteuerung auf Ihrem Smartphone, um den Fortschritt zu prüfen oder weitere Anweisungen zu senden. Alternativ können Sie die ChatGPT-Desktop-App in einer virtuellen Windows- Maschine ausführen, damit Computer Use statt Ihres Hauptdesktops die VM übernimmt.

Eine Computer Use-Aufgabe starten

Erwähnen Sie @Computer oder @AppName in Ihrem Prompt, oder bitten Sie ChatGPT, Computer Use zu verwenden. Beschreiben Sie genau, welche App, welches Fenster oder welchen Ablauf ChatGPT bedienen soll.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

Wenn die Ziel-App ein eigenes Plugin oder einen MCP-Server bereitstellt, bevorzugen Sie diese strukturierte Integration für den Datenzugriff und wiederholbare Vorgänge. Wählen Sie Computer Use, wenn ChatGPT die App visuell prüfen oder bedienen muss.

Berechtigungen und Genehmigungen

Die Systemberechtigungen für Computer Use sind von den App-Genehmigungen in ChatGPT getrennt. Unter macOS ermöglichen die Berechtigungen für Bildschirmaufnahme und Bedienungshilfen ChatGPT, Apps zu sehen und zu bedienen. Mit App-Genehmigungen legen Sie fest, welche Apps ChatGPT verwenden darf. Das Lesen und Bearbeiten von Dateien sowie Shell-Befehle unterliegen weiterhin den Sandbox- und Genehmigungs- einstellungen der Aufgabe.

Mit Computer Use kann ChatGPT nur in den von Ihnen erlaubten Apps Inhalte sehen und Aktionen ausführen. Während einer Aufgabe bittet ChatGPT um Ihre Erlaubnis, bevor es eine App auf Ihrem Computer verwenden kann. Sie können Immer erlauben auswählen, damit ChatGPT diese App zukünftig ohne erneute Nachfrage verwenden kann. Sie können Apps in den Einstellungen der ChatGPT-Desktop-App im Abschnitt Computer Use aus der Liste Immer erlauben entfernen.

ChatGPT-Desktop-App bittet um Erlaubnis, den Rechner mit Computer Use zu verwenden

ChatGPT kann auch um Erlaubnis bitten, bevor es sensible oder störende Aktionen ausführt.

Wenn ChatGPT eine App nicht sehen oder steuern kann, öffnen Sie unter macOS Systemeinstellungen > Datenschutz & Sicherheit und prüfen Sie für Codex Computer Use die Berechtigungen Bildschirmaufnahme und Bedienungshilfen. Stellen Sie unter Windows sicher, dass die Ziel-App in der aktiven Desktop-Sitzung sichtbar ist.

Windows-App-Richtlinie konfigurieren

Unter Windows speichert Computer Use dauerhafte App-Entscheidungen in $CODEX_HOME/config.toml. Führen Sie die Apps auf, die Computer Use ohne Nachfrage öffnen darf:

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

Verwenden Sie die von Windows Computer Use gemeldete App-Kennung, beispielsweise den Namen einer ausführbaren Datei für eine Desktop-App oder eine App User Model ID für eine paketierte App. ChatGPT fragt bei Apps nach, die nicht in der Liste enthalten sind. Um eine gespeicherte Entscheidung zu widerrufen, entfernen Sie die App unter Einstellungen > Computer Use > Immer erlauben.

Diese Tabelle speichert lokale Computer Use-Entscheidungen. Sie ist von der durch Administratoren erzwungenen requirements.toml getrennt, in der Administratoren Computer Use mit [features].computer_use = false deaktivieren können. Ältere Einträge in der Zulassungsliste $CODEX_HOME/computer-use/config.toml werden in die aktuelle Einstellung migriert; ihre Liste denied ist nicht Teil des aktuellen Richtlinienschemas.

Verwendung im gesperrten Zustand

Die Verwendung im gesperrten Zustand ermöglicht ChatGPT, Computer Use auch nach dem Sperren Ihres Mac zu verwenden, jedoch erst, nachdem Sie die Funktion aktiviert haben. Verwenden Sie sie, wenn eine ChatGPT-Aufgabe nach dem Sperren des Mac über ein verbundenes Gerät auf Desktop-Apps zugreifen muss.

Wenn Sie die Verwendung im gesperrten Zustand aktivieren, installiert ChatGPT ein Apple- Autorisierungs-Plug-in, das am macOS-Entsperrvorgang beteiligt ist.

Die Verwendung im gesperrten Zustand ist bewusst eng begrenzt. Sie ist kein universeller Fernentsperrungs- weg für Ihren Mac und ermöglicht weder anderen Apps noch lokalen Prozessen, den Computer zu entsperren.

So verwenden Sie die Funktion im gesperrten Zustand:

  1. Öffnen Sie in der App Einstellungen > Computer Use.
  2. Aktivieren Sie die Verwendung im gesperrten Zustand.
  3. Starten Sie von einem verbundenen Gerät eine Aufgabe, die Computer Use verwendet, nachdem der Bildschirm Ihres Mac gesperrt wurde.

Wenn eine ChatGPT-Aufgabe nach dem Sperren Ihres Mac über Computer Use auf eine App zugreift, entsperrt ChatGPT den Mac vorübergehend, während es die lokale Verwendung blockiert und die Schutzmechanismen des Sperrbildschirms beibehält. Vor dem Entsperren prüft ChatGPT, ob der Entsperrversuch zu einem aktiven, vertrauenswürdigen Computer Use-Vorgang gehört. Außerhalb dieses kurzlebigen Zeitfensters verweigert ChatGPT das Entsperren und fordert Sie bei Bedarf auf, den Mac manuell zu entsperren.

Die Verwendung im gesperrten Zustand umfasst folgende Schutzmaßnahmen:

  • Das Autorisierungsfenster ist kurzlebig und auf den aktuellen Entsperr- versuch begrenzt.
  • Die automatische Entsperrung steht nur ChatGPT während aktiver Computer Use-Vorgänge zur Verfügung.
  • ChatGPT deckt alle Bildschirme ab, während der Desktop vorübergehend entsperrt ist.
  • Wenn ChatGPT lokale Tastatur- oder Zeigereingaben erkennt, sperrt es den Mac erneut und pausiert die automatische Entsperrung, bis Sie ihn manuell entsperren.

Sicherheitshinweise

Mit Computer Use kann ChatGPT Bildschirminhalte anzeigen, Screenshots aufnehmen und mit Fenstern, Menüs, Tastatureingaben und dem Zwischenablagenstatus in der Ziel-App interagieren. Behandeln Sie sichtbare App-Inhalte, Browserseiten, Screenshots und in der Ziel-App geöffnete Dateien als Kontext, den ChatGPT während der Ausführung der Aufgabe verarbeiten kann.

Grenzen Sie Aufgaben klar ein und bleiben Sie bei sensiblen Abläufen anwesend:

  • Geben Sie ChatGPT jeweils nur eine klar definierte Ziel-App oder einen klaren Ablauf vor.
  • Sie können die Aufgabe jederzeit stoppen oder die Steuerung Ihres Computers übernehmen.
  • Lassen Sie sensible Apps geschlossen, sofern sie für die Aufgabe nicht erforderlich sind.
  • Rechnen Sie unter Windows damit, dass ChatGPT während der Arbeit die Eingabe im Vordergrund übernimmt. Verwenden Sie ein zweites Gerät oder eine VM, oder stoppen Sie die Aufgabe, bevor Sie diesen Desktop selbst verwenden.
  • Vermeiden Sie Aufgaben, die Geheimnisse erfordern, sofern Sie nicht anwesend sind und jeden Schritt genehmigen können.
  • Prüfen Sie App-Berechtigungsanfragen, bevor Sie ChatGPT die Verwendung einer App erlauben.
  • Verwenden Sie Immer erlauben nur für Apps, denen Sie vertrauen und die ChatGPT bei zukünftigen Aufgaben automatisch verwenden darf.
  • Bleiben Sie bei Einstellungen zu Konten, Sicherheit, Datenschutz, Netzwerk, Zahlungen oder Anmeldedaten anwesend.
  • Brechen Sie die Aufgabe ab, wenn ChatGPT mit dem falschen Fenster interagiert.

Wenn ChatGPT Ihren Browser verwendet, kann es mit Seiten interagieren, auf denen Sie bereits angemeldet sind. Prüfen Sie Website-Aktionen so, als würden Sie sie selbst ausführen: Webseiten können schädliche oder irreführende Inhalte enthalten, und Websites können genehmigte Klicks, Formularübermittlungen und Aktionen im angemeldeten Zustand Ihrem Konto zurechnen. Wenn Sie Ihren Browser weiterverwenden möchten, während ChatGPT arbeitet, bitten Sie ChatGPT, einen anderen Browser zu verwenden.

Die Funktion kann weder Terminal-Apps noch ChatGPT selbst automatisieren, da deren Automatisierung die Sicherheitsrichtlinien von ChatGPT umgehen könnte. Sie kann sich außerdem nicht als Administrator authentifizieren oder Sicherheits- und Datenschutzberechtigungsanfragen auf Ihrem Computer genehmigen.

Dateibearbeitungen und Shell-Befehle unterliegen gegebenenfalls weiterhin den Genehmigungs- und Sandbox-Einstellungen von ChatGPT. Änderungen, die über Desktop-Apps vorgenommen werden, erscheinen möglicherweise erst dann im Prüfbereich, wenn sie auf dem Datenträger gespeichert und vom Projekt erfasst wurden. Ihre ChatGPT-Datenkontrollen gelten für Inhalte, die über ChatGPT verarbeitet werden, einschließlich der von Computer Use aufgenommenen Screenshots.