Documentation ChatGPT
Français
Contact goolvyouyou@gmail.com

Utilisation de l’ordinateur

Laissez ChatGPT utiliser des applications de bureau pendant qu’il travaille

Avec l’Utilisation de l’ordinateur, ChatGPT peut voir et manipuler les interfaces utilisateur graphiques sur macOS ou Windows. Utilisez-la pour les tâches où les outils en ligne de commande ou les intégrations structurées ne suffisent pas, par exemple pour vérifier une application de bureau, utiliser un navigateur, modifier les paramètres d’une application, travailler avec une source de données qui n’est pas disponible sous forme de plugin, ou reproduire un bug qui ne se produit que dans une interface utilisateur graphique.

Comme l’Utilisation de l’ordinateur peut modifier l’état des applications et du système en dehors de l’espace de travail de votre projet, réservez-la à des tâches bien délimitées et examinez les demandes d’autorisation avant de continuer.

Configurer l’Utilisation de l’ordinateur

Dans l’application de bureau ChatGPT, sélectionnez ChatGPT et passez à Work dans le sélecteur, ou sélectionnez Codex. Ouvrez Plugins > Utilisation de l’ordinateur et sélectionnez Installer le plugin si vous y êtes invité. Si ChatGPT affiche Activer, sélectionnez cette option. Activez les boutons du serveur et de la compétence Utilisation de l’ordinateur, puis sélectionnez Essayer maintenant pour commencer.

Ouvrez ensuite Paramètres > Utilisation de l’ordinateur pour vérifier l’accès aux applications. Les commandes des navigateurs connectés affichent une action Gérer. Les applications que vous approuvez pour les tâches futures apparaissent dans la section Applications toujours autorisées.

Sous Windows, gardez l’application cible visible sur le bureau actif pendant l’exécution de la tâche. Sur macOS, accordez les autorisations Enregistrement de l’écran et Accessibilité lorsque vous y êtes invité afin que ChatGPT puisse voir l’application cible et interagir avec elle.

Sur macOS, accordez :

  • L’autorisation Enregistrement de l’écran afin que ChatGPT puisse voir l’application cible.
  • L’autorisation Accessibilité afin que ChatGPT puisse cliquer, saisir du texte et naviguer.

Quand utiliser l’Utilisation de l’ordinateur

Choisissez l’Utilisation de l’ordinateur lorsque la tâche dépend d’une interface utilisateur graphique qu’il est difficile de vérifier uniquement à partir de fichiers ou de la sortie de commandes.

Cas d’usage adaptés :

  • Tester une application macOS, une application Windows, un parcours dans le simulateur iOS ou une autre application de bureau que ChatGPT développe.
  • Effectuer une tâche qui nécessite votre navigateur web.
  • Reproduire un bug qui n’apparaît que dans une interface graphique.
  • Modifier des paramètres d’application qui nécessitent de parcourir une interface en cliquant.
  • Examiner des informations dans une application ou une source de données qui n’est pas accessible via un plugin.
  • Sur macOS, exécuter une tâche bien délimitée en arrière-plan pendant que vous continuez à travailler ailleurs.
  • Exécuter un flux de travail qui s’étend sur plusieurs applications.

Pour les applications web que vous développez localement, utilisez d’abord le navigateur intégré.

Utilisation au premier plan sous Windows

Sous Windows, l’Utilisation de l’ordinateur s’exécute sur le bureau actif. Elle ne peut pas fonctionner en arrière-plan pendant que vous continuez à utiliser la même session Windows : attendez-vous donc à ce que ChatGPT déplace le pointeur, saisisse du texte et prenne le contrôle du premier plan pendant l’exécution de la tâche.

Pour les tâches Windows qui doivent continuer pendant votre absence, laissez l’appareil Windows déverrouillé et connecté à Internet. Utilisez le contrôle à distance depuis votre téléphone pour vérifier la progression ou envoyer des instructions complémentaires, ou exécutez l’application de bureau ChatGPT dans une machine virtuelle Windows afin que l’Utilisation de l’ordinateur prenne le contrôle de la VM plutôt que de votre bureau principal.

Démarrer une tâche d’Utilisation de l’ordinateur

Mentionnez @Computer ou @AppName dans votre prompt, ou demandez à ChatGPT d’utiliser l’Utilisation de l’ordinateur. Décrivez précisément l’application, la fenêtre ou le parcours que ChatGPT doit manipuler.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

Si l’application cible propose un plugin dédié ou un serveur MCP, privilégiez cette intégration structurée pour accéder aux données et effectuer des opérations reproductibles. Choisissez l’Utilisation de l’ordinateur lorsque ChatGPT doit examiner ou manipuler visuellement l’application.

Autorisations et approbations

Les autorisations système de l’Utilisation de l’ordinateur sont distinctes des approbations d’applications dans ChatGPT. Sur macOS, les autorisations Enregistrement de l’écran et Accessibilité permettent à ChatGPT de voir et de manipuler les applications. Les approbations d’applications déterminent les applications que vous autorisez ChatGPT à utiliser. La lecture de fichiers, leur modification et les commandes shell restent soumises aux paramètres d’environnement isolé et d’approbation de la tâche.

Avec l’Utilisation de l’ordinateur, ChatGPT peut voir et effectuer des actions uniquement dans les applications que vous autorisez. Pendant une tâche, ChatGPT vous demande votre autorisation avant de pouvoir utiliser une application sur votre ordinateur. Vous pouvez choisir Toujours autoriser afin que ChatGPT puisse utiliser cette application à l’avenir sans vous le redemander. Vous pouvez retirer des applications de la liste Toujours autoriser dans la section Utilisation de l’ordinateur des paramètres de l’application de bureau ChatGPT.

L’application de bureau ChatGPT demande l’autorisation d’utiliser Calculatrice avec l’Utilisation de l’ordinateur

ChatGPT peut également demander votre autorisation avant d’effectuer des actions sensibles ou perturbatrices.

Si ChatGPT ne peut pas voir ou contrôler une application, ouvrez Réglages Système > Confidentialité et sécurité, puis vérifiez Enregistrement de l’écran et Accessibilité pour Codex Computer Use sur macOS. Sous Windows, vérifiez que l’application cible est visible dans la session de bureau active.

Configurer la stratégie des applications Windows

Sous Windows, l’Utilisation de l’ordinateur stocke les décisions persistantes relatives aux applications dans $CODEX_HOME/config.toml. Répertoriez les applications que l’Utilisation de l’ordinateur peut ouvrir sans demander d’autorisation :

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

Utilisez l’identifiant d’application signalé par Windows Computer Use, par exemple le nom d’un exécutable pour une application de bureau ou un ID de modèle utilisateur d’application pour une application empaquetée. ChatGPT demande une autorisation pour les applications absentes de la liste. Pour révoquer une décision enregistrée, retirez l’application de Paramètres > Utilisation de l’ordinateur > Toujours autoriser.

Ce tableau stocke les décisions locales de l’Utilisation de l’ordinateur. Il est distinct de la stratégie requirements.toml imposée par les administrateurs, qui leur permet de désactiver l’Utilisation de l’ordinateur avec [features].computer_use = false. Les anciennes entrées de liste d’autorisation $CODEX_HOME/computer-use/config.toml sont migrées vers le paramètre actuel ; sa liste denied ne fait pas partie du schéma de stratégie actuel.

Utilisation en mode verrouillé

L’utilisation en mode verrouillé permet à ChatGPT d’utiliser l’Utilisation de l’ordinateur après le verrouillage de votre Mac, mais seulement après que vous l’avez activée. Utilisez-la lorsqu’une tâche ChatGPT doit accéder à des applications de bureau depuis un appareil connecté après le verrouillage du Mac.

Lorsque vous activez l’utilisation en mode verrouillé, ChatGPT installe un module d’autorisation Apple qui intervient dans le processus de déverrouillage de macOS.

L’utilisation en mode verrouillé est volontairement limitée. Il ne s’agit pas d’un mécanisme général de déverrouillage à distance de votre Mac, et elle ne permet pas à d’autres applications ou processus locaux de déverrouiller l’ordinateur.

Pour utiliser le mode verrouillé :

  1. Ouvrez Paramètres > Utilisation de l’ordinateur dans l’application.
  2. Activez l’utilisation en mode verrouillé.
  3. Démarrez depuis un appareil connecté une tâche qui utilise l’Utilisation de l’ordinateur après le verrouillage de l’écran de votre Mac.

Lorsqu’une tâche ChatGPT accède à une application via l’Utilisation de l’ordinateur après le verrouillage de votre Mac, ChatGPT déverrouille temporairement le Mac tout en bloquant son utilisation locale et en préservant les protections de l’écran verrouillé. Avant le déverrouillage, ChatGPT vérifie que la tentative de déverrouillage concerne un tour d’Utilisation de l’ordinateur actif et fiable. En dehors de cette courte période, ChatGPT refuse le déverrouillage et vous demande, si nécessaire, de déverrouiller l’appareil manuellement.

L’utilisation en mode verrouillé comprend les mesures de protection suivantes :

  • La période d’autorisation est courte et limitée à la tentative de déverrouillage en cours.
  • Le déverrouillage automatique est accessible uniquement à ChatGPT pendant les tours actifs d’Utilisation de l’ordinateur.
  • ChatGPT masque tous les écrans pendant que le bureau est temporairement déverrouillé.
  • Si ChatGPT détecte une saisie locale au clavier ou un mouvement du pointeur, il reverrouille le Mac et suspend le déverrouillage automatique jusqu’à ce que vous le déverrouilliez manuellement.

Consignes de sécurité

Avec l’Utilisation de l’ordinateur, ChatGPT peut afficher le contenu de l’écran, prendre des captures d’écran et interagir avec les fenêtres, les menus, les saisies au clavier et l’état du presse-papiers dans l’application cible. Considérez le contenu visible des applications, les pages du navigateur, les captures d’écran et les fichiers ouverts dans l’application cible comme des éléments de contexte que ChatGPT peut traiter pendant l’exécution de la tâche.

Limitez la portée des tâches et restez présent pour les parcours sensibles :

  • Donnez à ChatGPT une seule application cible ou un seul parcours clairement défini à la fois.
  • Vous pouvez arrêter la tâche ou reprendre le contrôle de votre ordinateur à tout moment.
  • Gardez les applications sensibles fermées, sauf si elles sont nécessaires à la tâche.
  • Sous Windows, attendez-vous à ce que ChatGPT prenne le contrôle des saisies au premier plan pendant son travail ; utilisez un appareil secondaire ou une VM, ou arrêtez la tâche avant d’utiliser vous-même ce bureau.
  • Évitez les tâches qui nécessitent des secrets, sauf si vous êtes présent et pouvez approuver chaque étape.
  • Examinez les demandes d’autorisation des applications avant de permettre à ChatGPT d’utiliser une application.
  • Utilisez Toujours autoriser uniquement pour les applications que vous jugez suffisamment fiables pour que ChatGPT les utilise automatiquement lors de futures tâches.
  • Restez présent lors de la modification de paramètres liés aux comptes, à la sécurité, à la confidentialité, au réseau, aux paiements ou aux identifiants.
  • Annulez la tâche si ChatGPT commence à interagir avec la mauvaise fenêtre.

Si ChatGPT utilise votre navigateur, il peut interagir avec les pages auxquelles vous êtes déjà connecté. Vérifiez les actions effectuées sur les sites web comme si vous les réalisiez vous-même : les pages web peuvent contenir du contenu malveillant ou trompeur, et les sites peuvent considérer les clics approuvés, les envois de formulaires et les actions effectuées en étant connecté comme provenant de votre compte. Pour continuer à utiliser votre navigateur pendant que ChatGPT travaille, demandez à ChatGPT d’en utiliser un autre.

La fonctionnalité ne peut pas automatiser les applications de terminal ni ChatGPT lui-même, car leur automatisation pourrait contourner les politiques de sécurité de ChatGPT. Elle ne peut pas non plus s’authentifier en tant qu’administrateur ni approuver les demandes d’autorisation de sécurité et de confidentialité sur votre ordinateur.

La modification de fichiers et les commandes shell restent soumises aux paramètres d’approbation et d’environnement isolé de ChatGPT lorsqu’ils s’appliquent. Les modifications effectuées dans des applications de bureau peuvent ne pas apparaître dans le volet de révision tant qu’elles ne sont pas enregistrées sur le disque et suivies par le projet. Vos contrôles des données ChatGPT s’appliquent aux contenus traités par ChatGPT, y compris aux captures d’écran prises par l’Utilisation de l’ordinateur.