Documentação do ChatGPT
Português
Contacto goolvyouyou@gmail.com

Computer Use

Permita que o ChatGPT utilize aplicações de ambiente de trabalho enquanto trabalha

Com o Computer Use, o ChatGPT pode ver e operar interfaces gráficas de utilizador no macOS ou Windows. Utilize-o para tarefas em que as ferramentas de linha de comandos ou as integrações estruturadas não sejam suficientes, como verificar uma aplicação de ambiente de trabalho, utilizar um browser, alterar as definições de uma aplicação, trabalhar com uma fonte de dados que não esteja disponível como plugin ou reproduzir um erro que só ocorra numa interface gráfica de utilizador.

Como o Computer Use pode afetar o estado das aplicações e do sistema fora do espaço de trabalho do projeto, utilize-o para tarefas bem delimitadas e reveja os pedidos de permissão antes de continuar.

Configurar o Computer Use

Na aplicação ChatGPT para ambiente de trabalho, selecione ChatGPT e mude para Work no seletor, ou selecione Codex. Abra Plugins > Computer Use e selecione Instalar plugin se lhe for solicitado. Se o ChatGPT apresentar Ativar, selecione essa opção. Ative os seletores do servidor e da competência Computer Use e, em seguida, selecione Experimentar agora para começar.

Em seguida, abra Definições > Computer Use para rever o acesso às aplicações. Os controlos dos browsers ligados apresentam uma ação Gerir. As aplicações que aprovar para tarefas futuras aparecem na secção Aplicações sempre permitidas.

No Windows, mantenha a aplicação de destino visível no ambiente de trabalho ativo enquanto a tarefa é executada. No macOS, conceda as permissões de Gravação do ecrã e Acessibilidade quando solicitado, para que o ChatGPT possa ver e interagir com a aplicação de destino.

No macOS, conceda:

  • A permissão de Gravação do ecrã, para que o ChatGPT possa ver a aplicação de destino.
  • A permissão de Acessibilidade, para que o ChatGPT possa clicar, escrever e navegar.

Quando utilizar o Computer Use

Escolha o Computer Use quando a tarefa depender de uma interface gráfica de utilizador que seja difícil de verificar apenas através de ficheiros ou da saída de comandos.

Os casos adequados incluem:

  • Testar uma aplicação para macOS, uma aplicação para Windows, um fluxo do simulador de iOS ou outra aplicação de ambiente de trabalho que o ChatGPT esteja a criar.
  • Executar uma tarefa que exija o seu browser.
  • Reproduzir um erro que só apareça numa interface gráfica.
  • Alterar definições de uma aplicação que exijam navegação por uma interface de utilizador.
  • Inspecionar informações numa aplicação ou fonte de dados que não esteja disponível através de um plugin.
  • No macOS, executar uma tarefa bem delimitada em segundo plano enquanto continua a trabalhar noutro local.
  • Executar um fluxo de trabalho que abranja mais do que uma aplicação.

Para aplicações Web que esteja a criar localmente, utilize primeiro o browser integrado.

Utilização em primeiro plano no Windows

No Windows, o Computer Use é executado no ambiente de trabalho ativo. Não pode funcionar em segundo plano enquanto continua a utilizar a mesma sessão do Windows, pelo que deve esperar que o ChatGPT mova o ponteiro, escreva e assuma o controlo do primeiro plano enquanto a tarefa é executada.

Para tarefas do Windows que devam continuar enquanto estiver ausente, mantenha o dispositivo Windows desbloqueado e ligado à Internet. Utilize o controlo remoto a partir do telemóvel para verificar o progresso ou enviar instruções adicionais, ou execute a aplicação ChatGPT para ambiente de trabalho numa máquina virtual Windows, para que o Computer Use assuma o controlo da VM em vez do seu ambiente de trabalho principal.

Iniciar uma tarefa do Computer Use

Mencione @Computer ou @AppName no seu pedido, ou peça ao ChatGPT para utilizar o Computer Use. Descreva a aplicação, janela ou fluxo exato que o ChatGPT deve operar.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

Se a aplicação de destino disponibilizar um plugin dedicado ou um servidor MCP, dê preferência a essa integração estruturada para acesso a dados e operações repetíveis. Escolha o Computer Use quando o ChatGPT precisar de inspecionar ou operar visualmente a aplicação.

Permissões e aprovações

As permissões de sistema do Computer Use são independentes das aprovações de aplicações no ChatGPT. No macOS, as permissões de Gravação do ecrã e Acessibilidade permitem que o ChatGPT veja e opere aplicações. As aprovações de aplicações determinam as aplicações que permite ao ChatGPT utilizar. As leituras de ficheiros, edições de ficheiros e comandos da shell continuam a seguir as definições de sandbox e de aprovação da tarefa.

Com o Computer Use, o ChatGPT só pode ver e realizar ações nas aplicações que permitir. Durante uma tarefa, o ChatGPT pede a sua permissão antes de poder utilizar uma aplicação no seu computador. Pode escolher Permitir sempre para que o ChatGPT possa utilizar essa aplicação no futuro sem voltar a perguntar. Pode remover aplicações da lista Permitir sempre na secção Computer Use das definições da aplicação ChatGPT para ambiente de trabalho.

Aplicação ChatGPT para ambiente de trabalho a pedir permissão para utilizar a Calculadora com o Computer Use

O ChatGPT também pode pedir permissão antes de realizar ações sensíveis ou disruptivas.

Se o ChatGPT não conseguir ver ou controlar uma aplicação, abra Definições do Sistema > Privacidade e Segurança e verifique Gravação do ecrã e Acessibilidade para Codex Computer Use no macOS. No Windows, certifique-se de que a aplicação de destino está visível na sessão ativa do ambiente de trabalho.

Configurar a política de aplicações do Windows

No Windows, o Computer Use armazena decisões persistentes relativas às aplicações em $CODEX_HOME/config.toml. Indique as aplicações que o Computer Use pode abrir sem pedir confirmação:

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

Utilize o identificador de aplicação comunicado pelo Windows Computer Use, como o nome de um executável para uma aplicação de ambiente de trabalho ou um ID de modelo de utilizador de aplicação para uma aplicação empacotada. O ChatGPT pede confirmação para aplicações que não estejam na lista. Para revogar uma decisão guardada, remova a aplicação de Definições > Computer Use > Permitir sempre.

Esta tabela armazena decisões locais do Computer Use. É independente de requirements.toml, imposta pelos administradores, onde estes podem desativar o Computer Use com [features].computer_use = false. As entradas antigas da lista de permissões de $CODEX_HOME/computer-use/config.toml são migradas para a definição atual; a respetiva lista denied não faz parte do esquema de políticas atual.

Utilização com o Mac bloqueado

A utilização com o Mac bloqueado permite ao ChatGPT utilizar o Computer Use depois de o Mac ser bloqueado, mas apenas após ativar esta funcionalidade. Utilize-a quando uma tarefa do ChatGPT precisar de utilizar aplicações de ambiente de trabalho a partir de um dispositivo ligado depois de o Mac ser bloqueado.

Quando ativa a utilização com o Mac bloqueado, o ChatGPT instala um plugin de autorização da Apple que participa no fluxo de desbloqueio do macOS.

A utilização com o Mac bloqueado é intencionalmente limitada. Não é um meio de desbloqueio remoto de utilização geral para o Mac e não permite que outras aplicações ou processos locais desbloqueiem o computador.

Para utilizar esta funcionalidade:

  1. Abra Definições > Computer Use na aplicação.
  2. Ative a utilização com o Mac bloqueado.
  3. Inicie uma tarefa que utilize o Computer Use a partir de um dispositivo ligado depois de o ecrã do Mac ser bloqueado.

Quando uma tarefa do ChatGPT acede a uma aplicação através do Computer Use depois de o Mac ser bloqueado, o ChatGPT desbloqueia temporariamente o Mac, ao mesmo tempo que bloqueia a utilização local e mantém as proteções do ecrã bloqueado. Antes de desbloquear, o ChatGPT verifica se a tentativa de desbloqueio se destina a uma interação ativa e fidedigna do Computer Use. Fora desse breve período, o ChatGPT recusa o desbloqueio e pede-lhe que desbloqueie manualmente, se necessário.

A utilização com o Mac bloqueado inclui mecanismos de proteção:

  • O período de autorização é breve e limita-se à tentativa de desbloqueio atual.
  • O desbloqueio automático só está disponível para o ChatGPT durante interações ativas do Computer Use.
  • O ChatGPT cobre todos os ecrãs enquanto o ambiente de trabalho está temporariamente desbloqueado.
  • Se o ChatGPT detetar entrada local através do teclado ou do ponteiro, volta a bloquear o Mac e suspende o desbloqueio automático até que o desbloqueie manualmente.

Recomendações de segurança

Com o Computer Use, o ChatGPT pode visualizar o conteúdo do ecrã, tirar capturas de ecrã e interagir com janelas, menus, introdução pelo teclado e o estado da área de transferência na aplicação de destino. Considere o conteúdo visível das aplicações, as páginas do browser, as capturas de ecrã e os ficheiros abertos na aplicação de destino como contexto que o ChatGPT pode processar durante a execução da tarefa.

Mantenha as tarefas bem delimitadas e permaneça presente em fluxos sensíveis:

  • Dê ao ChatGPT uma única aplicação ou um único fluxo de destino claro de cada vez.
  • Pode interromper a tarefa ou assumir o controlo do computador em qualquer altura.
  • Mantenha as aplicações sensíveis fechadas, salvo se forem necessárias para a tarefa.
  • No Windows, conte com o ChatGPT a assumir o controlo da entrada em primeiro plano enquanto trabalha; utilize um dispositivo secundário, uma VM ou interrompa a tarefa antes de utilizar pessoalmente esse ambiente de trabalho.
  • Evite tarefas que exijam segredos, salvo se estiver presente e puder aprovar cada passo.
  • Reveja os pedidos de permissão das aplicações antes de permitir que o ChatGPT utilize uma aplicação.
  • Utilize Permitir sempre apenas para aplicações em que confia que o ChatGPT utilize automaticamente em tarefas futuras.
  • Permaneça presente ao alterar definições relacionadas com contas, segurança, privacidade, rede, pagamentos ou credenciais.
  • Cancele a tarefa se o ChatGPT começar a interagir com a janela errada.

Se o ChatGPT utilizar o seu browser, pode interagir com páginas nas quais já tenha sessão iniciada. Reveja as ações nos sites como se fosse o próprio a realizá-las: as páginas Web podem conter conteúdo malicioso ou enganador, e os sites podem considerar cliques aprovados, submissões de formulários e ações com sessão iniciada como provenientes da sua conta. Para continuar a utilizar o browser enquanto o ChatGPT trabalha, peça ao ChatGPT para utilizar um browser diferente.

A funcionalidade não pode automatizar aplicações de terminal nem o próprio ChatGPT, uma vez que a respetiva automatização poderia contornar as políticas de segurança do ChatGPT. Também não pode autenticar-se como administrador nem aprovar pedidos de permissões de segurança e privacidade no seu computador.

As edições de ficheiros e os comandos da shell continuam a seguir as definições de aprovação e sandbox do ChatGPT quando aplicável. As alterações efetuadas através de aplicações de ambiente de trabalho podem não aparecer no painel de revisão até serem guardadas no disco e monitorizadas pelo projeto. Os seus controlos de dados do ChatGPT aplicam-se ao conteúdo processado através do ChatGPT, incluindo capturas de ecrã efetuadas pelo Computer Use.