Документация ChatGPT
Русский
Связаться goolvyouyou@gmail.com

Управление компьютером

Позвольте ChatGPT использовать настольные приложения во время работы

Функция управления компьютером позволяет ChatGPT видеть графические пользовательские интерфейсы и взаимодействовать с ними в macOS или Windows. Используйте её для задач, в которых недостаточно инструментов командной строки или структурированных интеграций: например, для проверки настольного приложения, работы с браузером, изменения настроек приложения, взаимодействия с источником данных, недоступным в виде плагина, или воспроизведения ошибки, которая возникает только в графическом пользовательском интерфейсе.

Поскольку функция управления компьютером может влиять на состояние приложений и системы за пределами рабочего пространства проекта, используйте её для чётко ограниченных задач и проверяйте запросы разрешений, прежде чем продолжить.

Настройка управления компьютером

В настольном приложении ChatGPT выберите ChatGPT и переключитесь на Work с помощью переключателя либо выберите Codex. Откройте Plugins > Computer Use и выберите Install plugin, если появится соответствующий запрос. Если ChatGPT показывает Enable, выберите этот пункт. Включите переключатели сервера и навыка Computer Use, затем выберите Try now, чтобы начать работу.

Затем откройте Settings > Computer use, чтобы проверить доступ к приложениям. Для подключённых элементов управления браузером отображается действие Manage. Приложения, использование которых вы разрешили для будущих задач, отображаются в разделе Always-allowed apps.

В Windows держите целевое приложение видимым на активном рабочем столе, пока выполняется задача. В macOS предоставьте разрешения на запись экрана и универсальный доступ, когда появится запрос, чтобы ChatGPT мог видеть целевое приложение и взаимодействовать с ним.

В macOS предоставьте:

  • Разрешение Screen Recording, чтобы ChatGPT мог видеть целевое приложение.
  • Разрешение Accessibility, чтобы ChatGPT мог нажимать элементы интерфейса, вводить текст и выполнять навигацию.

Когда использовать управление компьютером

Выбирайте управление компьютером, если задача зависит от графического пользовательского интерфейса, который трудно проверить только по файлам или выводу команд.

Подходящие сценарии:

  • Тестирование приложения для macOS или Windows, сценария в симуляторе iOS либо другого настольного приложения, которое создаёт ChatGPT.
  • Выполнение задачи, для которой требуется ваш веб-браузер.
  • Воспроизведение ошибки, возникающей только в графическом интерфейсе.
  • Изменение настроек приложения, требующее взаимодействия с пользовательским интерфейсом.
  • Просмотр информации в приложении или источнике данных, недоступном через плагин.
  • В macOS — выполнение ограниченной задачи в фоновом режиме, пока вы продолжаете работать в другом месте.
  • Выполнение рабочего процесса, охватывающего несколько приложений.

Для веб-приложений, которые вы разрабатываете локально, сначала используйте встроенный браузер.

Работа на переднем плане в Windows

В Windows функция управления компьютером работает на активном рабочем столе. Она не может работать в фоновом режиме, пока вы продолжаете использовать тот же сеанс Windows, поэтому во время выполнения задачи ChatGPT будет перемещать указатель, вводить текст и управлять приложениями на переднем плане.

Если задача в Windows должна продолжать выполняться в ваше отсутствие, оставьте устройство с Windows разблокированным и подключённым к интернету. Используйте удалённое управление с телефона, чтобы проверять ход выполнения или отправлять дополнительные инструкции, либо запустите настольное приложение ChatGPT в виртуальной машине Windows, чтобы функция управления компьютером управляла виртуальной машиной, а не вашим основным рабочим столом.

Запуск задачи с управлением компьютером

Упомяните @Computer или @AppName в запросе либо попросите ChatGPT использовать Computer Use. Точно укажите приложение, окно или сценарий, с которым должен взаимодействовать ChatGPT.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

Если для целевого приложения предусмотрен отдельный плагин или сервер MCP, отдавайте предпочтение этой структурированной интеграции для доступа к данным и воспроизводимых операций. Выбирайте управление компьютером, когда ChatGPT необходимо визуально проверить приложение или взаимодействовать с ним.

Разрешения и подтверждения

Системные разрешения для управления компьютером отличаются от разрешений на доступ к приложениям в ChatGPT. В macOS разрешения на запись экрана и универсальный доступ позволяют ChatGPT видеть приложения и взаимодействовать с ними. Разрешения на доступ к приложениям определяют, какие приложения вы разрешаете использовать ChatGPT. Чтение и изменение файлов, а также команды оболочки по-прежнему регулируются параметрами песочницы и подтверждения для задачи.

При использовании управления компьютером ChatGPT может видеть и выполнять действия только в разрешённых вами приложениях. Во время задачи ChatGPT запрашивает разрешение, прежде чем использовать приложение на вашем компьютере. Вы можете выбрать Always allow, чтобы в дальнейшем ChatGPT мог использовать это приложение без повторного запроса. Приложения можно удалить из списка Always allow в разделе Computer Use настроек настольного приложения ChatGPT.

Настольное приложение ChatGPT запрашивает разрешение на использование Calculator с помощью Computer Use

ChatGPT также может запрашивать разрешение перед выполнением конфиденциальных или потенциально нарушающих работу действий.

Если ChatGPT не видит приложение или не может им управлять, откройте System Settings > Privacy & Security и проверьте разрешения Screen Recording и Accessibility для Codex Computer Use в macOS. В Windows убедитесь, что целевое приложение видно в активном сеансе рабочего стола.

Настройка политики приложений Windows

В Windows функция управления компьютером хранит постоянные решения о доступе к приложениям в $CODEX_HOME/config.toml. Укажите приложения, которые Computer Use может открывать без запроса:

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

Используйте идентификатор приложения, который сообщает Windows Computer Use, например имя исполняемого файла настольного приложения или app user model ID для упакованного приложения. ChatGPT запрашивает разрешение для приложений, отсутствующих в списке. Чтобы отозвать сохранённое решение, удалите приложение из Settings > Computer Use > Always allow.

В этой таблице хранятся локальные решения Computer Use. Она не связана с применяемым администратором параметром requirements.toml, в котором администраторы могут отключить Computer Use с помощью [features].computer_use = false. Более старые записи списка разрешённых приложений $CODEX_HOME/computer-use/config.toml переносятся в текущую настройку; список denied не входит в текущую схему политики.

Использование при заблокированном Mac

Использование при блокировке позволяет ChatGPT управлять компьютером после блокировки Mac, но только после того, как вы включите эту возможность. Используйте её, когда задаче ChatGPT требуется работать с настольными приложениями с подключённого устройства после блокировки Mac.

Когда вы включаете использование при блокировке, ChatGPT устанавливает плагин Apple для авторизации, который участвует в процессе разблокировки macOS.

Возможности использования при блокировке намеренно ограничены. Это не универсальный способ удалённой разблокировки Mac, и он не позволяет другим приложениям или локальным процессам разблокировать компьютер.

Чтобы использовать эту возможность:

  1. Откройте Settings > Computer Use в приложении.
  2. Включите использование при блокировке.
  3. Запустите с подключённого устройства задачу, использующую Computer Use, после того как экран Mac будет заблокирован.

Когда задача ChatGPT получает доступ к приложению через Computer Use после блокировки Mac, ChatGPT временно разблокирует Mac, одновременно блокируя локальное использование и сохраняя средства защиты заблокированного экрана. Перед разблокировкой ChatGPT проверяет, относится ли попытка разблокировки к активному доверенному запросу Computer Use. За пределами этого кратковременного периода ChatGPT отклоняет разблокировку и при необходимости просит вас разблокировать компьютер вручную.

Использование при блокировке включает следующие меры защиты:

  • Период авторизации кратковременен и ограничен текущей попыткой разблокировки.
  • Автоматическая разблокировка доступна только ChatGPT во время активных задач Computer Use.
  • ChatGPT закрывает содержимое всех дисплеев, пока рабочий стол временно разблокирован.
  • Если ChatGPT обнаруживает ввод с локальной клавиатуры или движение указателя, он снова блокирует Mac и приостанавливает автоматическую разблокировку, пока вы не разблокируете его вручную.

Рекомендации по безопасности

При использовании управления компьютером ChatGPT может просматривать содержимое экрана, делать снимки экрана и взаимодействовать с окнами, меню, вводом с клавиатуры и состоянием буфера обмена в целевом приложении. Считайте видимое содержимое приложений, страницы браузера, снимки экрана и файлы, открытые в целевом приложении, контекстом, который ChatGPT может обрабатывать во время выполнения задачи.

Ограничивайте задачи и оставайтесь рядом при выполнении конфиденциальных операций:

  • Указывайте ChatGPT только одно целевое приложение или один чёткий сценарий за раз.
  • Вы можете в любой момент остановить задачу или самостоятельно перехватить управление компьютером.
  • Держите конфиденциальные приложения закрытыми, если они не нужны для выполнения задачи.
  • В Windows учитывайте, что во время работы ChatGPT будет управлять вводом на переднем плане; используйте дополнительное устройство или виртуальную машину либо остановите задачу, прежде чем самостоятельно работать на этом компьютере.
  • Избегайте задач, требующих секретных данных, если вы не можете присутствовать и подтверждать каждый шаг.
  • Проверяйте запросы разрешений приложений, прежде чем позволить ChatGPT использовать приложение.
  • Используйте Always allow только для приложений, которым вы доверяете настолько, чтобы ChatGPT мог использовать их автоматически в будущих задачах.
  • Оставайтесь рядом при изменении настроек учётной записи, безопасности, конфиденциальности, сети, платежей или учётных данных.
  • Отмените задачу, если ChatGPT начнёт взаимодействовать не с тем окном.

Если ChatGPT использует ваш браузер, он может взаимодействовать со страницами, на которых вы уже вошли в систему. Проверяйте действия на сайтах так, как если бы выполняли их самостоятельно: веб-страницы могут содержать вредоносные или вводящие в заблуждение материалы, а сайты могут считать подтверждённые нажатия, отправку форм и действия в авторизованном сеансе выполненными от имени вашей учётной записи. Чтобы продолжать пользоваться браузером во время работы ChatGPT, попросите ChatGPT использовать другой браузер.

Функция не может автоматизировать приложения терминала или сам ChatGPT, поскольку такая автоматизация могла бы обойти политики безопасности ChatGPT. Она также не может проходить аутентификацию от имени администратора или подтверждать системные запросы разрешений безопасности и конфиденциальности на вашем компьютере.

Изменение файлов и команды оболочки по-прежнему регулируются параметрами подтверждения и песочницы ChatGPT там, где они применимы. Изменения, внесённые через настольные приложения, могут не отображаться на панели проверки, пока они не будут сохранены на диск и добавлены в отслеживаемые файлы проекта. Ваши настройки управления данными ChatGPT применяются к содержимому, обрабатываемому через ChatGPT, включая снимки экрана, сделанные с помощью Computer Use.