Документация ChatGPT
Русский
Связаться goolvyouyou@gmail.com

Управление компьютером

Управление компьютером

Позвольте ChatGPT использовать приложения для настольных компьютеров во время работы

Функция управления компьютером позволяет ChatGPT видеть графические пользовательские интерфейсы в macOS или Windows и взаимодействовать с ними. Используйте её для задач, в которых недостаточно инструментов командной строки или структурированных интеграций, например для проверки приложения для настольных компьютеров, работы в браузере, изменения настроек приложения, работы с источником данных, недоступным в виде плагина, или воспроизведения ошибки, возникающей только в графическом пользовательском интерфейсе.

Поскольку функция управления компьютером может изменять состояние приложений и системы за пределами рабочего пространства проекта, используйте её для чётко ограниченных задач и проверяйте запросы разрешений, прежде чем продолжить.

Настройка управления компьютером

В приложении ChatGPT для настольных компьютеров выберите ChatGPT и переключитесь на Work с помощью переключателя либо выберите Codex. Откройте Plugins > Computer Use и выберите Install plugin, если появится соответствующий запрос. Если ChatGPT показывает кнопку Enable, нажмите её. Включите переключатели сервера и навыка Computer Use, а затем выберите Try now, чтобы начать работу.

Затем откройте Settings > Computer use, чтобы проверить доступ к приложениям. Для подключённых элементов управления браузером отображается действие Manage. Приложения, которым вы разрешили доступ для будущих задач, отображаются в разделе Always-allowed apps.

В Windows держите целевое приложение видимым на активном рабочем столе, пока выполняется задача. В macOS предоставьте разрешения на запись экрана и универсальный доступ, когда появится запрос, чтобы ChatGPT мог видеть целевое приложение и взаимодействовать с ним.

В macOS предоставьте:

  • Разрешение Screen Recording, чтобы ChatGPT мог видеть целевое приложение.
  • Разрешение Accessibility, чтобы ChatGPT мог нажимать, вводить текст и выполнять навигацию.

Когда использовать управление компьютером

Для сложных задач, зависящих от снимков экрана или визуальной оценки, выбирайте GPT-6 Astra, когда эта модель доступна в средстве выбора модели. При этом используются те же настройки плагина, разрешения операционной системы и элементы управления доступом к приложениям.

Выбирайте управление компьютером, когда задача зависит от графического пользовательского интерфейса, который трудно проверить только по файлам или выводу команд.

Подходящие сценарии:

  • Тестирование приложения для macOS или Windows, сценария в симуляторе iOS либо другого приложения для настольных компьютеров, которое создаёт ChatGPT.
  • Выполнение задачи, для которой требуется ваш веб-браузер.
  • Воспроизведение ошибки, возникающей только в графическом интерфейсе.
  • Изменение настроек приложения, требующее взаимодействия с пользовательским интерфейсом.
  • Просмотр информации в приложении или источнике данных, недоступном через плагин.
  • В macOS — выполнение чётко ограниченной задачи в фоновом режиме, пока вы продолжаете работать в другом месте.
  • Выполнение рабочего процесса, охватывающего несколько приложений.

Для веб-приложений, которые вы разрабатываете локально, сначала используйте встроенный браузер.

Использование на переднем плане в Windows

В Windows функция управления компьютером работает на активном рабочем столе. Она не может работать в фоновом режиме, пока вы продолжаете использовать тот же сеанс Windows, поэтому во время выполнения задачи ChatGPT будет перемещать указатель, вводить текст и управлять приложениями на переднем плане.

Если задача в Windows должна продолжать выполняться в ваше отсутствие, оставьте устройство Windows разблокированным и подключённым к интернету. Используйте удалённое управление с телефона, чтобы проверять ход выполнения или отправлять дополнительные инструкции, либо запустите приложение ChatGPT для настольных компьютеров внутри виртуальной машины Windows, чтобы функция управления компьютером управляла виртуальной машиной, а не вашим основным рабочим столом.

Запуск задачи с управлением компьютером

Упомяните @Computer или @AppName в запросе либо попросите ChatGPT использовать Computer Use. Точно укажите приложение, окно или сценарий, с которым должен взаимодействовать ChatGPT.

Open the app with Computer Use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

Если целевое приложение предоставляет отдельный плагин или MCP server, отдавайте предпочтение этой структурированной интеграции для доступа к данным и воспроизводимых операций. Выбирайте управление компьютером, когда ChatGPT должен визуально изучить приложение или взаимодействовать с ним.

Разрешения и подтверждения

Администраторы рабочего пространства могут ограничить, к каким приложениям может обращаться функция управления компьютером и можно ли сохранять подтверждения. См. раздел Управление администратором браузером и функцией Computer Use.

Системные разрешения для функции управления компьютером отделены от подтверждений доступа к приложениям в ChatGPT. В macOS разрешения на запись экрана и универсальный доступ позволяют ChatGPT видеть приложения и взаимодействовать с ними. Подтверждения доступа к приложениям определяют, какие приложения вы разрешаете использовать ChatGPT. Чтение и изменение файлов, а также команды оболочки по-прежнему подчиняются настройкам песочницы и подтверждений для задачи.

При использовании функции управления компьютером ChatGPT может видеть приложения и выполнять действия только в тех приложениях, к которым вы разрешили доступ. Во время выполнения задачи ChatGPT запрашивает разрешение, прежде чем использовать приложение на вашем компьютере. Вы можете выбрать Always allow, чтобы в будущем ChatGPT мог использовать это приложение без повторного запроса. Удалить приложения из списка Always allow можно в разделе Computer Use настроек приложения ChatGPT для настольных компьютеров.

ChatGPT также может запрашивать разрешение перед выполнением чувствительных или потенциально нарушающих работу действий.

Если ChatGPT не видит приложение или не может им управлять, откройте System Settings > Privacy & Security и проверьте разрешения Screen Recording и Accessibility для Codex Computer Use в macOS. В Windows убедитесь, что целевое приложение отображается в активном сеансе рабочего стола.

Настройка политики приложений Windows

В Windows функция управления компьютером хранит постоянные решения о доступе к приложениям в $CODEX_HOME/config.toml. Укажите приложения, которые Computer Use может открывать без запроса:

[computer_use.windows]
always_allowed_app_ids = ["mspaint.exe"]

Используйте идентификатор приложения, сообщаемый Windows Computer Use, например имя исполняемого файла приложения для настольных компьютеров или идентификатор пользовательской модели приложения для пакетного приложения. ChatGPT запрашивает разрешение для приложений, отсутствующих в списке. Чтобы отозвать сохранённое решение, удалите приложение из списка Settings > Computer Use > Always allow.

В этой таблице хранятся локальные решения Computer Use. Она не связана с применяемым администратором параметром requirements.toml, где администраторы могут отключить Computer Use с помощью [features].computer_use = false. Старые записи списка разрешений $CODEX_HOME/computer-use/config.toml переносятся в текущую настройку; её список denied не входит в текущую схему политики.

Использование на заблокированном Mac

Использование на заблокированном устройстве позволяет ChatGPT задействовать функцию управления компьютером после блокировки Mac, но только если вы включили эту возможность. Используйте её, когда задаче ChatGPT требуется работать с приложениями для настольных компьютеров с подключённого устройства после блокировки Mac.

Когда вы включаете использование на заблокированном устройстве, ChatGPT устанавливает плагин авторизации Apple, который участвует в процессе разблокировки macOS.

Использование на заблокированном устройстве намеренно имеет узкую область применения. Это не универсальный способ удалённой разблокировки Mac, и он не позволяет другим приложениям или локальным процессам разблокировать компьютер.

Чтобы использовать эту возможность:

  1. Откройте в приложении Settings > Computer Use.
  2. Включите использование на заблокированном устройстве.
  3. После блокировки экрана Mac запустите с подключённого устройства задачу, использующую Computer Use.

Когда задача ChatGPT обращается к приложению с помощью Computer Use после блокировки Mac, ChatGPT временно разблокирует Mac, блокируя локальное использование и сохраняя средства защиты заблокированного экрана. Перед разблокировкой ChatGPT проверяет, относится ли попытка разблокировки к активному доверенному сеансу Computer Use. За пределами этого кратковременного интервала ChatGPT отклоняет разблокировку и при необходимости просит вас разблокировать устройство вручную.

Использование на заблокированном устройстве включает следующие меры защиты:

  • Интервал авторизации кратковременен и ограничен текущей попыткой разблокировки.
  • Автоматическая разблокировка доступна только ChatGPT во время активных сеансов Computer Use.
  • Пока рабочий стол временно разблокирован, ChatGPT закрывает содержимое всех дисплеев.
  • Если ChatGPT обнаруживает ввод с локальной клавиатуры или перемещение указателя, он снова блокирует Mac и приостанавливает автоматическую разблокировку, пока вы не разблокируете устройство вручную.

Рекомендации по безопасности

При использовании функции управления компьютером ChatGPT может просматривать содержимое экрана, делать снимки экрана и взаимодействовать с окнами, меню, вводом с клавиатуры и состоянием буфера обмена в целевом приложении. Считайте видимое содержимое приложений, страницы браузера, снимки экрана и файлы, открытые в целевом приложении, контекстом, который ChatGPT может обрабатывать во время выполнения задачи.

Чётко ограничивайте задачи и оставайтесь рядом при выполнении чувствительных сценариев:

  • Указывайте ChatGPT только одно целевое приложение или один сценарий за раз.
  • Вы можете в любой момент остановить задачу или взять управление компьютером на себя.
  • Держите приложения с конфиденциальными данными закрытыми, если они не нужны для выполнения задачи.
  • В Windows учитывайте, что во время работы ChatGPT будет управлять вводом на переднем плане; используйте дополнительное устройство или виртуальную машину либо остановите задачу, прежде чем самостоятельно работать на этом рабочем столе.
  • Избегайте задач, требующих секретных данных, если вы не можете оставаться рядом и подтверждать каждый шаг.
  • Проверяйте запросы разрешений приложений, прежде чем позволять ChatGPT использовать приложение.
  • Используйте Always allow только для приложений, которым вы доверяете настолько, чтобы ChatGPT мог использовать их автоматически в будущих задачах.
  • Оставайтесь рядом при изменении настроек учётной записи, безопасности, конфиденциальности, сети, платежей или учётных данных.
  • Отмените задачу, если ChatGPT начинает взаимодействовать не с тем окном.

Если ChatGPT использует ваш браузер, он может взаимодействовать со страницами, на которых вы уже вошли в систему. Проверяйте действия на сайтах так, как если бы выполняли их самостоятельно: веб-страницы могут содержать вредоносный или вводящий в заблуждение контент, а сайты могут считать подтверждённые нажатия, отправку форм и действия в авторизованном сеансе выполненными из вашей учётной записи. Чтобы продолжать пользоваться браузером во время работы ChatGPT, попросите ChatGPT использовать другой браузер.

Эта функция не может автоматизировать приложения терминала или сам ChatGPT, поскольку такая автоматизация могла бы обойти политики безопасности ChatGPT. Она также не может выполнять аутентификацию от имени администратора или подтверждать системные запросы разрешений безопасности и конфиденциальности на вашем компьютере.

Изменение файлов и команды оболочки по-прежнему подчиняются настройкам подтверждений и песочницы ChatGPT, где это применимо. Изменения, внесённые через приложения для настольных компьютеров, могут не отображаться на панели проверки, пока они не будут сохранены на диск и не начнут отслеживаться в проекте. Ваши настройки управления данными ChatGPT применяются к содержимому, обрабатываемому через ChatGPT, включая снимки экрана, сделанные функцией управления компьютером.