Аналитика использования ChatGPT Work в Codex

Раздел Insights в консоли администратора помогает понять, для чего команды используют ChatGPT Work и Codex и на что расходуются кредиты. Откройте категорию в обзоре рабочего пространства, чтобы посмотреть ее задачи и показатели использования. Перед сравнением результатов проверьте, какой набор данных охватывает каждое представление.

Используйте эти представления, чтобы определить рабочие процессы для оценки вместе с ответственными за них людьми. Сопоставляйте показатели использования и расходы с данными команды, чтобы понять, требует ли работа меньше усилий, соответствует ли стандартам качества и дает ли лучшие результаты.

Смотреть: оценка использования и ценности ChatGPT Work

Представления аналитики

В консоли администратора доступна аналитика ChatGPT Work и Codex. Раздел «Использование» показывает активность и потребление ресурсов. Insights группирует использование по категориям и задачам. Для инженерной работы раздел «Проверка кода» показывает активность проверок и выявленные проблемы.

Если вы анализируете токены, используйте показатели токенов, доступные в разделе «Использование». Доля сообщений, доля кредитов и доля токенов описывают разные величины; сохраняйте эти обозначения при сравнении результатов и обмене ими.

Открытие Insights

В консоли администратора выберите рабочее пространство и откройте Аналитика > Insights. Вам потребуется доступ к аналитике этого рабочего пространства; доступные представления и данные зависят от ваших разрешений и включенных функций.

Прежде чем изучать результаты, проверьте рабочее пространство, диапазон дат и доступные фильтры. При сравнении активности используйте одинаковые параметры. История Insights доступна только с момента начала классификации.

Сценарии использования и задачи

На странице обзора используйте переключатель «Сценарии использования / Задачи», чтобы переключаться между широкими категориями и более конкретными действиями. На вкладке «Сценарии использования» разверните категорию, чтобы увидеть ее задачи.

Выберите сценарий использования или задачу на диаграмме, чтобы открыть подробные сведения. Используйте таблицу сценариев использования для сравнения категорий и задач за пределами первой десятки.

Категория может включать несколько рабочих процессов. Изучите ее задачи, прежде чем рассматривать ее как единый бизнес-процесс. Если часть активности не классифицирована, укажите это ограничение при описании результатов.

Сообщения, кредиты и активные пользователи

Рассматривайте столбцы «Сообщения», «Кредиты» и «Активные пользователи» вместе, чтобы понять особенности каждой категории или задачи. Если появляется уведомление о выборке, отображаемые значения отражают активность в выборке. Не экстраполируйте их для оценки общей активности рабочего пространства.

Сообщения — количество сообщений, связанных с категорией или задачей. Этот показатель не говорит о том, какой объём работы завершила команда.

Доля кредитов — доля потребления кредитов, связанная с категорией или задачей. Рассматривайте её вместе с показателями «Кредиты» и «Сообщения», чтобы понять, где сосредоточено потребление.

Активные пользователи — количество людей, активных в категории или задаче. Рассматривайте этот показатель вместе с показателем «Сообщения», чтобы сопоставить количество людей, использующих категорию, с объёмом создаваемой ими активности.

Если на категорию приходится большая доля кредитов, проверьте ее задачи, модели и настройки. Потребление кредитов в категории может объясняться более сложной работой или выбором других моделей. Изучите, чего добилась команда, прежде чем решать, оправдано ли такое потребление.

Если в категории мало активных пользователей, спросите их, как они ее используют и с какими трудностями сталкиваются. Возможно, у них есть рабочий процесс, которым стоит поделиться, или им нужна дополнительная поддержка.

Сведения о категории

Откройте сведения о категории, чтобы увидеть ее задачи и разбивку использования на выдвижной панели справа.

Изучите задачи категории и расход кредитов на каждую из них. Разбивки по моделям, рассуждению и скорости показывают долю кредитов для каждого варианта в выбранной категории или задаче. Если потребление меняется, спросите команду, изменилась ли работа или эти настройки.

Если такие данные доступны, изучите вызовы плагинов и навыков для категории или задачи. Эти значения включают активность в ChatGPT Work и Codex в пределах выбранных дат и фильтров. Вызовы не равнозначны сообщениям или завершенным задачам.

Когда делитесь выводами, явно обозначайте оценочные значения как оценки. Распределение кредитов по плагинам и навыкам может пересекаться, поэтому не складывайте показатели этих представлений для расчета общих вложений. Подробнее об интерпретации кредитов и их влиянии на счета см. в разделе Использование и стоимость ChatGPT Work.

Проверка кода

Если вы оцениваете инженерную работу, откройте Проверка кода, чтобы увидеть доступные для вашего рабочего пространства показатели проверок.

• Проверенные PR — активность проверок PR. Проверенный PR не обязательно был слит или развёрнут.
• Найденные проблемы — проблемы, выявленные при этих проверках. Уточните у авторов проверок, какие находки оказались полезными и привели к действиям.
• Проблемы по приоритету, реакции и тональность реакций дают дополнительный контекст о найденных проблемах и отклике людей.

Нулевое значение может означать отсутствие активности или пробел в отчётности. Прежде чем интерпретировать его, проверьте диапазон дат и то, включены ли соответствующие проверки.

Оценка ценности

Выберите рабочий процесс, который ваша команда использует в ChatGPT Work или Codex. Согласуйте с ответственным со стороны бизнеса, какой результат нужно улучшить и как вы будете его измерять. Изучайте Insights вместе с материалами команды, например справками о клиентах, планами запасов или PR. Привлеките к оценке людей, выполняющих эту работу.

Используйте единый отчетный период и проверяйте уведомления о выборке. Категории могут включать несколько рабочих процессов, а показатели активности не измеряют завершенную работу. Примеры ниже показывают, как исследовать ценность, используя и данные об использовании, и фактические результаты рабочего процесса.

Исправление ошибок

Помогает ли Codex инженерам устранять ошибки с меньшими затратами на исследование и доработки?

Выберите повторяющийся тип ошибок в одном сервисе, например некорректную обработку входных данных. Изучите задачи, исправления и регрессионные тесты вместе с инженером, который знает этот код.

Как исследовать

1. Сравните похожие исправления. Фиксируйте время на исследование, реализацию и проверку ошибок сопоставимой сложности. Отделяйте время непосредственной работы от ожидания проверки или выпуска.
2. Проверьте Insights. Откройте категорию «Разработка программного обеспечения» и найдите задачи, связанные с исследованием. Изучите кредиты и активных пользователей за сравниваемый период.
3. Подтвердите результат. Убедитесь, что тест воспроизводит ошибку и проходит после исправления. Уточните, что исправили инженеры, и отметьте повторно открытые задачи или регрессии.
4. Если подтвержденные исправления требуют меньше общих усилий, поделитесь рабочим процессом. Если объем доработок остается высоким, улучшите шаги воспроизведения или контекст репозитория и повторите сравнение.

Добавление тестов

Помогает ли Codex команде покрывать важные сценарии сбоев с меньшим объемом ручной работы?

Выберите модуль с известным пробелом в тестовом покрытии. Перед сравнением результатов согласуйте, какие варианты поведения и сценарии сбоев нужно протестировать.

Как исследовать

1. Определите пробел. Перечислите непокрытые варианты поведения и зафиксируйте усилия, необходимые для добавления сопоставимых тестов. Используйте отчеты о тестировании, чтобы зафиксировать исходное покрытие.
2. Проверьте Insights. Найдите соответствующие задачи в категории «Разработка программного обеспечения». Изучите кредиты и доступные разбивки по моделям и рассуждению за тот же период.
3. Проверьте тесты. Попросите инженера убедиться, что проверки в тестах выявляют нужные сбои. Отметьте нестабильные результаты, увеличение времени выполнения и время, потраченное на переписывание или сопровождение тестов.
4. Используйте подход повторно, если внедрение полезных тестов требует меньше усилий. Если тесты проходят, не выявляя сбой, уточните ожидаемое поведение и попробуйте снова.

Рефакторинг кода

Помогает ли Codex команде завершить рефакторинг, сохраняя ожидаемое поведение?

Выберите одно ограниченное изменение, например замену устаревшего API во всем пакете. Согласуйте, какие места вызова входят в объем работ и как команда проверит результат.

Как исследовать

1. Определите объем работ. Зафиксируйте места вызова, которые нужно обновить, и усилия для сопоставимого изменения вручную. Помечайте оценочные значения, особенно если работа ранее откладывалась.
2. Проверьте Insights. Изучите соответствующие задачи категории «Разработка программного обеспечения» и расход кредитов на них за тот же период. Если потребление выделяется, проверьте доступные разбивки по моделям и рассуждению.
3. Проверьте изменение. Просмотрите diff, выполните необходимые проверки и найдите пропущенные места вызова или изменения поведения. Включите в затраты труда проверку, корректировки и последующие исправления.
4. Перейдите к другому пакету, если рефакторинг прошел согласованные проверки. Если остается слишком много доработок, сначала сузьте изменение или предоставьте рабочий пример.

Изучение клиентов

Помогает ли ChatGPT Work сотрудникам отдела продаж готовить точные справки о клиентах с меньшими усилиями?

Выберите отдел продаж, который регулярно готовит такие справки. Согласуйте, что должна включать каждая справка, например историю отношений с клиентом, текущие приоритеты и вопросы для клиента.

Как исследовать

1. Сравните похожие справки. Фиксируйте время подготовки и проверки до и во время пробного периода. Используйте одинаковые критерии качества и выбирайте клиентов, требующих сопоставимой глубины исследования.
2. Проверьте Insights. Найдите задачи изучения клиентов и планирования в категории «Продажи». Используйте доступный фильтр по группам, чтобы сосредоточиться на команде. Изучите кредиты, выбранные модели и доступные данные об активности плагинов или навыков за тот же период.
3. Проверьте справки вместе с сотрудниками отдела продаж. Сверьте факты с исходными записями и оцените, помогает ли исследование подготовиться к разговору. Включите исправления в затраты труда и отслеживайте, используется ли сэкономленное время для разговоров с клиентами или последующей работы с ними.
4. Поделитесь подходом, если точные справки требуют меньше усилий. Если важного контекста не хватает, улучшите исходные материалы или предоставьте общий навык. Используйте записи CRM для оценки последующих изменений в квалифицированных возможностях продаж или самих продажах; одних данных Insights недостаточно, чтобы установить такую связь.

Планирование запасов

Помогает ли ChatGPT Work команде готовить надежные планы запасов с меньшим объемом ручной работы?

Выберите повторяющийся цикл планирования, например запасы для мероприятия. Согласуйте, какие товары и места хранения входят в объем работ и какие данные о продажах и запасах будет использовать команда.

Как исследовать

1. Зафиксируйте текущий процесс. Измерьте время на сбор данных, подготовку плана и его корректировку. Отметьте нехватку или избыток запасов в сопоставимых циклах.
2. Проверьте Insights. Найдите категорию и задачи, соответствующие работе команды по планированию. Изучите кредиты и активных пользователей за тот же период. Подтвердите соответствие с командой, прежде чем относить использование в категории к этому рабочему процессу.
3. Сопоставьте план с фактическими результатами. Попросите ответственного за запасы проверить количества, допущения и недостающие данные. Включите проверку и корректировки в затраты труда. После завершения цикла сравните запланированные запасы с продажами и остатками.
4. Используйте рабочий процесс повторно, если планы надежны и требуют меньше усилий. Если нехватка или избыток запасов растут, пересмотрите исходные данные и допущения. Используйте данные учета запасов и закупок для оценки снижения затрат.

Зафиксируйте оценку. Укажите сценарий использования, ответственного и отчетный период. Включите исходные показатели, результаты, кредиты и ограничения. Запишите согласованные с командой изменения и дату их пересмотра. Подсчитывайте завершенную работу по данным команды и помечайте оценочные значения.

Для оценки ROI сравните ценность улучшения с затратами на ИИ, настройку, обучение и постоянную поддержку. Включите время на проверку и исправление работы. Сэкономленное время не означает автоматической экономии денег; проверьте, как команда использует высвободившиеся ресурсы.

Прежде чем повышать лимиты использования, изучите текущие лимиты, потребление и работу, которой требуется больше ресурсов. Израсходованные кредиты не означают автоматического увеличения суммы счета. См. раздел Использование и стоимость ChatGPT Work.

Аналитика использования — один из источников для оценки отдачи от вложений в ChatGPT Work и Codex. Она показывает использование и потребление кредитов в пределах выбранного набора данных. Команды, выполняющие работу, могут объяснить, что изменилось, улучшились ли результаты и какова ценность этого улучшения. Используйте оба источника, чтобы решить, какие рабочие процессы расширять и где команде нужна дополнительная поддержка.