Analyse de l’utilisation de ChatGPT Work dans Codex

Insights, dans la console d’administration, vous aide à comprendre à quelles fins les équipes utilisent ChatGPT Work et Codex et où les crédits sont dépensés. Ouvrez une catégorie dans la vue d’ensemble de l’espace de travail pour consulter ses tâches et son utilisation. Vérifiez le périmètre indiqué dans chaque vue avant de comparer les résultats.

Utilisez ces vues pour repérer les processus de travail à évaluer avec les personnes qui en sont responsables. Rapprochez l’utilisation et les dépenses des données de l’équipe pour déterminer si le travail demande moins d’efforts, respecte les critères de qualité ou produit de meilleurs résultats.

Voir la vidéo : évaluer l’utilisation et la valeur de ChatGPT Work

Vues analytiques

La console d’administration propose des analyses pour ChatGPT Work et Codex. Usage présente l’activité et la consommation. Insights regroupe l’utilisation par catégories et par tâches. Pour les activités d’ingénierie logicielle, Code review présente l’activité de revue et les problèmes relevés.

Si vous vous intéressez aux tokens, utilisez les mesures correspondantes disponibles dans Usage. La part des messages, la part des crédits et la part des tokens décrivent des choses différentes ; conservez ces libellés tels quels lorsque vous comparez ou partagez un résultat.

Ouvrir Insights

Dans la console d’administration, sélectionnez votre espace de travail et ouvrez Analytics > Insights. Vous devez avoir accès aux analyses de cet espace de travail ; les vues et les données affichées dépendent de vos autorisations et des fonctionnalités activées.

Vérifiez l’espace de travail, la plage de dates et les filtres disponibles avant de consulter les résultats. Conservez les mêmes paramètres lorsque vous comparez l’activité. L’historique d’Insights n’est disponible qu’à partir du début de la classification.

Cas d’usage et tâches

Dans la vue d’ensemble, utilisez le sélecteur Cas d’usage / Tâches pour passer des grandes catégories aux activités plus précises. Dans l’onglet Cas d’usage, développez une catégorie pour afficher ses tâches.

Sélectionnez un cas d’usage ou une tâche dans le graphique pour ouvrir ses détails. Utilisez le tableau des cas d’usage pour comparer les catégories et les tâches au-delà des 10 premières.

Une catégorie peut regrouper plusieurs processus de travail. Examinez ses tâches avant de la considérer comme un seul processus métier. Si certaines activités ne sont pas classées, mentionnez cette limite lorsque vous décrivez les résultats.

Messages, crédits et utilisateurs actifs

Lisez conjointement les colonnes Messages, Crédits et Utilisateurs actifs du tableau pour comprendre chaque catégorie ou tâche. Si un avis d’échantillonnage apparaît, les nombres affichés correspondent à l’activité échantillonnée. Ne les extrapolez pas pour estimer l’activité totale de l’espace de travail.

Messages indique le nombre de messages associés à une catégorie ou à une tâche. Le nombre de messages ne vous indique pas la quantité de travail accomplie par l’équipe.

Part des crédits indique la proportion de la consommation de crédits associée à une catégorie ou à une tâche. Lisez cet indicateur avec Crédits et Messages pour comprendre où se concentre la consommation.

Utilisateurs actifs indique le nombre de personnes actives dans une catégorie ou une tâche. Lisez cet indicateur avec Messages pour comparer le nombre de personnes qui utilisent une catégorie au volume d’activité qu’elle génère.

Si une catégorie représente une part importante des crédits, examinez ses tâches, ses modèles et ses paramètres. Un travail plus complexe ou des choix de modèles différents peuvent expliquer sa consommation de crédits. Examinez ce que l’équipe a accompli avant de décider si cette consommation en vaut la peine.

Si une catégorie compte peu d’utilisateurs actifs, demandez-leur comment ils l’utilisent et quelles difficultés ils rencontrent. Ils ont peut-être un processus de travail qui mérite d’être partagé ou besoin d’un accompagnement supplémentaire.

Détails des catégories

Ouvrez les détails d’une catégorie pour afficher ses tâches et la répartition de son utilisation dans un panneau latéral à droite.

Examinez les tâches de la catégorie et les crédits utilisés par chacune. Les répartitions par modèle, raisonnement et vitesse indiquent la part des crédits de chaque option au sein de la catégorie ou de la tâche sélectionnée. Si la consommation évolue, demandez à l’équipe si le travail ou ces paramètres ont changé.

Lorsque ces données sont disponibles, examinez les appels aux plugins et aux skills pour la catégorie ou la tâche. Ces nombres incluent l’activité dans ChatGPT Work et Codex selon les dates et les filtres sélectionnés. Les appels ne correspondent ni aux messages ni aux tâches accomplies.

Lorsque vous partagez un constat, indiquez clairement les estimations comme telles. Les crédits attribués aux plugins et aux skills peuvent se recouper ; n’additionnez donc pas ces vues pour calculer l’investissement total. Pour en savoir plus sur l’interprétation des crédits et leur incidence sur la facturation, consultez Utilisation et coût de ChatGPT Work.

Revue de code

Si vous examinez des activités d’ingénierie logicielle, ouvrez Code review pour consulter les indicateurs de revue disponibles dans votre espace de travail.

• Pull requests examinées présente l’activité de revue des pull requests. Une pull request examinée n’est pas nécessairement fusionnée ou déployée.
• Problèmes relevés présente les problèmes détectés lors de ces revues. Échangez avec les personnes chargées des revues pour comprendre quels signalements ont été utiles et ont donné lieu à une action.
• Problèmes par priorité, réactions et tonalité des réactions apporte du contexte sur les problèmes relevés et les réactions qu’ils ont suscitées.

Un nombre nul peut traduire une absence d’activité ou une lacune dans les données remontées. Vérifiez la plage de dates et l’inclusion des revues concernées avant d’interpréter ce nombre.

Évaluer la valeur

Choisissez un processus de travail que votre équipe utilise dans ChatGPT Work ou Codex. Convenez avec le responsable métier du résultat à améliorer et de la manière de le mesurer. Examinez Insights en parallèle des documents de l’équipe, tels que les fiches de synthèse sur les comptes clients, les plans de stock ou les pull requests. Associez à l’évaluation les personnes qui effectuent le travail.

Utilisez une période de référence cohérente et vérifiez tout avis d’échantillonnage. Les catégories peuvent regrouper plusieurs processus de travail, et les volumes d’activité ne mesurent pas le travail accompli. Les exemples ci-dessous montrent comment étudier la valeur en combinant les données d’utilisation et les éléments concrets issus du processus de travail.

Corriger des bugs

Codex aide-t-il les ingénieurs à résoudre les bugs en réduisant le travail d’investigation et de reprise ?

Choisissez un type de bug récurrent dans un service, par exemple une mauvaise gestion des entrées. Examinez les tickets, les correctifs et les tests de non-régression avec un ingénieur qui connaît ce code.

Comment procéder

1. Comparez des correctifs similaires. Consignez le temps consacré à l’investigation, à l’implémentation et à la revue pour des bugs de complexité similaire. Distinguez le temps de travail effectif du temps d’attente d’une revue ou d’une mise en production.
2. Consultez Insights. Ouvrez Ingénierie logicielle et recherchez les tâches liées à l’investigation. Examinez les crédits et les utilisateurs actifs pour la période que vous comparez.
3. Confirmez le résultat. Vérifiez que le test reproduit le bug et réussit avec le correctif. Demandez ce que les ingénieurs ont corrigé et notez les tickets rouverts ou les régressions.
4. Si les correctifs confirmés demandent moins d’efforts au total, partagez le processus de travail. Si le travail de reprise reste important, améliorez les étapes de reproduction ou le contexte du dépôt, puis comparez à nouveau.

Ajouter des tests

Codex aide-t-il l’équipe à couvrir les cas de défaillance importants avec moins d’efforts manuels ?

Choisissez un module dont la couverture présente une lacune connue. Convenez des comportements et des cas de défaillance à tester avant de comparer les résultats.

Comment procéder

1. Définissez la lacune. Dressez la liste des comportements non couverts et consignez les efforts nécessaires pour ajouter des tests comparables. Utilisez vos rapports de test pour établir la couverture de départ.
2. Consultez Insights. Recherchez les tâches pertinentes dans Ingénierie logicielle. Examinez les crédits et les répartitions disponibles par modèle et par raisonnement pour la même période.
3. Examinez les tests. Demandez à un ingénieur de vérifier que les assertions détectent les défaillances visées. Notez les résultats instables, l’allongement du temps d’exécution et le temps consacré à la réécriture ou à la maintenance des tests.
4. Réutilisez l’approche si l’intégration de tests utiles demande moins d’efforts. Si les tests réussissent sans détecter la défaillance, précisez le comportement attendu et réessayez.

Refactoriser du code

Codex aide-t-il l’équipe à mener une refactorisation à bien tout en préservant le comportement attendu ?

Choisissez une modification au périmètre bien délimité, comme le remplacement d’une API obsolète dans un package. Convenez des sites d’appel inclus dans le périmètre et de la manière dont l’équipe vérifiera le résultat.

Comment procéder

1. Définissez le périmètre. Consignez les sites d’appel à mettre à jour et les efforts nécessaires pour une modification manuelle comparable. Signalez les estimations, en particulier si le travail avait été reporté.
2. Consultez Insights. Examinez les tâches pertinentes d’Ingénierie logicielle et les crédits associés pour la même période. Vérifiez les répartitions disponibles par modèle et par raisonnement si la consommation se démarque.
3. Validez la modification. Examinez le diff, exécutez les vérifications pertinentes et recherchez les sites d’appel oubliés ou les changements de comportement. Incluez la revue, les corrections et les correctifs ultérieurs dans les efforts comptabilisés.
4. Étendez l’approche à un autre package si la refactorisation satisfait aux vérifications convenues. S’il reste trop de travail de nettoyage, réduisez le périmètre de la modification ou fournissez d’abord un exemple fonctionnel.

Rechercher des informations sur les comptes clients

ChatGPT Work aide-t-il les commerciaux à préparer des fiches de synthèse exactes sur les comptes clients avec moins d’efforts ?

Choisissez une équipe commerciale qui prépare régulièrement des fiches de synthèse. Convenez du contenu de chaque fiche, par exemple l’historique du compte, les priorités actuelles et les questions à poser au client.

Comment procéder

1. Comparez des fiches similaires. Consignez le temps de préparation et de revue avant et pendant l’essai. Utilisez les mêmes critères de qualité et des comptes qui nécessitent un niveau de recherche similaire.
2. Consultez Insights. Recherchez les activités de recherche et de planification concernant les comptes dans Ventes. Utilisez le filtre de groupe disponible pour cibler l’équipe. Examinez les crédits, les choix de modèles et toute activité disponible liée aux plugins ou aux skills pour la même période.
3. Examinez les fiches avec les commerciaux. Vérifiez les faits à partir des documents sources et évaluez si les recherches aident à préparer l’échange. Incluez les corrections dans les efforts comptabilisés et vérifiez si le temps gagné est consacré aux échanges avec les clients ou au suivi.
4. Partagez l’approche si la préparation de fiches exactes demande moins d’efforts. Si des éléments de contexte importants manquent, améliorez les documents sources ou fournissez un skill partagé. Utilisez les données du CRM pour évaluer toute évolution ultérieure des opportunités qualifiées ou des ventes ; Insights ne suffit pas à établir ce lien.

Planifier les stocks

ChatGPT Work aide-t-il l’équipe à préparer des plans de stock fiables avec moins de travail manuel ?

Choisissez un cycle de planification récurrent, par exemple la gestion des stocks pour un événement. Convenez des produits et des sites inclus dans le périmètre, ainsi que des données de vente et de stock que l’équipe utilisera.

Comment procéder

1. Consignez le processus actuel. Mesurez le temps consacré à la collecte des données, à la préparation du plan et à sa correction. Notez les ruptures de stock ou les stocks excédentaires lors de cycles comparables.
2. Consultez Insights. Recherchez la catégorie et les tâches qui correspondent au travail de planification de l’équipe. Examinez les crédits et les utilisateurs actifs pour la même période. Confirmez cette correspondance avec l’équipe avant d’attribuer l’utilisation de la catégorie à ce processus de travail.
3. Comparez le plan aux résultats réels. Demandez au responsable des stocks de vérifier les quantités, les hypothèses et les données manquantes. Incluez la revue et les corrections dans les efforts comptabilisés. Après le cycle, comparez les stocks prévus aux ventes et aux stocks restants.
4. Réutilisez le processus de travail si les plans sont fiables et demandent moins d’efforts. Si les ruptures de stock ou les stocks excédentaires augmentent, revoyez les données d’entrée et les hypothèses. Utilisez les données de stock et d’achat pour évaluer toute réduction des coûts.

Consignez l’évaluation. Notez le cas d’usage, le responsable et la période de référence. Incluez la situation de départ, les résultats, les crédits et les limites. Consignez les changements convenus avec l’équipe et une date pour les réexaminer. Comptez le travail accompli à partir des données de l’équipe et signalez les estimations.

Pour évaluer le retour sur investissement, comparez la valeur de l’amélioration aux coûts de l’IA, de la mise en place, de la formation et de l’accompagnement continu. Incluez le temps consacré à la revue et à la correction du travail. Le temps gagné ne se traduit pas automatiquement par une économie financière ; vérifiez comment l’équipe utilise cette capacité dégagée.

Avant d’augmenter les limites d’utilisation, examinez les limites actuelles, la consommation et le travail qui nécessite davantage de capacité. Les crédits consommés ne constituent pas automatiquement un supplément facturé. Consultez Utilisation et coût de ChatGPT Work.

L’analyse de l’utilisation contribue à comprendre le retour sur votre investissement dans ChatGPT Work et Codex. Elle présente l’utilisation et la consommation de crédits dans le périmètre sélectionné. Les équipes qui effectuent le travail peuvent expliquer ce qui a changé, si les résultats se sont améliorés et quelle est la valeur de cette amélioration. Appuyez-vous sur ces deux sources pour décider quels processus de travail étendre et où l’équipe a besoin d’un accompagnement supplémentaire.