Codex における ChatGPT Work の利用状況のインサイト
管理コンソールの Insights では、チームが ChatGPT Work と Codex を何に使用し、どこでクレジットを消費しているかを把握できます。ワークスペースの概要でカテゴリを開くと、そのタスクと利用状況を確認できます。結果を比較する前に、各ビューに表示されている対象範囲を確認してください。
これらのビューを使って、担当者とともに評価するワークフローを見つけます。利用状況と支出をチームの記録と照らし合わせ、作業の負担が減っているか、品質基準を満たしているか、より良い成果につながっているかを把握してください。
分析ビュー
管理コンソールには、ChatGPT Work と Codex の分析機能があります。Usage にはアクティビティと消費量が表示されます。Insights は利用状況をカテゴリとタスクに分類します。エンジニアリング業務については、Code review でレビューのアクティビティと指摘事項を確認できます。
トークンを確認する場合は、Usage で利用できるトークン指標を使ってください。メッセージの割合、クレジットの割合、トークンの割合はそれぞれ異なるものを表します。結果を比較または共有するときも、これらのラベルをそのまま使用してください。
Insights を開く
管理コンソールでワークスペースを選択し、Analytics > Insights を開きます。そのワークスペースの分析へのアクセス権が必要です。表示されるビューとデータは、権限と有効になっている機能によって異なります。
結果を読み取る前に、ワークスペース、期間、利用可能なフィルターを確認してください。アクティビティを比較するときは、これらの条件をそろえます。Insights の履歴は、分類が開始された時点以降のものだけを利用できます。
ユースケースとタスク
Overview では、Use cases / Tasks の切り替えで、大まかなカテゴリとより具体的なアクティビティを切り替えられます。Use cases タブでカテゴリを展開すると、そのタスクを確認できます。
グラフでユースケースまたはタスクを選択すると、その詳細が開きます。上位 10 件以外のカテゴリやタスクも比較するには、Use cases の表を使います。
1 つのカテゴリに複数のワークフローが含まれる場合があります。単一の業務プロセスとして扱う前に、そのタスクを確認してください。未分類のアクティビティがある場合は、結果を説明するときにその制約を明記します。
メッセージ、クレジット、アクティブユーザー
各カテゴリやタスクを理解するには、表の Messages、Credits、Active users を併せて確認します。サンプリングに関する通知が表示される場合、表示件数はサンプリングされたアクティビティを反映しています。その件数を比例換算して、ワークスペース全体のアクティビティを推計しないでください。
Messages は、カテゴリまたはタスクに関連するメッセージ数を示します。メッセージ数から、チームがどれだけの作業を完了したかはわかりません。
Share of credits は、カテゴリまたはタスクに関連するクレジット消費の割合を示します。Credits と Messages と併せて読み取り、消費がどこに集中しているかを把握してください。
Active users は、カテゴリまたはタスクで活動しているユーザー数を示します。Messages と併せて読み取り、カテゴリを利用する人数と、そこで生じるアクティビティの量を比較してください。
あるカテゴリがクレジットの大きな割合を占める場合は、そのタスク、モデル、設定を確認します。作業の複雑さやモデルの選択の違いが、そのカテゴリのクレジット使用量を説明できる場合があります。その消費に見合う価値があるかを判断する前に、チームが達成したことを確認してください。
アクティブユーザーが少ないカテゴリでは、どのように利用しているか、どこで困っているかをユーザーに尋ねてください。共有する価値のあるワークフローを持っている場合も、追加の支援を必要としている場合もあります。
カテゴリの詳細
カテゴリの詳細を開くと、右側のドロワーにタスクと利用状況の内訳が表示されます。
カテゴリ内のタスクと、各タスクで使用されたクレジットを確認します。モデル、推論、速度の内訳は、選択したカテゴリまたはタスク内で各オプションが占めるクレジットの割合を示します。消費量が変化した場合は、作業やこれらの設定が変わったかをチームに尋ねてください。
表示される場合は、カテゴリまたはタスクのプラグインとスキルの呼び出しを確認します。これらの件数には、選択した期間とフィルターの範囲内で、ChatGPT Work と Codex 全体のアクティビティが含まれます。呼び出しは、メッセージや完了したタスクと同じものではありません。
知見を共有するときは、推計値を必ず推計値として明示してください。プラグインとスキルへのクレジット配分は重複する場合があるため、これらのビューの値を合算して総投資額を計算しないでください。クレジットと請求への影響の解釈について詳しくは、ChatGPT Work の利用状況とコストを参照してください。
コードレビュー
エンジニアリング業務を確認する場合は、Code review を開き、ワークスペースで利用できるレビュー指標を確認します。
- PRs reviewed は、プルリクエストのレビューアクティビティを示します。レビュー済みのプルリクエストが、マージまたはデプロイされているとは限りません。
- Issues found は、それらのレビューでの指摘事項を示します。どの指摘が役立ち、対応につながったかを、レビュアーに確認してください。
- Issues by priority、reactions、reaction sentiment は、指摘事項と、それに対する反応の背景を把握するための情報です。
件数がゼロの場合、アクティビティがなかった可能性も、レポートに欠落がある可能性もあります。件数を解釈する前に、期間と、該当するレビューが含まれているかを確認してください。
価値を評価する
チームが ChatGPT Work または Codex で使用しているワークフローを選びます。改善したい成果と、その測定方法について業務責任者と合意してください。Insights を、顧客企業の概要資料、在庫計画、プルリクエストなどのチームの記録と併せて確認します。実際に作業する人も評価に参加してもらってください。
レポートの対象期間をそろえ、サンプリングに関する通知を確認します。カテゴリには複数のワークフローが含まれる場合があり、アクティビティの件数は完了した作業量を測るものではありません。以下の例では、利用データとワークフローから得られる証拠の両方を使って価値を調べる方法を示します。
バグの修正
Codex は、エンジニアが調査や手戻りを減らしてバグを解決するのに役立っていますか？
入力処理の誤りなど、1 つのサービスで繰り返し発生するバグの種類を選びます。そのコードに詳しいエンジニアとともに、問題、修正、回帰テストを確認してください。
調査方法
- 類似する修正を比較します。 複雑さが同程度のバグについて、調査、実装、レビューにかかった時間を記録します。実作業の工数と、レビューやリリースの待ち時間は分けてください。
- Insights を確認します。 Software engineering を開き、調査に関連するタスクを探します。比較対象の期間のクレジットとアクティブユーザーを確認してください。
- 結果を確認します。 テストでバグが再現され、修正後にテストが通ることを確認します。エンジニアが何を修正したかを尋ね、再オープンされた問題やリグレッションを記録してください。
- 確認済みの修正で総工数が減っている場合は、そのワークフローを共有します。 手戻りが多いままなら、再現手順やリポジトリのコンテキストを改善し、再度比較してください。
テストの追加
Codex は、手作業を減らしながら重要な障害ケースをテストで網羅するのに役立っていますか？
カバレッジに既知の不足があるモジュールを選びます。結果を比較する前に、どの動作と障害ケースにテストが必要かを合意してください。
調査方法
- 不足を明確にします。 テストされていない動作を列挙し、同等のテストを追加するのに必要な工数を記録します。テストレポートを使って、開始時点のカバレッジを記録してください。
- Insights を確認します。 Software engineering で関連するタスクを探します。同じ期間のクレジットと、利用可能なモデルおよび推論の内訳を確認してください。
- テストを精査します。 アサーションが意図した障害を検出するかをエンジニアに確認してもらいます。結果の不安定さ、実行時間の増加、テストの書き直しや保守にかかった時間を記録してください。
- 有用なテストをより少ない工数で取り込める場合は、その方法を再利用します。 障害を検出せずにテストが通る場合は、期待する動作を明確にして再試行してください。
コードのリファクタリング
Codex は、期待する動作を維持しながらリファクタリングを完了するのに役立っていますか？
パッケージ全体で非推奨の API を置き換えるなど、範囲を限定した変更を 1 つ選びます。どの呼び出し箇所を対象とするか、チームが結果をどのように検証するかについて合意してください。
調査方法
- 範囲を定めます。 更新する呼び出し箇所と、同等の変更を手作業で行う場合の工数を記録します。特に、以前に先送りされた作業では、推計値を明示してください。
- Insights を確認します。 同じ期間の、関連する Software engineering のタスクとクレジットを確認します。消費量が目立つ場合は、利用可能なモデルと推論の内訳を確認してください。
- 変更を検証します。 差分をレビューし、関連するチェックを実行して、更新漏れの呼び出し箇所や動作の変化を探します。レビュー、訂正、追加の修正も工数に含めてください。
- リファクタリングが合意したチェックを満たした場合は、別のパッケージにも広げます。 後処理が多く残る場合は、まず変更の範囲を狭めるか、動作する例を用意してください。
顧客企業の調査
ChatGPT Work は、営業担当者が正確な顧客企業の概要資料をより少ない工数で準備するのに役立っていますか？
定期的に概要資料を作成している営業チームを選びます。取引履歴、現在の優先事項、顧客への質問など、各資料に含める内容について合意してください。
調査方法
- 類似する概要資料を比較します。 試行の前と実施中に、準備とレビューにかかった時間を記録します。同じ品質基準を使い、同程度の調査を必要とする顧客企業を対象にしてください。
- Insights を確認します。 Sales で顧客企業の調査と計画に関するタスクを探します。利用可能なグループフィルターで対象チームに絞り込みます。同じ期間のクレジット、モデルの選択、表示されるプラグインやスキルのアクティビティを確認してください。
- 営業担当者と概要資料をレビューします。 元の記録と照らし合わせて事実を確認し、調査が商談の準備に役立つかを評価します。訂正も工数に含め、節約できた時間が顧客との対話やフォローアップに使われているかを追跡してください。
- 正確な概要資料をより少ない工数で作成できる場合は、その方法を共有します。 重要な背景情報が不足している場合は、元の資料を改善するか、共通で使えるスキルを用意してください。その後の有望な商談や売上の変化は、CRM の記録を使って評価します。Insights だけでは、その関連性は立証できません。
在庫計画
ChatGPT Work は、チームが手作業を減らしながら信頼できる在庫計画を作成するのに役立っていますか？
イベント向けの在庫など、繰り返し行う計画サイクルを選びます。対象とする商品と拠点、チームが使用する販売記録と在庫記録について合意してください。
調査方法
- 現在のプロセスを記録します。 記録の収集、計画の作成、訂正にかかる時間を測定します。比較可能なサイクルでの在庫不足や過剰在庫を記録してください。
- Insights を確認します。 チームの計画業務に合うカテゴリとタスクを探します。同じ期間のクレジットとアクティブユーザーを確認します。そのカテゴリの利用状況をこのワークフローによるものとみなす前に、対応関係をチームに確認してください。
- 計画を実績と照らし合わせます。 在庫管理の責任者に、数量、前提、データの不足を確認してもらいます。レビューと訂正も工数に含めます。サイクルの終了後に、計画した在庫と、売上および残った在庫を比較してください。
- 計画に信頼性があり、工数が減る場合は、そのワークフローを再利用します。 在庫不足や過剰在庫が増えた場合は、入力情報と前提を見直します。コスト削減の有無は、在庫と購買の記録を使って評価してください。
評価を記録します。 ユースケース、責任者、レポートの対象期間を記載します。基準となる状態、結果、クレジット、制約を含めてください。チームと合意した変更と、その見直し日を記録します。完了した作業はチームの記録から数え、推計値は明示してください。
ROI を評価するには、改善による価値を、AI、セットアップ、トレーニング、継続的なサポートのコストと比較します。作業のレビューや訂正に費やした時間も含めてください。時間の節約がそのまま金銭的な節約になるわけではありません。生まれた余力をチームがどう使っているかを確認してください。
利用上限を引き上げる前に、現在の上限、消費量、追加の利用枠を必要とする作業を確認します。消費したクレジットが、そのまま追加の請求額になるわけではありません。ChatGPT Work の利用状況とコストを参照してください。
利用状況のインサイトは、ChatGPT Work と Codex への投資に対するリターンを理解するための情報の一部です。選択した範囲内の利用状況とクレジット消費を示します。実際に作業しているチームは、何が変わったか、成果が改善したか、その改善にどれだけの価値があるかを説明できます。両方を活用して、どのワークフローを広げるか、どこでチームに追加の支援が必要かを判断してください。