業務でCopilot Studioのエージェントを複数管理していると、「このエージェント、ちゃんと評価機能でテストされているかな？」と気になったことはありませんか？組織によっては正しく評価していないエージェントを業務での利用で許可したくないという場面もあると思います。
今回は、Power Automateのクラウドフローを使って、選択したエージェントが評価機能を使ってテストされているかどうかを自動的に取得する方法をご紹介します。
Copilot Studioの評価機能とは？
そもそも「評価機能」って何だろう？と思った方もいるかもしれません。
Copilot Studioの評価機能とは、作成したエージェントがユーザーの質問に対してどの程度正確に、かつ安全に回答できているかを定量的に測定する機能です。
従来、エージェントの回答品質をテストするには、一問一問手動で確認する必要がありました。しかし評価機能を使えば、あらかじめ用意した「質問」と「期待される回答」のセット（テストセット）を使って、数十〜数百の質問を一括で自動テストすることができます。
評価の方法もいくつか用意されており、例えば以下のような観点でスコアリングが可能です。
- テキストマッチ：期待する回答と完全一致・部分一致しているかをチェック
- テキスト類似度：意味が近い回答かどうかを比較
- 全般的な品質（GeneralQuality）：関連性・根拠性・完全性などをAIが総合的にスコアリング
つまり評価機能は、エージェントを本番運用する前に品質を担保したり、改修後のリグレッションを検出したりするための、いわば自動テストの仕組みです。この評価機能を使っているかどうかが、今回のフローで確認できるポイントになります。
参考URL
- エージェントをテストする – Microsoft Copilot Studio | Microsoft Learn
- テスト セットを作成する – Microsoft Copilot Studio | Microsoft Learn
サンプル構成
今回は動作確認のために、以下の2つのエージェントを用意しています。
- エージェント７：評価機能を使わずにテストしているエージェント
- エージェント９：評価機能を使ってテストしているエージェント
この2つを比較しながら、フローの動きを確認していきましょう。
Copilot Studioアクションを追加する
まずは、フローにCopilot Studioのアクションを追加します。
今回利用するのは、「エージェントテストセットを取得する」アクションです。このアクションを使うことで、指定したエージェントの評価テスト情報を取得することができます。
エージェントの選択について
ちょっとした補足として、アクションの選択肢から選べるエージェントには条件があります。
- 同一の環境内にあること
- 公開済みのエージェントであること
ただし、Dataverse のコパイロットテーブルから取得できるエージェントIDを直接指定する方法を使えば、未公開のエージェントの情報も取得できます。未公開のエージェントも管理対象にしたい場合は、この方法を活用してみてください。
評価の有無はvalueで判断できる
では、実際に動かして違いを確認してみましょう。
評価していないエージェントの場合
評価機能を使っていないエージェント７を選択してフローを実行すると、取得結果の value が空になります。
評価しているエージェントの場合
次に、評価機能を使っているエージェント９を選択して実行してみると、今度は value にデータが入っていることが確認できます。
つまり、value の有無を確認するだけで、そのエージェントが評価機能を使ってテストされているかどうかを判断できるわけです。シンプルですが、非常に使いやすい仕組みですね。
実務での活用例：未評価エージェントの一覧通知フロー
この仕組みを応用すると、例えば環境内のエージェントの評価状況を一括チェックするフローを作ることができます。
フローの流れは以下のようなイメージです。
- Dataverse のコパイロットテーブルから環境内のエージェントの一覧の取得
- 環境内の全エージェントに対して「エージェントテストセットを取得する」アクションを実行
valueが空（Empty）かどうかを条件で分岐（@empty(outputs(‘エージェント_テスト_セットを取得する’)?[‘body/value’])）- 未評価のエージェントを一覧化
- 作成者や担当者に評価を促す通知を自動送信
value が空かどうかのチェックは、Power Automateの条件アクションで empty() 関数を使えばそのまま判定できます。これで、評価漏れのエージェントを見逃さない運用が実現できます。
まとめ
今回は、Power AutomateとCopilot Studioを組み合わせて、エージェントの評価有無を自動取得する方法をご紹介しました。
- 「エージェントテストセットを取得する」アクションで評価情報を取得
- 取得結果の
valueの有無で評価済み・未評価を判断 valueが空かどうかを条件分岐することで、未評価エージェントの一覧化や通知にも応用可能
複数のエージェントを管理している環境では、評価漏れの防止に役立てることができます。ぜひ業務フローに取り入れてみてください。
コメント