RAGの回答精度をどう測るか — 評価セット設計と運用改善の実務
RAGを構築した後、必ず訪れるのが「精度を上げてほしい」という要望です。ところが多くの現場では、精度を測る物差しがないまま「なんとなく良くなった気がする」でチューニングが進み、ある改修で別の質問が答えられなくなったことに誰も気づかない、という事態が起きます。本記事では、弊社がRAG案件で必ず最初に整備する評価セットの設計手順を解説します。
なぜ体感評価では運用が破綻するのか
RAGの構成要素は、チャンク分割、埋め込みモデル、検索件数、リランキング、プロンプトと多岐にわたり、どこか一つを変えると回答全体の挙動が変わります。体感評価の問題は、確認する質問が毎回数問に偏ることです。改修対象の質問は良くなったが、既存の質問が静かに劣化する「回帰」を検知できません。ソフトウェア開発でテストコードなしのリファクタリングが危険なのと同じで、RAGにも回帰テストに相当する仕組みが必要です。それが評価セットです。
評価セットの作り方
質問は実ログから採る
評価セットは「質問・期待する回答の要点・根拠となる文書(チャンク)」の三点セットで作ります。質問は開発者が机上で考えるのではなく、パイロット運用の質問ログや、問い合わせ窓口に実際に届いた質問から採ることが重要です。開発者が作る質問は文書の言葉遣いに引きずられ、本番の質問より簡単になりがちだからです。実際のユーザーは正式名称ではなく略称や現場用語で聞いてきますし、一つの質問に複数の論点を混ぜてきます。この「質問の汚さ」を評価セットに含められるかが、本番精度との乖離を決めます。
期待する回答は模範解答の全文ではなく、「含まれるべき要点」と「含まれてはいけない内容」の箇条書きで定義します。全文一致で採点すると言い回しの違いで不当に減点され、チューニングの方向を誤らせるためです。
質問タイプを分類して揃える
質問には難易度の階層があります。最低限、次の4タイプを混ぜて30〜50問から始めます。
- 単一文書の事実確認:「出張時の宿泊費上限は?」のような一つのチャンクで答えられる質問
- 手順・条件分岐:「課長職が海外出張する場合の申請手順は?」のような複数条件の組み合わせ
- 複数文書の横断:規程と通達をまたいで初めて答えられる質問
- 答えてはいけない質問:文書に根拠がない質問や権限外の質問に、正しく「分かりません」と言えるか
特に4つ目は忘れられがちですが、実運用のクレームの多くは「知らないことを堂々と間違える」ケースから発生します。
何を測るか — 検索と生成を分けて見る
RAGの精度は「正しい文書を取れたか(検索)」と「取れた文書から正しく答えたか(生成)」に分解して測ります。検索側は、正解チャンクが検索結果の上位に入った割合(再現率)を見れば、埋め込みモデルやチャンク設計の良し悪しを生成と切り離して評価できます。生成側は、回答が検索結果に忠実か(ハルシネーションしていないか)と、質問に答えているかを見ます。RAGASのようなオープンソースの評価フレームワークには、こうした観点がFaithfulnessやContext Recallといった指標として実装されており、たたき台として有用です。
分解して測る利点は、対策の切り分けができることです。検索の再現率が低いならチャンク分割や検索方式の見直し、検索は当たっているのに回答が誤るならプロンプトや生成モデル側の問題、と原因の層を特定してから手を打てます。ここを混ぜたまま「精度が低い」と括ると、効かない対策に時間を溶かします。
採点にLLMを使う「LLM-as-a-judge」は50問規模でも人手を大幅に減らせる現実的な手法ですが、採点者モデルの癖(長い回答を高く評価しがち、自モデルの文体を好むなど)があるため、導入時に人間の採点と突き合わせて採点基準のプロンプトを校正しておくことが欠かせません。
運用 — 評価は「一度きり」では意味がない
評価セットの価値は継続にあります。チャンク設計の変更、モデルの入れ替え、プロンプト修正――変更のたびに同じセットを流し、スコアの推移を記録します。弊社では評価実行をスクリプト化し、変更前後の差分(どの質問が改善し、どの質問が劣化したか)を一覧で出す形にしています。合計スコアだけ見ると、改善と劣化が相殺されて変化なしに見えるためです。また、規程改定や組織変更で正解自体が古くなるので、評価セットは四半期ごとに棚卸しします。スコアの推移は改善の証跡として経営層への報告にも使えるため、導入効果の説明責任という副次的な価値もあります。
まとめ
RAGの精度改善は、評価セットという物差しを作った瞬間から「勘」が「工学」に変わります。まず実ログから30問、答えてはいけない質問を含めて揃えることから始めてください。なお、Copilot Studioのような既製ツールでは精度改善の打ち手が限られる点をCopilot Studioの記事で書きましたが、評価セットの考え方自体はツールを問わず有効です。評価基盤込みのRAG構築はセキュア生成AI基盤RAGサービスでご支援しています。
