RAGで、回答を資料に結びつける

RAGは検索拡張生成と呼ばれ、質問に関連する情報を検索し、その内容をモデルに渡して回答を生成する仕組みです。社内規程や製品マニュアルなどを参照させることで、モデルが学習していない情報も回答に利用できます。

通常は検索で得た情報を推論時に与えるもので、モデルの重みを更新する追加学習とは異なります。資料を更新すれば新しい情報を使いやすくなりますが、取り込みや検索の更新が必要です。

元の文書を変えるだけで、全システムに即時反映されるとは限りません。

資料は、検索しやすい大きさのチャンクに分割して扱うことがあります。埋め込みは文章などを数値のベクトルで表し、意味の近さに基づく検索に利用されます。キーワード検索と組み合わせるハイブリッド検索や、候補の関連度を並べ直すリランキングもあります。

チャンクが小さすぎると前提が欠け、大きすぎると不要な内容が混ざる場合があります。文書名、更新日、部署などのメタデータを付けると、どの資料を使うべきか判断しやすくなります。

検索精度も個別に評価します。

RAGはハルシネーションを減らす助けになりますが、誤った資料の選択、古い規程、文章の読み違いが残ることがあります。回答が引用先のどの箇所に支えられているか、例外条件まで反映されているかを確認します。

さらに、検索対象には利用者のアクセス権を反映させます。回答に必要そうだからといって、別部署だけに公開された文書を誰にでも使わせてはいけません。資料が見つからない場合に推測で補わず、不明と伝えたり担当部署へ案内したりする設計も大切です。