目次を開く
結論
RAGとファインチューニングは、目的が重なる部分もありますが、同じ変更手段ではありません。参照する情報を更新したいのか、応答の形式や判断傾向を変えたいのかを分け、目的に合う比較を設計します。モデルに知識が含まれていても、出典の提示や参照権限を自動的に満たすとは限りません。
比較する四つの条件
同じ業務と基準モデルを出発点に、次の四条件を候補にします。利用するモデルで追加学習が可能かは先に確認します。
| 条件 | 変えるもの | 主に確かめること |
|---|---|---|
| 基準 | プロンプトのみ | 追加構成なしで満たせる品質 |
| RAG | 検索と参照情報 | 最新情報の利用、根拠の提示、検索失敗 |
| ファインチューニング | 学習用の入出力例 | 形式への適合、判断の一貫性、未知入力への汎化 |
| 組み合わせ | 検索と追加学習 | 両者の効果、維持費用、失敗の切り分け |
比較を成立させる手順
- 評価対象の業務、許されない誤り、回答を控える条件を決めます。事実の正しさ、根拠との整合、形式への適合を別の採点項目にします。
- 学習・開発・最終評価のデータを分けます。利用者、原本文書、ほぼ同じ事例が分割をまたがないよう確認します。
- モデルの版、プロンプト、学習条件、検索対象、生成の上限、再試行条件を記録します。条件によって使える機能が異なる場合は、その差も比較表に残します。
- 同じ最終評価入力を各条件に与えます。評価者に方式を伏せ、判定が分かれた例を記録します。生成が変動する条件では反復回数を先に決め、平均だけでなくばらつきも確認します。
- 原本の更新と参照権限の失効を別の評価ケースにします。変更後に古い内容を答える経路や、取得してはいけない情報を含む経路がないか調べます。
- 回答品質に加え、学習費用、索引更新、推論費用、待ち時間、再評価の作業量を同じ利用量の想定で比較します。
トレードオフ
検索の追加は情報の更新経路をつくりますが、取り込みや検索品質の管理が必要です。追加学習は応答傾向の調整に使えますが、学習データの管理と回帰評価が増えます。両者を組み合わせる場合も、問題が検索と生成のどちらにあるかを切り分けられる記録が必要です。
制約
一つのデータ集合で優れた方式を、すべての業務に適用できるとは限りません。学習データへの混入、更新頻度、根拠の提示要件、アクセス制御を含めて判断します。権限判定をモデルの応答だけに任せない設計が必要です。
資料
関連事例
関連事例の担当範囲や設計判断を参照します。記事で提案する実験・構成を、その事例で実施済みとするものではありません。