事前学習から推論まで。モデルができる過程

事前学習は、大量のデータから汎用的な特徴やパターンを学ぶ段階です。言語モデルでは、文脈に続くトークンを予測する課題などを通じて、文章の構造や多様な関連性を学習します。データの規模だけでなく、品質、偏り、重複、権利関係も重要です。

学んだ情報は辞書の見出しのようにそのまま保管されるとは限らず、パラメータという数値に反映されます。そのため、学習済みのモデルに質問すれば、いつでも出典を正確に取り出せるという理解は適切ではありません。

ファインチューニングは、学習済みモデルを追加のデータで調整する方法です。指示と望ましい回答の組を使う学習などにより、用途や応答形式へ適合させます。RLHFは、人間の評価を手掛かりに望ましい出力へ近づける学習手法の一つです。

役に立つことや安全な応答を目指しますが、人の評価にも偏りやばらつきがあり、誤りを完全になくすものではありません。企業独自の知識を扱う際は、追加学習が必要なのか、検索で根拠を渡す方が適切なのかを検討します。

推論は、学習済みモデルが入力に対して結果を作る段階です。推論モデルでは、回答に至るまでの計算を増やすなどの工夫で、複雑な問題への対応を目指します。ただし、処理時間や費用との兼ね合いがあり、すべての作業に最も大きなモデルが必要とは限りません。

分類や定型文の整形なら、小さなモデルでも目的を達成できる場合があります。学習の時点、検索の有無、ツールへの接続、出力の検証方法を合わせて確認することで、適切な利用方法を判断できます。