LLM・トークン・Transformerをつなげる

大規模言語モデルは、一般に大量の言語データから規則性を学んだモデルで、LLMと略されます。文章はそのまま一つの塊として扱われるのではなく、トークンと呼ばれる単位に分割されます。

トークンは単語、単語の一部、記号などに対応し、日本語の一文字や一単語と常に一致するわけではありません。多くの文章生成モデルでは、与えられた文脈と、それまでに生成したトークンを手掛かりに、次に続くトークンの確率を計算し、生成を進めます。

自然な文章ができることと、内容が真実であることは別です。

Transformerで重要なAttentionは、文脈中のどの情報を重視するかを計算する仕組みです。例えば「箱を棚に置いた。それは重かった」という文では、代名詞が何を指すかを考えるために、離れた語の関係が重要になります。

Self-Attentionは入力内の要素どうしの関係を扱います。Transformerは並列処理を活用できる点でも注目され、LLMの発展を支えました。ただし、注意の計算は人間の注意力や理解そのものではなく、学習された数値に基づく処理です。

コンテキストウィンドウは、モデルが一度の処理で扱える情報量の範囲です。ユーザーの質問だけでなく、会話履歴、参照資料、システムからの指示なども関係し、扱いはサービスによって異なります。

長い資料を入れるだけで必要な箇所を正確に利用できるとは限りません。目的に必要な情報を選び、章や見出しを保って渡す工夫が役立ちます。会話中に情報を渡すことは、モデルの重みを更新する追加学習とは別です。

会話を覚えて見える現象も、この区別で理解できます。