大規模モデルのコンテキスト・ウィンドウは、モデルのテキスト処理・生成能力に影響する重要な概念である。コンテキスト・ウィンドウのサイズは、モデルが1回のインタラクションで考慮できる入出力トークンの総数を決定する。
コンテキストウィンドウの定義
コンテキスト・ウィンドウとは、ラージ・ランゲージ・モデル（LLM）が入力テキストを処理し、同時に出力テキストを生成する際に考慮できるトークン（語句）の最大数のことである。トークンは単語、フレーズ、句読点のいずれかです。コンテキスト・ウィンドウのサイズは、入力情報に対するモデルの理解の深さと、生成されるコンテンツの一貫性に直接影響する。
入出力マーカー
- 入力マーカー質問、指示など、ユーザーによってモデルに提供されたすべてのテキストコンテンツ。
- 出力マーカーモデルが生成した反応や結果。
任意の時点で、入力と出力のトークンの合計数がコンテキストウィンドウの最大長を超えることはできません。例えば、GPT-3.5-turboモデルの最大コンテキストウィンドウは4096トークンで、これはユーザー入力とモデル出力の合計がこの制限を超えることができないことを意味します。
一般的なマクロモデルの入出力制約
異なる大規模言語モデルは、異なるコンテキストウィンドウの制限を持っています。ここでは、一般的なモデルとその制限について説明する：
- GPT-3.5コンテキスト・ウィンドウは最大4096トークンです。
- GPT-4より大きなコンテキスト・ウィンドウもサポートされており、その具体的な値はバージョンによって異なるが、通常は8000から32000トークンの間である。
- ジェミニ 1.5最大100万トークンのコンテキスト・ウィンドウ。
- キミ(国内大型モデル）：最大200万マーカー。
これらの制限は、モデルの情報処理能力だけでなく、生成されるコンテンツの質と一貫性にも影響する。
具体例の分析
GPT-3.5を、本の内容を要約するタスクに使うとしよう。その本は約10万語あり、GPT-3.5は4096トークンしか扱えない。本の内容を複数のセグメントに分割し、それぞれが4096トークンを超えないようにすると、一度に内容の一部を入力し、要約を要求するステップバイステップでモデルと対話する必要がある。こうすることで、モデルは本全体を処理できるようになりますが、呼び出しのたびに前後のテキスト間の一貫性を確保する必要があるため、複雑さが増します。
サンプルシナリオ
- ユーザー入力この本の第1章の要約をお願いします。
- モデル出力これは第1章の要約です（500のマーカーが生成されたと仮定して）。
- を入力し続ける。次に第2章を要約してください。
この場合、入力と出力の合計が4096トークンを超えてはならないので、ユーザーは、対話のたびに前の情報が忘れられる可能性があることを考慮する必要がある。もしユーザーがコンテキストウィンドウの外にある後続のリクエストで最初の章の情報を参照した場合、モデルは正確に応答できない可能性があり、対話の一貫性に影響を与える。
概要
ビッグ・モデルのコンテキスト・ウィンドウとその入出力制約を理解することは、これらのテクニックを効果的に使用するために非常に重要です。これらの制約を賢く使うことで、開発者はより効率的で首尾一貫したアプリケーションを設計することができ、同時にユーザーエクスペリエンスを向上させることができる。将来、技術が進化するにつれて、コンテキスト・ウィンドウがより大きくなり、大規模な言語モデルがより複雑で長い形式の情報を扱えるようになることが予想される。
