生成AIの基礎応用問題
LLMへの入力プロンプトにおいてコンテキストウィンドウの上限に達した場合、モデルの動作としてどのような影響が生じますか?
A.モデルは自動的にプロンプトを圧縮し、すべての情報を保持したまま処理を継続する
✗ LLMはコンテキストを意味的に圧縮する機能を持たず、上限を超えたトークンは単純に切り捨てられます。
B.コンテキストウィンドウを超えた部分の情報は処理できず、会話履歴の初期部分などが失われる← 正解
✓ 正解です。コンテキストウィンドウの上限を超えた場合、通常は先頭(または末尾)のトークンが切り捨てられ、その情報は参照できなくなります。
C.モデルはエラーを返さず、超過したトークン分を次回の呼び出しに自動で繰り越す
✗ トークンを次回呼び出しへ自動繰り越しする仕組みはなく、各呼び出しは独立して処理されます。
D.コンテキストウィンドウを超えると、モデルは常にデフォルトの汎用回答を返す
✗ コンテキスト上限超過によりデフォルト回答が返る仕様はなく、切り捨て後の情報で生成が行われます。