生成AIと大規模言語モデル応用問題
トランスフォーマー構造のLLMにおいて、コンテキスト長を2倍に拡張した場合、計算複雑性と推論速度へはどのような影響が生じるか？
A.自己注意機構はコンテキスト長に対して線形に計算量が増加するため、推論速度はほぼ変わらない
✗ トランスフォーマーの自己注意機構は各トークン間の相互作用を計算するため、コンテキスト長に対して二次的（O(n²)）に増加し、線形ではない。
B.自己注意機構の計算量がコンテキスト長の2乗に比例するため、計算量は4倍になり、推論速度は大幅に低下する← 正解
✓ 正解です。自己注意機構はQ・K・V間の全ペア計算（O(n²)）が必要なため、コンテキスト長2倍でメモリと計算量は約4倍になり、推論速度が大幅に低下します。
C.位置エンコーディングが拡張されるだけで、全体的な計算複雑性には大きな変化がない
✗ 位置エンコーディング拡張は小さな影響だが、主な負荷は自己注意の計算複雑性にあり、全体への影響は大きい。
D.メモリ使用量は増加するが、計算複雑性は変わらないため、推論速度への影響は軽微である
✗ メモリ増加と計算複雑性は密接に関連しており、O(n²)の計算負荷は推論速度に極めて大きな影響を与える。