生成AIと大規模言語モデル応用問題
LLMが訓練中に見たことのない新しいドメインのタスクに適用する際、ゼロショット学習よりもフューショット学習が高い性能を示す理由として最も正確なものはどれか?
A.フューショット例がモデルの重みを直接更新し、そのドメインに特化した内部表現を形成する
✗ フューショット学習中はモデルの重みを更新しない。パラメータ更新を伴わない「in-context」学習である点が重要。
B.フューショット例がコンテキストから新しいドメインの「パターン」を認識させ、in-context learningを通じてタスク適応を実現する← 正解
✓ 正解です。フューショット例はコンテキストウィンドウ内でタスク構造を示し、モデルが内部的にパターン認識してタスク適応を実現する機構(プロンプト内学習)です。
C.フューショット例による追加の計算によって、モデルの出力確度が数学的に向上する
✗ 単なる計算量増加で確度が向上するわけではない。フューショット例の質と関連性がパフォーマンスを決定する。
D.ゼロショット学習は本来的に不可能であり、フューショット学習のみがLLMに機能する
✗ ゼロショット学習も多くのタスクで有効に機能し、事実に反する。フューショット学習がより高精度というだけ。