生成AIの基礎応用問題
LLMのファインチューニング後に「壊滅的忘却（Catastrophic Forgetting）」が発生した場合、モデルにどのような変化が生じますか？
A.ファインチューニング用データセットの学習精度が下がり、ターゲットタスクでの性能が向上しなくなる
✗ 壊滅的忘却はファインチューニングの学習失敗ではなく、事前学習済み知識の劣化を指します。
B.新しいタスクに特化した性能は向上するが、ファインチューニング前に持っていた汎用的な知識や能力が劣化する← 正解
✓ 正解です。壊滅的忘却とは、ファインチューニングで新タスクの性能が上がる一方、事前学習で獲得した汎用知識・能力が上書きされ失われる現象です。
C.モデルの推論速度が著しく低下し、レイテンシが問題になるほど遅くなる
✗ 壊滅的忘却は推論速度には直接影響しません。速度の問題はモデルサイズや量子化などで生じます。
D.モデルのパラメータ数が増加し、メモリ使用量が元のモデルの2倍以上になる
✗ ファインチューニングはパラメータを更新しますが、パラメータ数そのものは変化しません。