AIの基礎応用

中小企業で開発した自然言語処理(NLP)モデルが、開発環境では高い精度(95%)を示していました。ところが、本番環境で実際の顧客問い合わせ100万件を処理したとき、精度が78%に低下しました。この低下の最も可能性の高い原因はどれか?

A.本番環境のハードウェア性能が低いため、計算精度が落ちている
✗ ハードウェア性能は計算精度(丸め誤差)には影響しますが、予測精度の大幅な低下(95%→78%)の主原因ではありません。
B.開発環境のテストデータと本番環境の実データの言語表現、方言、表記ゆれが異なるデータドリフトが発生している← 正解
✓ 正解です。開発用テストデータは限定的で理想化されていますが、本番データは多様な表現・方言・表記ゆれを含みます。このギャップ(データドリフト)が精度低下の主因です。
C.本番環境のデータ量が大きいため、モデルの重みが自動的に小さくなる
✗ モデルの重みが自動的に変わることはありません。推論時の計算は学習後の固定された重みを使用します。
D.モデルのバッチサイズを大きくしたため、確率的勾配降下法の効果が減少した
✗ バッチサイズはオンライン学習をしない推論フェーズでは影響しません。また、既に学習済みのモデルです。

この問題のポイント

開発用テストデータは限定的で理想化されていますが、本番データは多様な表現・方言・表記ゆれを含みます。このギャップ(データドリフト)が精度低下の主因です。

AI-900:Microsoft Azure AI Fundamentals の問題一覧