Azure MLOps応用

Azure MLで定期的に自動再訓練するパイプラインを設定している場合、生成される新しいモデルが常に前バージョンより優れていることを保証する仕組みとして、実装すべき制御メカニズムはどれか?

A.モデルレジストリで新モデルの自動승격を有効化し、どのモデルでも登録されたら自動的に本番環境にデプロイする
✗ 自動승격は品質保証を飛ばします。再訓練モデルすべてが改善するわけではなく、むしろデグラデーションのリスクが高まります。
B.新モデルを検証セットで評価し、複数の主要指標(精度、ビジネスメトリクス)で旧モデルを上回る場合のみ本番環境への昇格を承認する← 正解
✓ 正解です。新旧モデルを同じ検証セットで比較評価し、複数指標でベースラインを上回る場合のみ승격。これが信頼性の高いMLOpsです。
C.再訓練パイプラインが完了したら、アラートを送信して人間の判断を待つ。すべてのモデルが改善しているわけではないため、判断は重要である
✗ アラート後に人間判断では、自動化の効果が限定的です。判断基準を事前に定めて、ロジックで自動実行すべきです。
D.新旧モデルを本番環境で同時実行し、1ヶ月間データを収集してから評価を決定する
✗ 1ヶ月待機は遅すぎ、本番環境での検証は未検証モデルのリスクが大きく、不適切です。デプロイ前の検証が原則です。

この問題のポイント

新旧モデルを同じ検証セットで比較評価し、複数指標でベースラインを上回る場合のみ승격。これが信頼性の高いMLOpsです。

AI-900:Microsoft Azure AI Fundamentals の問題一覧