Azure MLOps応用
Azure MLで定期的に自動再訓練するパイプラインを設定している場合、生成される新しいモデルが常に前バージョンより優れていることを保証する仕組みとして、実装すべき制御メカニズムはどれか?
A.モデルレジストリで新モデルの自動승격を有効化し、どのモデルでも登録されたら自動的に本番環境にデプロイする
✗ 自動승격は品質保証を飛ばします。再訓練モデルすべてが改善するわけではなく、むしろデグラデーションのリスクが高まります。
B.新モデルを検証セットで評価し、複数の主要指標(精度、ビジネスメトリクス)で旧モデルを上回る場合のみ本番環境への昇格を承認する← 正解
✓ 正解です。新旧モデルを同じ検証セットで比較評価し、複数指標でベースラインを上回る場合のみ승격。これが信頼性の高いMLOpsです。
C.再訓練パイプラインが完了したら、アラートを送信して人間の判断を待つ。すべてのモデルが改善しているわけではないため、判断は重要である
✗ アラート後に人間判断では、自動化の効果が限定的です。判断基準を事前に定めて、ロジックで自動実行すべきです。
D.新旧モデルを本番環境で同時実行し、1ヶ月間データを収集してから評価を決定する
✗ 1ヶ月待機は遅すぎ、本番環境での検証は未検証モデルのリスクが大きく、不適切です。デプロイ前の検証が原則です。
この問題のポイント
新旧モデルを同じ検証セットで比較評価し、複数指標でベースラインを上回る場合のみ승격。これが信頼性の高いMLOpsです。
「Azure MLOps」の他の問題
Azure MLで「本番モデルのデータドリフトを定期的に検出して、精度低下前に再訓練アラートを出す」ために使う機能はどれ…Azure MLの「マネージドオンラインエンドポイント」でブルーグリーンデプロイを実現する機能はどれか?Azure MLにおける「バッチ推論パイプライン」と「リアルタイム推論エンドポイント」の主な違いは何か?Azure MLパイプラインの「Published Pipeline」と「Draft Pipeline」の主な使い分けの…Azure MLの「自動機械学習(AutoML)」と「ハイパーパラメータチューニング」の主な目的の違いは?Azure MLの「モデルレジストリ」と「モデルエンドポイント」の主な役割の違いは?
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。