Azureデータ分析応用
ある企業がAzure Data FactoryでADLS Gen2の日次バックアップパイプラインを実行しています。パイプラインは「Blob Source(ソース読み取り)→ Copy Activity(複製)→ADLS Sink(書き込み)」という構成です。ある日、Sourceブロブストレージの認証キーが定期更新される予定でしたが、Data Factoryのリンクサービス設定が旧キーのままでした。この状況で、パイプライン実行時に最も可能性が高い動作はどれか?
A.Data Factoryは「認証キー有効期限切れ」を自動検出し、新キーへの自動ローテーションを行う
✗ Data Factoryに自動キー更新機能はありません。管理者が手動でリンクサービスを更新する必要があります。
B.Copy Activity実行時にソースからのデータ読み取りに失敗し、エラーメッセージ(認証エラー)がログに記録される← 正解
✓ 正解です。旧キーでは認証が失敗し、Copy Activity実行時に認証エラーが発生します。403 Forbiddenなどの標準的なエラーメッセージが返されます。
C.古いキーでも一度認証成功した接続はメモリにキャッシュされるため、パイプラインは正常に実行される
✗ キー更新後は新キーが必須となるため、キャッシュ内の旧キーはクレデンシャル更新に伴い無効化されます。
D.認証エラーが発生するが、Data Factoryが自動リトライを3回実行し、3回目が新キーで再認証される
✗ Data Factoryの自動リトライは一時的なネットワークエラー向けであり、認証キー無効は再試行では解決しません。
この問題のポイント
旧キーでは認証が失敗し、Copy Activity実行時に認証エラーが発生します。403 Forbiddenなどの標準的なエラーメッセージが返されます。
「Azureデータ分析」の他の問題
あるデータアナリストチームがADLS Gen2上のParquet形式ログデータ(総容量10TB)に対して月20回程度のア…あるグローバル製造企業がデータ分析環境を構築します。「PythonとScalaでETLとMLモデルを開発するデータエンジ…ある金融企業が「オンプレミスOracleからの日次スナップショット抽出」→「日次集計・通貨換算・NULLクレンジング変換…ある物流会社が配送トラック1,000台のGPSデータをリアルタイムで処理し、「配送遅延を発生から30秒以内に検知してアラ…ある小売企業のCFOがAzure SQL Databaseの売上データを使ったダッシュボードを要求しています。「常に最新…Power BIのImportモードとDirectQueryモードを比較したとき、「大規模データセット(1億行)に対して…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
AZ-900:Microsoft Azure Fundamentals
クラウドとAzureの基礎を問うMicrosoft認定資格。クラウドの概念、Azureの主要サービス、セキュリティ・コンプライアンス・料金を扱う。