Azureデータ分析定義問題
Azure Data FactoryのData Flow(データフロー)とPipeline(パイプライン)の違いとして正しいのはどれか?
A.Data Flowはパイプラインの実行スケジュールを設定する機能で、Pipelineはデータ変換を行う
✗ 逆。スケジュールはADFのトリガー機能が担い、Data Flowはデータ変換ロジックを定義するもの。Pipelineはオーケストレーション。
B.Data FlowはGUIでのデータ変換機能。PipelineはData Flowを含む複数アクティビティのオーケストレーション← 正解
✓ 正解。Mapping Data FlowはSpark上で実行されるコードレスのGUIベースのデータ変換機能(フィルタ・JOIN・集計・列変換など)。PipelineはData Flow・Copy Activity・Stored Procedure Activityなど複数のアクティビティを繋ぐオーケストレーションの仕組み。
C.Data FlowとPipelineは同一の機能であり、使い方が異なるだけ
✗ Data FlowはPipeline内のアクティビティの一つとして使用される。同一機能ではなく役割が異なる。
D.Data Flowは一般的なELTに使用し、PipelineはML推論専用
✗ Data FlowはML推論専用ではなく、汎用のデータ変換に使われる。
「Azureデータ分析」の他の問題
あるデータアナリストチームがADLS Gen2上のParquet形式ログデータ(総容量10TB)に対して月20回程度のア…あるグローバル製造企業がデータ分析環境を構築します。「PythonとScalaでETLとMLモデルを開発するデータエンジ…ある金融企業が「オンプレミスOracleからの日次スナップショット抽出」→「日次集計・通貨換算・NULLクレンジング変換…ある物流会社が配送トラック1,000台のGPSデータをリアルタイムで処理し、「配送遅延を発生から30秒以内に検知してアラ…ある小売企業のCFOがAzure SQL Databaseの売上データを使ったダッシュボードを要求しています。「常に最新…Power BIのImportモードとDirectQueryモードを比較したとき、「大規模データセット(1億行)に対して…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
AZ-900:Microsoft Azure Fundamentals
クラウドとAzureの基礎を問うMicrosoft認定資格。クラウドの概念、Azureの主要サービス、セキュリティ・コンプライアンス・料金を扱う。