Azureデータ分析比較
Azure Data FactoryのData Flow(マッピングデータフロー)とPipeline(パイプライン)の違いについて、最も適切な説明はどれか?
A.Data Flowはコード不要のビジュアルETLツールでデータ変換に特化し、Pipelineはオーケストレーションツールで複数タスク・サービスの実行順序を制御する← 正解
✓ 正解です。Data Flow(マッピングデータフロー)はフィルタリング・結合・集計などのビジュアルETL変換に特化し、Pipelineはコピー・Data Flow・Logic Apps等のアクティビティを組み合わせてワークフローをオーケストレーションします。
B.Pipelineはデータベース間のデータ移動のみを担当し、Data Flowはデータベースから分析プラットフォームへの変換を担当する
✗ Pipelineはデータ移動以外にも外部ツール実行・プロシージャ呼び出し・複数サービス間の依存関係制御など広範な機能を持ちます。
C.Data Flowはリアルタイムストリーミング処理専用で、Pipelineはバッチ処理専用である
✗ Data Flowはバッチ処理中心で、ストリーミング処理はAzure Stream AnalyticsやAzure Databricksの役割です。
D.Pipelineはビジュアルエディタで構築し、Data Flowはコード記述が必須である
✗ Data Flow(マッピングデータフロー)はビジュアル設計が特徴で、コード記述不要です。ただしScript Data Flowで高度な変換を実装することは可能です。
この問題のポイント
Data Flow(マッピングデータフロー)はフィルタリング・結合・集計などのビジュアルETL変換に特化し、Pipelineはコピー・Data Flow・Logic Apps等のアクティビティを組み合わせてワークフローをオーケストレーションします。
「Azureデータ分析」の他の問題
あるデータアナリストチームがADLS Gen2上のParquet形式ログデータ(総容量10TB)に対して月20回程度のア…あるグローバル製造企業がデータ分析環境を構築します。「PythonとScalaでETLとMLモデルを開発するデータエンジ…ある金融企業が「オンプレミスOracleからの日次スナップショット抽出」→「日次集計・通貨換算・NULLクレンジング変換…ある物流会社が配送トラック1,000台のGPSデータをリアルタイムで処理し、「配送遅延を発生から30秒以内に検知してアラ…ある小売企業のCFOがAzure SQL Databaseの売上データを使ったダッシュボードを要求しています。「常に最新…Power BIのImportモードとDirectQueryモードを比較したとき、「大規模データセット(1億行)に対して…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
AZ-900:Microsoft Azure Fundamentals
クラウドとAzureの基礎を問うMicrosoft認定資格。クラウドの概念、Azureの主要サービス、セキュリティ・コンプライアンス・料金を扱う。