Azureサービス深掘り応用

Azure Stream Analyticsで「Late Arrival」の最大許容遅延を30分に設定してイベント処理を実行していたとき、ソースデータから5時間遅れで到着したイベントが流入しました。このイベントに対してStream Analyticsはどのような動作をしますか?

A.5時間の遅延は30分設定を超えているため、イベントは自動的に破棄され、処理されない← 正解
✓ 正解です。Azure Stream AnalyticsのLate Arrival設定で許容する最大遅延(ここでは30分)を超えて到着したイベントは、デフォルトでは破棄されます。5時間遅延のイベントは30分を大幅に超えているため処理対象外となります。
B.Late Arrivalの遅延設定は最大許容遅延を定義するため、30分を超えたイベントは破棄されるが、システムログに記録される
✗ 破棄される点は正しいですが、Stream Analyticsが破棄イベントを自動的にシステムログに記録するという説明は誤りです。診断ログを別途構成する必要があります。
C.Late Arrivalの設定は関連するステートフルな操作(JOIN、GROUP BY等)に適用されるため、他の操作では5時間前のイベントでも処理される
✗ 誤りです。Late Arrival設定はウィンドウ集計・JOIN等のステートフル操作に限らず、ストリーム全体のイベントタイムスタンプ処理に適用されます。許容遅延を超えたイベントはSELECT等の操作でも正しい時間窓への割り当てができず、設定に従い破棄またはタイムスタンプ調整されます。
D.Late Arrivalの遅延許容値を超えたイベントであっても、タイムスタンプが正確であれば歴史的データとして処理され、出力に含まれる
✗ 誤りです。タイムスタンプの精度に関わらず、Late Arrivalウィンドウ(30分)を超えた遅延イベント(5時間遅延)はStream Analyticsの設定に従い破棄またはタイムスタンプが現在時刻に調整され、元の時間窓での処理は行われません。

この問題のポイント

Azure Stream AnalyticsのLate Arrival設定で許容する最大遅延(ここでは30分)を超えて到着したイベントは、デフォルトでは破棄されます。5時間遅延のイベントは30分を大幅に超えているため処理対象外となります。

DP-900:Microsoft Azure Data Fundamentals の問題一覧