Azureサービス深掘り応用

Azure Event Hubsで毎秒5万件のデータを3つのパーティションに分散して受け取っていたシステムで、急激に毎秒15万件の受信が発生したとき、パーティション数を6に増やしたとしても、既存のコンシューマーグループのオフセット読み込みに問題が生じる可能性があります。その理由はどれですか?

A.コンシューマーグループのオフセットはパーティション数に依存し、新しいパーティションに対応するオフセットが既存グループに存在しないため、読み込み位置が失われる← 正解
✓ 正解です。コンシューマーグループのオフセットはパーティションごとに個別に保存されます。新パーティション(4~6)は既存オフセット情報がないため、初期位置を指定して読み込み開始する必要があります。
B.Event Hubsはパーティション数増加時に既存データを自動的に新パーティションに再配分するため、古いオフセットは無効になる
✗ Event Hubsはパーティション内のデータを再配分しません。既存データは元のパーティションに残り、新パーティションは新規データから開始します。
C.3つのパーティションから6つに増やすと、コンシューマーの処理能力が半分になり、オフセット追跡が遅延する
✗ パーティション数増加はコンシューマーの処理能力向上に繋がります。処理能力が低下することはありません。
D.コンシューマーグループのオフセットはパーティションごとに保存されており、新しいパーティションへの割り当てが自動的に行われるため、オフセット読み込みは支障がない
✗ 新パーティションへの自動割り当てはされません。コンシューマーグループは新パーティション検出後の割り当て戦略に従います。

この問題のポイント

コンシューマーグループのオフセットはパーティションごとに個別に保存されます。新パーティション(4~6)は既存オフセット情報がないため、初期位置を指定して読み込み開始する必要があります。

DP-900:Microsoft Azure Data Fundamentals の問題一覧