深層学習計算

LSTM層において、1タイムステップあたり4つのゲート計算(入力ゲート、忘却ゲート、出力ゲート、候補セル)を実行し、隠れ状態のサイズが128の場合、1タイムステップでの計算量(浮動小数点演算数)は主に何に比例するか?

A.4×128×(入力サイズ+128)← 正解
✓ 正解です。4つのゲート各々が(入力サイズ+128)の加重和計算を行い、128個の出力を生成するため、計算量は4×128×(入力サイズ+128)に比例します。
B.128×入力サイズ
✗ これはゲート計算を無視しています。LSTM層は4つの独立したゲート計算を必要とするため、この式では不完全です。
C.4×128
✗ これは隠れ状態のサイズだけを考慮したもので、入力やゲート計算による計算量の増加を考慮していません。
D.128÷4
✗ これは計算量を削減する式で、実際のLSTM計算量とは異なります。

この問題のポイント

4つのゲート各々が(入力サイズ+128)の加重和計算を行い、128個の出力を生成するため、計算量は4×128×(入力サイズ+128)に比例します。

AI-900:Microsoft Azure AI Fundamentals の問題一覧