深層学習計算
LSTM層において、1タイムステップあたり4つのゲート計算(入力ゲート、忘却ゲート、出力ゲート、候補セル)を実行し、隠れ状態のサイズが128の場合、1タイムステップでの計算量(浮動小数点演算数)は主に何に比例するか?
A.4×128×(入力サイズ+128)← 正解
✓ 正解です。4つのゲート各々が(入力サイズ+128)の加重和計算を行い、128個の出力を生成するため、計算量は4×128×(入力サイズ+128)に比例します。
B.128×入力サイズ
✗ これはゲート計算を無視しています。LSTM層は4つの独立したゲート計算を必要とするため、この式では不完全です。
C.4×128
✗ これは隠れ状態のサイズだけを考慮したもので、入力やゲート計算による計算量の増加を考慮していません。
D.128÷4
✗ これは計算量を削減する式で、実際のLSTM計算量とは異なります。
この問題のポイント
4つのゲート各々が(入力サイズ+128)の加重和計算を行い、128個の出力を生成するため、計算量は4×128×(入力サイズ+128)に比例します。
「深層学習」の他の問題
CNN(畳み込みニューラルネットワーク)が画像認識に適している主な理由はどれか?長文テキストや会話履歴など「長距離の依存関係」を効率的に学習するGPTなどの基盤になっているアーキテクチャはどれか?ニューラルネットワークの訓練中、勾配消失問題(Vanishing Gradient Problem)が発生した場合、以下…転移学習を用いて、新しい医療画像分類タスク向けに事前学習済みモデルを微調整する際、訓練データが非常に限定的(200枚程度…リカレントニューラルネットワーク(RNN)を用いた時系列予測モデルで、シーケンスの長さが急激に増加した場合、以下のうち最…Attention機構を備えたTransformerモデルにおいて、入力シーケンスの長さが倍になった場合、計算複雑度はど…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。