生成AI詳細応用
Azure OpenAI Serviceで、RPM（Requests Per Minute）が1000に制限されているデプロイメント環境があります。複数のユーザーからの同時リクエストが増加し、頻繁に429エラー（Rate Limit Exceeded）が発生するようになりました。この状況で最初に実施すべき対策として最も適切なのはどれか？
A.すぐにTPM（Tokens Per Minute）の上限を3倍に増加させ、すべてのユーザーが無制限にアクセスできるようにする
✗ 無制限アクセスは推奨されません。適切な管理なく制限を撤廃することはコスト増加とリスクを招きます。
B.キューイングメカニズムやリトライロジックを実装し、リクエストを分散・平準化してから、必要に応じてRPM制限を引き上げる← 正解
✓ 正解です。キューイングやリトライロジックで既存リソース内での効率化を図り、その後、実際の需要に基づいてRPM上限引き上げを検討することが最適な段階的対応です。
C.複数のAPIキーを生成し、ラウンドロビン方式で異なるキーを使い分け、実質的に制限を回避する
✗ 複数キーを使った制限回避はベストプラクティスではなく、サービス利用規約違反の可能性があります。
D.Temperature と max_tokensを制限値まで低下させ、サーバー負荷を軽減させる
✗ TemperatureやMax_tokensの変更はサーバー負荷低減に効果がなく、ユーザー体験を損なわせます。
この問題のポイント
キューイングやリトライロジックで既存リソース内での効率化を図り、その後、実際の需要に基づいてRPM上限引き上げを検討することが最適な段階的対応です。
「生成AI詳細」の他の問題
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。