生成AI応用応用
あるメディア企業がAzure OpenAI ServiceでニュースサマリアイザーをBuild段階で構築しました。コンテキストウィンドウが8,000トークンに制限されているため、複数の長い記事を要約できません。この制約を解決する際、『応答品質と処理コスト』のトレードオフを最小化する方法はどれか?
A.記事全文をGPT-4 Turbo(128,000トークン)にアップロードして処理する
✗ Turbo版は高コスト(4倍以上)で、複数記事処理には経済的効率性が低い問題があります。
B.複数の記事を個別処理し、その要約結果をLLMで統合要約するパイプライン設計を採用する← 正解
✓ 正解です。複数回の軽量処理と最終統合により、品質と予算のバランスが最適化されます。
C.事前に各記事をテキスト分割ツールで要約してからLLMに送信する
✗ 事前要約は非構造化テキストの関連情報を失い、LLMの統合精度が低下する可能性があります。
D.コンテキストウィンドウの制限を『設計仕様として受け入れる』
✗ ビジネス要件を満たさない消極的選択で、ユースケース破棄につながります。
この問題のポイント
複数回の軽量処理と最終統合により、品質と予算のバランスが最適化されます。
「生成AI応用」の他の問題
IT・クラウド の関連資格
AWS Certified Cloud Practitioner(CLF-C02)
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate(SAA-C03)
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900:Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。