生成AI応用応用

あるメディア企業がAzure OpenAI ServiceでニュースサマリアイザーをBuild段階で構築しました。コンテキストウィンドウが8,000トークンに制限されているため、複数の長い記事を要約できません。この制約を解決する際、『応答品質と処理コスト』のトレードオフを最小化する方法はどれか?

A.記事全文をGPT-4 Turbo(128,000トークン)にアップロードして処理する
✗ Turbo版は高コスト(4倍以上)で、複数記事処理には経済的効率性が低い問題があります。
B.複数の記事を個別処理し、その要約結果をLLMで統合要約するパイプライン設計を採用する← 正解
✓ 正解です。複数回の軽量処理と最終統合により、品質と予算のバランスが最適化されます。
C.事前に各記事をテキスト分割ツールで要約してからLLMに送信する
✗ 事前要約は非構造化テキストの関連情報を失い、LLMの統合精度が低下する可能性があります。
D.コンテキストウィンドウの制限を『設計仕様として受け入れる』
✗ ビジネス要件を満たさない消極的選択で、ユースケース破棄につながります。

この問題のポイント

複数回の軽量処理と最終統合により、品質と予算のバランスが最適化されます。

AI-900:Microsoft Azure AI Fundamentals の問題一覧