生成AI応用
Azure OpenAI Serviceで構築したカスタマーサポートチャットボットが、顧客データを含むコンテキストを処理するときにトークン数の上限に達してしまい、応答を生成できなくなるという問題が発生しました。この問題を最も効果的に解決するためのアプローチはどれですか？
A.より古いモデル（GPT-3.5など）に変更して、コストを削減する
✗ 古いモデルへの変更はコンテキストウィンドウを減らし、問題を悪化させます。
B.コンテキストウィンドウが広いモデル（GPT-4 Turboなど）を使用するか、入力情報を要約・優先順位付けして削減する← 正解
✓ 正解です。より広いコンテキストウィンドウを持つモデルを選択するか、不要な情報を削減・要約することで、トークン数の制限内に抑えながら必要な情報を保持できます。
C.すべての会話履歴を保持し、Max tokensを最大値に設定する
✗ すべての履歴を保持し、Max tokensを最大にするとトークン数上限に更に早く達してしまいます。
D.複数の短い会話に分割し、各会話の独立性を強化する
✗ 会話を無理に分割すると、会話の連続性が失われ、顧客体験が低下します。
この問題のポイント
より広いコンテキストウィンドウを持つモデルを選択するか、不要な情報を削減・要約することで、トークン数の制限内に抑えながら必要な情報を保持できます。
「生成AI」の他の問題
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。