生成AI計算

企業がRAGシステムを構築し、社内文書ライブラリから検索された3つの関連ドキュメント(各ドキュメント平均420トークン)と、ユーザーの質問(95トークン)を合わせてLLMに送信します。その後、LLMが715トークンの回答を生成した場合、この処理全体で消費されるトークン数は?

A.2,070トークン← 正解
✓ 正解です。入力トークン = 検索文書(420×3=1,260)+ 質問(95)= 1,355、総計 = 1,355 + 715 = 2,070トークンです。
B.1,355トークン
✗ 入力トークン(1,355)のみで、LLMが生成した応答(715トークン)を加算していません。
C.810トークン
✗ 質問(95)と応答(715)のみで、検索ドキュメント3件分(1,260トークン)が含まれていません。
D.1,975トークン
✗ 検索文書を1件分(420)のみ計算しています。3件分(420×3=1,260)を使用する必要があります。

この問題のポイント

入力トークン = 検索文書(420×3=1,260)+ 質問(95)= 1,355、総計 = 1,355 + 715 = 2,070トークンです。

AI-900:Microsoft Azure AI Fundamentals の問題一覧