生成AI応用誤り発見

生成AIモデルにおけるコンテキストウィンドウとトークン制限に関する以下の記述で、誤っているものはどれか。

A.GPT-4 Turboのコンテキストウィンドウは128,000トークンで、より長い文書を一度に処理できる。
✓ この記述は正しい。GPT-4 Turboは128,000トークンのコンテキストウィンドウを提供し、より長い入力テキストの処理に対応しています。
B.トークン数が制限を超えた場合、古い部分のテキストから優先的に削除される自動調整機能が全モデルに実装されている。← 正解
✓ 正解です。この記述が誤りで、トークン制限を超えた場合の動作はモデルによって異なり、自動調整機能が全モデルに実装されているわけではありません。
C.複数の会話を連続して処理する場合、各会話開始時にコンテキストを初期化してトークンカウンタをリセットすることが推奨される。
✓ この記述は正しい。連続した処理でトークン制限を管理するため、会話をセッション分割してコンテキストをリセットすることは有効な戦略です。
D.入力トークンと出力トークンは別々にカウントされ、料金計算時には両者を合算する。
✓ この記述は正しい。Azure OpenAI Serviceの課金モデルでは入力トークンと出力トークンを別々にカウントし、異なる料金で課金されます。

この問題のポイント

この記述が誤りで、トークン制限を超えた場合の動作はモデルによって異なり、自動調整機能が全モデルに実装されているわけではありません。

AI-900:Microsoft Azure AI Fundamentals の問題一覧