難問チャレンジ応用

Azure OpenAI ServiceでChatCompletion APIを使用する場合、「max_tokens」パラメータを小さく設定した際に生じる影響として正しいのはどれか?

A.トークン消費が削減され、入出力コストが低下する一方で、応答の完全性が失われる可能性があり、不完全な回答が返される← 正解
✓ 正解です。max_tokensの削減は出力を制限し、コスト削減と応答不完全のトレードオフです。
B.max_tokensは出力長のみに影響し、入力トークンコストには何の影響も与えない
✗ max_tokensは出力長を制限し、結果的にトークン使用量全体に影響します。
C.max_tokensを小さく設定すると、推論精度が向上し、より正確な応答が得られる
✗ max_tokensの削減は精度向上ではなく、応答の切り詰めを引き起こします。
D.max_tokensは応答品質に影響を与えず、APIレートリミットにのみ関係する
✗ max_tokensは応答品質と長さに直接影響し、レートリミットとは別です。

この問題のポイント

max_tokensの削減は出力を制限し、コスト削減と応答不完全のトレードオフです。

AI-900:Microsoft Azure AI Fundamentals の問題一覧