Azure AIサービス総合定義

Azure OpenAI Service における「トークン」の定義として最も正確なものはどれか?

A.言語モデルが処理する基本単位で、単語、部分単語、句読点などの小片のこと← 正解
✓ 正解です。トークンはLLM処理における最小単位で、単語や部分単語、句読点など様々な要素が該当し、コスト計算の基準になります。
B.APIリクエストを認証するための一意の文字列識別子のこと
✗ その説明はAPIキーまたは認証トークンの概念であり、LLMが処理するテキストトークンではありません。
C.大規模言語モデルの学習に使用されたテキスト文書全体のこと
✗ モデルの学習データ全体を指す概念ですが、実際のトークンはテキストの細かい単位です。
D.ユーザーが生成AIモデルにアクセスするために必要な購入可能なクレジットのこと
✗ クレジットやコスト管理の概念と混同しており、トークンは使用量計測の単位であってクレジットそのものではありません。

この問題のポイント

トークンはLLM処理における最小単位で、単語や部分単語、句読点など様々な要素が該当し、コスト計算の基準になります。

AI-900:Microsoft Azure AI Fundamentals の問題一覧