生成AI定義問題

LLMがテキストを処理する際の最小単位(課金の基準にもなる)を何と呼ぶか?

A.文字(Character)
✗ 1文字≠1トークン。日本語では複数トークンになることが多い。
B.単語(Word)
✗ 単語全体の場合もあるが、LLMはより細かいサブワード単位で処理する。
C.トークン(Token)← 正解
✓ 正解。トークンはLLMが理解・計算する最小単位。API課金はトークン数に基づく。
D.ピクセル(Pixel)
✗ ピクセルは画像データの最小単位。テキスト処理の単位とは全く異なる。

AI-900:Microsoft Azure AI Fundamentals の問題一覧