生成AI定義問題

LLMにおいて「テキストを処理する最小単位」であり、課金の基準になるものはどれか?

A.センテンス(文)
✗ 文はトークンの集合体。課金単位はトークン数であり文単位ではない。
B.パラグラフ(段落)
✗ 段落はさらに多くのトークンで構成される単位。
C.トークン← 正解
✓ 正解。LLMはテキストをサブワードに分割したトークン単位で処理・課金する。
D.バイト
✗ バイト数はファイルサイズの単位。LLMのトークンとは一致しない。

AI-900:Microsoft Azure AI Fundamentals の問題一覧