生成AI詳細定義

生成AIにおける「トークン」の定義として最も適切なものはどれか?

A.モデルが処理するテキストの最小単位で、単語や部分文字列などに分割された要素← 正解
✓ 正解です。トークンはテキストを言語モデルが処理可能な最小単位に分割したもので、1トークン≒4文字が目安です。
B.APIリクエストを認証するためのセキュリティ認証キー
✗ これはAPIキーやアクセストークンの説明であり、生成AIが処理するテキストトークンの定義ではありません。
C.生成されたテキストの品質を数値化したスコア
✗ トークンは品質スコアではなく、テキスト処理の最小単位です。品質評価とは異なります。
D.複数のAIモデルを連携させるためのデータフォーマット
✗ トークンはモデル連携のためのフォーマットではなく、テキストの分割単位です。

この問題のポイント

トークンはテキストを言語モデルが処理可能な最小単位に分割したもので、1トークン≒4文字が目安です。

AI-900:Microsoft Azure AI Fundamentals の問題一覧