生成AIの基礎定義問題

大規模言語モデル(LLM)における「トークン」とは何ですか?

A.モデルが一度に処理できる最大パラメータ数のこと
✗ 最大パラメータ数はモデルの規模を表す指標であり、トークンの定義とは異なります。
B.テキストを分割した際の最小処理単位であり、単語・部分語・文字などが該当する← 正解
✓ 正解です。トークンはLLMがテキストを処理する際の最小単位で、単語・サブワード・文字などに分割されます。
C.モデルの学習に使用されるラベル付きデータセットの単位のこと
✗ ラベル付きデータセットの単位はトークンではなく、学習サンプルや事例(example)と呼ばれます。
D.ニューラルネットワーク内の重み(ウェイト)の個別値のこと
✗ ニューラルネットワークの重みはパラメータと呼ばれ、トークンとは別の概念です。

AWS Certified AI Practitioner(AIF-C01) の問題一覧