生成AIの基礎定義問題
大規模言語モデル(LLM)における「トークン」とは何ですか?
A.モデルが一度に処理できる最大パラメータ数のこと
✗ 最大パラメータ数はモデルの規模を表す指標であり、トークンの定義とは異なります。
B.テキストを分割した際の最小処理単位であり、単語・部分語・文字などが該当する← 正解
✓ 正解です。トークンはLLMがテキストを処理する際の最小単位で、単語・サブワード・文字などに分割されます。
C.モデルの学習に使用されるラベル付きデータセットの単位のこと
✗ ラベル付きデータセットの単位はトークンではなく、学習サンプルや事例(example)と呼ばれます。
D.ニューラルネットワーク内の重み(ウェイト)の個別値のこと
✗ ニューラルネットワークの重みはパラメータと呼ばれ、トークンとは別の概念です。
「生成AIの基礎」の他の問題
生成AIにおける「温度(Temperature)」パラメータとは何を制御するものですか?「RAG(Retrieval-Augmented Generation)」とはどのような技術ですか?生成AIモデルにおける「ハルシネーション(Hallucination)」とはどのような現象ですか?「プロンプトエンジニアリング」における「Few-shot プロンプティング」とはどのような手法ですか?生成AIにおける「教師あり学習(Supervised Learning)」と「教師なし学習(Unsupervised L…LLMにおける「Zero-shotプロンプティング」と「Few-shotプロンプティング」の違いとして正しいものはどれで…