生成AIの基礎計算問題
あるLLMのコンテキストウィンドウは16,384トークンです。日本語のテキストは平均して1文字あたり約1.8トークンを消費するとします。このモデルに入力できる日本語テキストの最大文字数として最も近いものはどれですか？
A.約9,100文字← 正解
✓ 正解です。最大文字数＝16,384トークン÷1.8トークン/文字≒9,102文字となり、約9,100文字が最も近い値です。
B.約16,384文字
✗ 約16,384文字はトークン数と文字数を同一視した誤りで、日本語は英語よりトークン消費が多いため不正解です。
C.約29,491文字
✗ 約29,491文字は16,384×1.8の逆算を誤り、乗算してしまった場合の値です。
D.約5,461文字
✗ 約5,461文字は1文字あたり3トークンとして計算した場合の誤った値です。