AIと機械学習の基礎概念定義問題
「自然言語処理（NLP）」において「トークン化（Tokenization）」とは何か？
A.テキストデータを単語やサブワードなどの意味のある最小単位に分割する処理← 正解
✓ 正解です。トークン化はテキストを単語・サブワード・文字などの小単位（トークン）に分割する前処理です。
B.テキストの感情をポジティブ・ネガティブに分類する処理
✗ これは「感情分析（Sentiment Analysis）」の説明です。トークン化は感情分類とは異なります。
C.複数の言語間でテキストを翻訳する処理
✗ これは「機械翻訳（Machine Translation）」の説明です。トークン化は翻訳処理ではありません。
D.テキストから固有名詞や日付などの情報を抽出する処理
✗ これは「固有表現抽出（NER: Named Entity Recognition）」の説明です。トークン化とは別の処理です。