生成AI応用定義
Azure OpenAI Serviceにおける「トークン（Token）」の定義として最も正確なものはどれか？
A.自然言語処理で使用される神経ネットワークの層のことを指し、深さが増すほど精度が向上する単位
✗ 層の深さに関する説明は誤りです。トークンはテキスト処理の最小単位であり、ニューラルネットワークの層概念ではありません。
B.テキストを処理する際の最小単位であり、通常は単語の一部、完全な単語、または句読点などに分割されるもの← 正解
✓ 正解です。トークンはテキストを処理可能な最小単位に分割したもので、言語やコンテキストにより異なります。API利用料金の計算基準にもなります。
C.LLMが学習時に使用した教師データセットの個数を表す指標で、トークン数が多いほど汎化性能が高い
✗ トークンは教師データセット数の指標ではなく、入出力テキストの処理単位です。学習データサイズと異なります。
D.生成されたテキストの品質を評価するスコアであり、0から1の値で表現される信頼度メトリクス
✗ トークンは品質評価スコアではなく、テキストの構成要素です。生成品質の評価はトークンとは別の指標で行われます。
この問題のポイント
トークンはテキストを処理可能な最小単位に分割したもので、言語やコンテキストにより異なります。API利用料金の計算基準にもなります。
「生成AI応用」の他の問題
「社内の人事規程（非公開文書）に基づいてGPT-4が正確に回答するシステム」を構築する際にファインチューニングよりRAG…LLMの「コンテキストウィンドウ（Context Window）」の制限を緩和するための手法として適切でないものはどれか…Semantic Kernelが提供する主な機能はどれか？Azure OpenAI ServiceでGPTに外部の天気APIや計算ツールを呼び出させる機能はどれか？プロンプトインジェクション攻撃の防御策として最も効果的でないものはどれか？Azure OpenAI Serviceで構築した生成AIシステムが月間で処理するトークン数は以下の通りです。現在のプロ…
IT・クラウド の関連資格
AWS Certified Cloud Practitioner（CLF-C02）
AWSクラウドの入門資格。クラウドの概念・AWSのコアサービス・セキュリティ・料金モデルを問う。
AWS Certified Solutions Architect - Associate（SAA-C03）
AWSでのシステム設計能力を問うアソシエイト資格。高可用性・セキュリティ・コスト最適化の設計が中心。
DP-900：Microsoft Azure Data Fundamentals
Azureのデータサービスの基礎を問うMicrosoft認定資格。リレーショナル/非リレーショナルデータ、分析ワークロード、コアのデータ概念を扱う。