生成AIの基礎計算問題

機械翻訳モデルの評価にBLEUスコアを使用します。参照文「the cat sat on the mat」(6単語)に対して、生成文「the cat sat on the mat」と完全一致する場合、1-gram適合率は何%ですか?また、生成文が「the cat is on a mat」(6単語)の場合、1-gram適合率は何%ですか?

A.完全一致:100%、部分一致:67%
✗ 部分一致67%は誤りです。「the cat is on a mat」のうち参照文と一致する単語はthe, cat, on, matの4語ではなく5語で、計算が異なります。
B.完全一致:100%、部分一致:50%
✗ 部分一致50%は誤りです。一致単語数の計算が誤っており、実際は5/6となります。
C.完全一致:83%、部分一致:67%
✗ 完全一致83%は誤りです。全6単語が参照文と一致しているため、1-gram適合率は100%になります。
D.完全一致:100%、部分一致:83%← 正解
✓ 正解です。完全一致:6/6=100%。部分一致:「the cat is on a mat」でthe,cat,on,mat,the(重複上限考慮)=5単語が一致し、5/6≒83%となります。

AWS Certified AI Practitioner(AIF-C01) の問題一覧