生成AIの基礎計算
機械翻訳モデルの評価にBLEUスコアを使用します。参照文「the cat sat on the mat」(6単語)に対して、生成文「the cat sat on the mat」と完全一致する場合、1-gram適合率は何%ですか?また、生成文が「the cat is on a mat」(6単語)の場合、1-gram適合率は何%ですか?
A.完全一致:100%、部分一致:67%← 正解
✓ 正解です。完全一致:6/6=100%。部分一致:「the cat is on a mat」のうち参照文と一致するのはthe(上限クリップで1)、cat、on、matの4語であり、4/6≒67%となります。
B.完全一致:100%、部分一致:50%
✗ 部分一致50%は誤りです。一致単語数は3語ではなく4語(the, cat, on, mat)であるため、4/6≒67%が正しい値です。
C.完全一致:83%、部分一致:67%
✗ 完全一致83%は誤りです。全6単語が参照文と一致しているため、1-gram適合率は100%になります。
D.完全一致:100%、部分一致:83%
✗ 部分一致83%は誤りです。「the cat is on a mat」で参照文と一致する単語はthe, cat, on, matの4語であり、5語ではありません。4/6≒67%が正解です。
この問題のポイント
完全一致:6/6=100%。部分一致:「the cat is on a mat」のうち参照文と一致するのはthe(上限クリップで1)、cat、on、matの4語であり、4/6≒67%となります。