生成AIの「幻覚」現象を採点システムの問題から解説するOpenAIらの最新研究徹底解剖

Contents

概要
ポイント
詳しい記事の内容はこちらから
- 参照元について

概要

OpenAIとジョージア工科大学の研究チームは、LLM（大規模言語モデル）がなぜ事実と異なる「幻覚」を生み出すのか、その理由と解決策を論文で示しました。
幻覚とは、AIが答えが分からない場面で、分からないと伝えず、もっともらしい誤情報を生成してしまう現象です。
この原因を「難問に直面した学生が推測で答えを書く」仕組みと比較し、AI評価に使われる主要ベンチマークが「分からない」回答では点数を与えないことが根本的な問題だと説明しています。
仕組み上、推測でも答えた方が高評価になるため、開発者が幻覚を減らす動機が生まれにくい状況です。
数学的分析では、AIが答えを判定するより自分で作り出す方が間違える確率が2倍以上になると明らかになりました。
解決策として、「十分な確信がある場合のみ回答する」「誤答には減点、正答には加点、分からないは0点」などルールを設定することが挙げられています。
そして個別の評価手法追加だけでなく、既存のベンチマークそのものの見直しとリーダーボード採用が不可欠と論じています。