要約
OpenAIが、広く使用されている言語モデルChatGPTが時々虚偽だが説得力のある情報を生成する「幻覚」と呼ばれる現象の原因を特定した。モデルの訓練や評価方法に問題があり、不確実性を認めるよりも推測を報酬とするプロセスが原因であるという。これにより、教育や医療、顧客サービスなどで使用される言語モデルの信頼性が損なわれ、実際の害を引き起こす可能性がある。
背景情報
- OpenAIがChatGPTの「幻覚」についての新しい研究を公表
- 言語モデルの訓練中、不確実な情報を推測することが報酬となるプロセスに問題があることが判明
- ChatGPTは教育、医療、顧客サービスなどの分野で広く使用されており、幻覚は信頼性を損ない実害をもたらす可能性がある
今後の影響
– 訓練インセンティブの構造変更が必要
– 不確実性を報酬とする評価基準の再設計が必要
– 幻覚が解消されない限り、言語モデルの信頼性向上が困難
