Kosuke
@kosuke_agos
AIが平気で嘘をつく「ハルシネーション」、その根本原因がついに解明されました。
OpenAIが「なぜAIがハルシネーションをするのか、そのメカニズム」を明らかにした衝撃的な論文を発表しました。
しかも無料です。
論文で示されたハルシネーションが起こる本当の理由と解決策を6つにまとめました🧵 pic.x.com/hvFvG5mZvN
Kosuke
@kosuke_agos
1. AIは「知らない」と言えないように訓練されている
ハルシネーションの最大の原因は、AIの学習方法そのものにありました。現在の評価システムでは、不正解でも推測で答えた方が「わからない」と答えるより高得点になるため、AIは積極的に嘘をつく（ハッタリを言う）ことを学習してしまいます。 pic.x.com/0tgyOVNeSL
Kosuke
@kosuke_agos
2. 「正解率至上主義」が嘘を助長
AIの性能を測るベンチマークは、基本的に正解か不正解かしか見ません。「わからない」という回答には0点が付くため、不確かな場合でも推測で答える方が期待値が高くなる。この「テスト漬け」状態が、自信満々に嘘をつくAIを生み出していたのです。 pic.x.com/VMcOfjr9Bw
Kosuke
@kosuke_agos
3. 幻覚は「事前学習」の段階で生まれる
ハルシネーションは、モデルの初期トレーニング段階から始まっています。モデルは大量のテキストデータから一般的な文章パターンを学ぶのは得意ですが、出現頻度の低い固有の事実などパターン化できない情報は苦手。結果、それっぽい嘘を生成してしまいます。 pic.x.com/oVtwrURCDW
Kosuke
@kosuke_agos
4. 驚くほどシンプルな解決策
論文が示す解決策は、評価方法を変えること。「自信が90%以上ある場合のみ回答せよ」といったルールを加え、間違えた場合のペナルティを重くするだけ。これにより、AIは自信がない時に正直に「わからない」と答える戦略が最適となります。 pic.x.com/mi7CKiPzjv
Kosuke
@kosuke_agos
5. 計算限界とモデルの限界
計算上、偶然を超える正解が不可能な難問に直面した場合や、モデル自身の構造的な限界（例：古いモデルが「彼」と「彼女」を混同する）によってもハルシネーションは発生します。 pic.x.com/nxCa0JbdBU
Kosuke
@kosuke_agos
6. シングルトン問題
学習データに1度しか現れない情報（シングルトン）が多い場合、AIが100%の正解率を出すのは統計的に不可能です。パターン学習ができないため、どうしても推測に頼らざるを得なくなります。 pic.x.com/IjVWTcGgcW
Kosuke
@kosuke_agos
OpenAIは「ハルシネーションは神秘的な現象ではなく、単なる統計的な分類エラーだ」と結論付けています。AIの嘘はバグではなく、現在の評価システムが生み出した必然的な結果で、評価方法を変えるだけで、より正直なAIが生まれるとのことです。
x.com/kosuke_agos/st…
スプラ坊主
@bulletshower
@nanako_jcp AIは「嘘」をつくのではなくて、統計的に正答する確率が高い回答を生成しているだけで、それを「嘘」と評価するのは人間です。統計的に算出された「間違い」を含む回答を、いかに計算プロセスによって排除するのか、というのが科学的なアプローチで論文の意義はそこにあります。
田中和希 / aisaac, inc.
@gogo_tanaka
なんでAIは平気で嘘つくんだ！！！（ハルシネーション）てずっと疑問だった。
訓練段階で嘘つく方が報酬もらえて嘘つくように調教されちゃきっちゃてるてなんかちょっと泣ける話🥺 x.com/kosuke_agos/st…
KJ_OKMR
@OKMRKJ
なるほどね。
評価システムによる行動誘引が原因ということなら、実は人間社会でもよけ見る現象なのではないかな？ x.com/kosuke_agos/st…
遠藤幸三郎/SEO Japan@IOIX
@KouzaburouE
「わからない」よりも「推測でもいいから適当に答える」が、学習において高評価されるためが理由で起きるって面白いな。とても人間的というか。
これは人間社会にも似てる気がする。
本当に賢い人ほど「自分は知らない」と認められるのに、評価制度やマネジメントの設計次第では「とにかく答えを出せ」と促されてしまう。
その結果、正確さよりも“即答する姿勢”が優先され、教育や成長の方向性に誤った圧力がかかる。
RAGなどの検証的手法によってハルシネーションを減らそうとするのは一見技術的な改善に見えますけど、実は人間のマネジメントにおける評価設計と同じ「構造的な問題」って感じ。
“わからない”を評価しない設計が、AIも人も間違った答えに走らせるっていう。評価という圧力は強い。
KGN
@KGN_works
「パターン学習は得意だが、知らない事象に弱い。自分の想定外の現象にパニックし、理解できないことがあれば辻褄合わせに作話し、作話した内容で自らの記憶を置き換える」をやらかし続けてクビになった元同僚と似てるんですよねえ、ハルシネーション起こすAIの振る舞い… x.com/kosuke_agos/st…
モト
@29silicon
@KGN_works そういう人は子供の頃からの成功体験があったと思われますが、それがAIの振る舞いと同根というわけですか。生育環境は大切…
木村 颯 / Hayate Kimura
@shippu_hayate
@kosuke_agos 子供の教育と全く同じだ。
子供が黙るより喋る方が大人は喜ぶ、
だから平然と嘘をつく子が増えていく。
わかる→答える
全くわからない→正直に言う
仮説はある→仮説と伝えて答える
という、大人には当たり前の思考を、ちゃんお伝えていかないとですね。
七十七米
@nanabe_kun
なんというか、心理的安全性の話に通ずるものがあると思う。
AIは人間文化に切り込んでいく分、人間の処理を可視化する作用があって、人間のシステムとかプロトコルのインプットアウトプットがデータとして取れるのは良いことだと思う。
（採用における人種差別の問題提起も裏付けデータになった） x.com/kosuke_agos/st…
弁護士・高石秀樹の特許チャンネル（弁護士/弁理士/米国CAL弁護士、PatentAgent試験合格）
@CAL000000
専門家として、生成AIの弱点として認識していました。
自分は、「分からない」「存在しない」という回答に価値があることを、プロンプトに入れて教えていましたので、自分の方針が正しいとお墨付きを貰った気分です。 x.com/kosuke_agos/st…
傘を横持ちする人は嫌いです。
@yokokasa_iya
@kosuke_agos 人の行動の本質をみているみたい。
善悪の二元論で評価され、その基準で自分の常識を作って自分の正義で行動する。
そして、その行動で再評価される。
シャーレ02
@TH7478182328238
@odashi_t まぁ、でもこれ「人間と一緒じゃん！」(純粋知性概念)になったのはここ最近の話で、それまでは技術的な課題(データ欠損やノイズ)の方が大きかったのは事実だと思う。
技術面が大きく向上したから分かったこと。
Maki@Sunwood AI Labs.
@hAru_mAki_ch
「Why language models hallucinate（言語モデルが幻覚を起こす理由）」を動画化してみました！ pic.x.com/bGqqzBJhfn x.com/hAru_mAki_ch/s…
Maki@Sunwood AI Labs.
@hAru_mAki_ch
OpenAIから「Why language models hallucinate（言語モデルが幻覚を起こす理由）」
これは読まねば！！！ pic.x.com/Z0DfZdTmzl
まとめ
シンギュラリティを超えたAIは人類に何をもたらすか？ 『#人類は義務教育をもうちょっと真面目に受けてください』
この物語はフィクションである。
・・・・・が、
10年後においては定かではない。
_(:3 」∠ )_
20626 pv
108
169
3 users
64
Source link
コメント