AIはターミネーターにはならないと言う論文が最優秀論文賞を受賞

AIがスーパーヴィラン（注01）のような存在になるという恐れに対して科学的な根拠はないと主張する論文「Are Emergent Abilities of Large Language Models a Mirage?」がNeurIPS 2023で最優秀論文賞を受賞しました。

Are Emergent Abilities of Large Language Models a Mirage?

※注01：スーパーヴィランとは、特にコミックや映画などのフィクション作品に登場する悪役キャラクターのことを指します。これらのキャラクターは通常、超人的な能力や特異な技術、強力な影響力などを持ち、物語の主人公やヒーローと対立する存在として描かれます。スーパーヴィランはしばしば、悪事を企む大敵として描かれ、物語の中で緊張感やドラマを生み出す要素として重要な役割を果たします。

突然のLLMsの進化は研究者の評価基準によって生じる現象

「Large Language Models（LLMs）が突然スーパーヴィランのようになる」という概念についてこの論文は科学的な根拠はないと結論付けています。この論文はLLMsが示す特定の能力が、モデル自体の進化や革新的な変化から生じるのではなく、研究者が使用する評価基準（メトリクス）によって生じる現象であると主張しています。

具体的には、LLMsが大きなスケールで特定のタスクをよりうまくこなすように見える場合でも、それはモデル自体が急激に進化したわけではなく、単に性能を評価する方法（メトリクス）がそのように見せているだけだということです。つまり、LLMsが人間の能力を超える「スーパーヴィラン」のような存在になるという心配は、科学的根拠に基づいていないということになります。

この論文は、AIの発展に関する誤解や恐れを解消するのに役立つ重要な洞察を提供しており、AIの能力や限界を理解する上で重要な資料です。

非線形メトリクスでモデルが予測不可能なパフォーマンスを発揮する事を実証

研究者たちは、InstructGPT/GPT-3などのモデルを用いて、整数算数タスクなどでのパフォーマンスを分析し、非線形メトリクス（例えば、精度）を用いると、モデルのパフォーマンスが急激で予測不可能に見えることを示しています。しかし、メトリクスを線形のもの（例えば、トークン編集距離）に変更すると、モデルのパフォーマンスは滑らかで連続的かつ予測可能な改善を示すと述べています。

非線形メトリクスと線形メトリクスの違い

非線形メトリクスと線形メトリクスの違いによって、AIモデルのパフォーマンスの評価が異なる理由は、これらのメトリクスがパフォーマンスをどのように量るかに基づいています。

非線形メトリクスは、モデルのパフォーマンスの変化を非線形の形で捉えます。これは、小さな入力の変化がモデルのパフォーマンスに大きな影響を与えることを意味します。このようなメトリクスを使用すると、モデルの能力が急激に向上したり、突然新しい能力が現れたように見えることがあります。

一方で、線形メトリクスは、パフォーマンスの変化をより均等かつ連続的に捉えます。このため、モデルの能力が段階的に向上することが見られ、急激な変化や予期せぬ新しい能力の出現は少なくなります。

線形メトリクスを使用すると、モデルの性能改善がより滑らかで予測可能に見え、モデルのスケールに伴う連続的な改善がより明確になります。これは、非線形メトリクスが時に過度に劇的なパフォーマンスの変化を示すのに対して、線形メトリクスがより現実的で実用的なパフォーマンスの評価を提供することを意味します。

結局のところAIを誰の命で開発するかにかかっている

本日のAI Notkilleveryoneism Memesさんがユヴァル・ノア・ハラリと(Google DeepMind 創設者のMustafa Suleymanの対談動画を添付したポストをXにあげていました。

ハラリ氏が、「私たちがこのような事態に直面したのは歴史上初めてです。石ナイフから核爆弾に至るまで、歴史上のあらゆるテクノロジーでは、[テクノロジー自体]は意思決定を行うことができませんでした。 広島への原爆投下は原爆によって決定されたのではなく、トルーマン大統領によって決定されました。」と語っている様に、結局AIが誰の手に渡るかによって人類の運命はきまるのではないでしょうか？

Winnyが悪いのでもなくWinnyを開発した金子さんが悪いのでもなく、それを使って著作権のある物を不法にばら撒いたユーザーが悪いのと同じです。

Yuval Harari: We may be 5 years from the end of human history. This is the first time in history where nukes could decide to launch themselves.

“Power is shifting from humans to an alien intelligence”

INTERVIEWER: You said [AGI was possible] in 3-5 years. So, in 2028, what does… https://t.co/UfgwuaTryR pic.twitter.com/tR7CoqWgKv

— AI Notkilleveryoneism Memes ⏸️ (@AISafetyMemes) December 12, 2023

AIをターミネーターととらえるかドラえもんととらえるか

ChatGPTが登場した時、日本人はお友達の様に感じて諸手を上げて歓迎したのに対して、西欧諸国はターミネーターに例えてAIが人間を欺き人間を滅ぼす未来を想像しました。これは、宗教観が関係すると思われます。

西欧諸国にとっては宗教とは人間が神を裏切り許しを請い神の国に戻るという思想です。
神を裏切りエデンの園を追われた人間は神の加護を求めたびたび許しを請いいけにえを捧げますが神の怒りから逃れる方法は生きている間善行を積み重ねる事くらいしかありません。

人間とは原罪を抱えて生れて来た存在

しかも、エデンの園を追われる身となったのは自分のあばら骨を一本取って神が粘土をこねて作った「女」にそそのかされたと言う物です。つまり、人間の原罪は女によってもたらされその後恥ずかしくなって布で身体を多い陰部にはっぱをあしらう様になったと言う物です。

そんな神話を信じ込んでいるため、「AIはいつかその創造主である人間を裏切る」と言う図式を思い描いてしまうのでしょう。この度、実証実験により「AIは人間を裏切り人間を滅ぼす存在に進化するような事は無い」とのエビデンスが出て西洋人は安心して眠る事ができるのでしょうか？物心ついて刷り込まれた神話を捨てる事は中々難しいのかもしれません。