見出し画像

魔改造されたGPT-2だと噂のGPT2の性能がGPT−４を上回る？！

Zun-Beho

なぜか昨日から、OpenAIのGPT-2をベースにしたGPT2というLLMががひょっとしたら、GPT-4 Turboより優れているかもしれないと話題になっています。

ただいま、Xのトレンドワードは1位から３位までChatGPT関連です。

HuggingFace上に対話型として使えるようにいくつか設定されています。

また、サム・アルトマンもGPT2には特別思い入れがあるとXへのポストでコメントしています。しかも、このポストは最初、「i do have a soft spot for gpt-2」と投稿されていたものをgpt-2の部分をgpt2に変更してポストし直したとこまで見ていた人がスクショを上げて説明していたので、これがOpenAI社製品、もしくはOpenAI公認のスタートアップの制作したものだという事がわかります。

性能的には非常に高性能でありGPT-4 Turboを超えているとの報告があります。

言葉が出ない…言葉が出ない。gpt2 -チャットボットは私の韻テストに見事に合格しました…これほど複雑に言葉を理解しているモデルを今まで見たことがありません??

OpenAIの次期モデルになるのではないかとの噂

このオープンソースのGPT-2をベースにしたモデルがOpenAIの次期モデルになるのではないかとの憶測まで飛んでいます。

「 gpt2 -chatbot 」と呼ばれる謎の新しい AI モデルが急速に広まっています。公式ドキュメントなしでリリースされたため、OpenAIの次期モデルになるのではないかとの憶測もある。これまでにわかっていること（および無料で試す方法）は次のとおりです。

GPT２のパラメータ数

ベースはGPT-2であるかもしれないけれど（オープンソースという意味で）なんと、GPT2には100 京のパラメータがあるとのことです。ちなみにGPT-4のパラメータ数が 1 兆 7,600 億であることを考えると桁違いなパラメータ数です。

GPT2使用方法

こちらのポストで解説されていますが、現在が使用制限がかかっているようです。

この様な表示になります。

サム・アルトマンがお茶を濁した訳

インタビューでは「新しいモデルは、6月あたりに出るがそれがGPT-5という名前になるかはわからない」と言っていたのでここらでオープンソースのモデルを出さざるを得ないと思い、クローズドのGPT-4の上位モデルとは別ラインの開発が進んでいるということなのかもしれません。

GPT2はアスキーアートが得意と話題に

GPT2を使えば人間が作ったような精巧なアスキーアートが書けてしまうとのことです。しかも、プロンプトは、「XXXのアスキーアートを書いて」と依頼するだけのようです。

確かにLLMsはアスキーアートが苦手で、過去に有名になったアスキーアートを描画することも上手くありませんでした。多分ですが、行替えタグ<br>やスペースを開けるためのドットなどが上手く使いこなせていないのではないかとおもいます。高度なLLMsでもアスキーアートが苦手な件は、下記のNoteの後半に検証していますので合わせてご覧ください。

GPT-2のアスキーアート能力には定評があった

GPT2はアスキーアートが得意との話題性が高まっていますが、このモデルの元とされているオープンソースのLLM、GPT-2 に基づくチャットボット モデルは ASCII アートの作成に非常に優れているのではないかという議論もあります。これは興味深いかもしれませんが、特に ASCII アートの作成におけるこれらのモデルの機能は、モデルのトレーニング方法と微調整された特定のタスクに依存することを覚えておくことが重要です。

ASCII アートの作成は、言語モデルにとって非常にニッチなスキルですが、特にトレーニング中にモデルに多くの例が与えられている場合には、可能性の領域から外れるわけではありません。モデル間で ASCII アートの品質に大きな違いがある場合、それはモデルがトレーニングされたデータセットまたは特定の微調整が原因である可能性があります。

開発者はGPT2の虜

数日でトップの座を更新し続けるAIですが、今はGPT2に首っ丈という事を表したポストです。

オープンソースがもてはやされる理由

厳しいAIへの倫理規制に縛られない

昨今、スペックでGPT-4に迫るLlamaやMistralなどのオープンソースのLLMsが多数登場し、オープンソースのLLMsを使ったローカルLLMの開発がブレイク中です。自分のためのエロ目的のAI彼女もオープンソースのLLMをダウンロードしてローカルにインストールし自分だけで楽しむ分には規制でバンされることもなくやりたい放題です。
（下記参照）

自社の著作権物を使った自社専用LLMが作れる

また、そういう方だけでなく、大企業においてもオープンソースのLLMsをカスタマイズするメリットは非常に大きいです。新聞社などは著作権で守られた自社のデータをアウトソーシングすることなく、自社開発のAIに学習させ自社内と契約を交わした外部組織と共有するなど、データを保護しつつ有益な使い方ができます。
（下記参照）

Gigazineでも記事になっているので合わせてご覧ください。

ギズモードの記事がかなり詳しい経過を記事にしている

事の経過を詳しくかいたギズモードの「Powerful New Chatbot Disappears as Mysteriously as It Arrived」という記事を要約していきます。

この週、新しい謎のAIチャットボット「gpt2-chatbot」が注目を集めました。大手言語モデルのベンチマークサイトLMSYS Orgで利用可能になったものの、誰が開発したのかは不明です。多くの人がこのボットをOpenAIのGPT-4と同等の能力を持つと見なしています。

ホイートン大学のエタン・モリック教授は「開発者や詳細は不明だが、GPT-4と同様の能力を持つようだ」とツイートしました。しかし、話題のピーク時に突然、gpt2-chatbotはオフラインになり、「予想外の高トラフィック」のためと発表されました。LMSYSはその後の公開について「乞うご期待」としています。

オンラインのAIコミュニティでは、gpt2-chatbotの起源や真実について激しい議論が交わされており、開発者がOpenAI、Google、またはAnthropicのどれかであるとの憶測が飛び交っています。一部ユーザーはgpt2-chatbotが「Flappy Bird」の完璧なクローンを作成したと主張しています。

LMSYSは、新しいモデルを匿名でテストする開発者がいるとの方針をブログで発表しており、多くの人々がgpt2-chatbotが大手AI開発者からの匿名モデルであると信じています。また、新モデルをプラットフォームでテストするパートナーシップがあるとも述べています。


この記事が気に入ったらサポートをしてみませんか？