<実験>IPPONグランプリ決勝戦のお題にAIで面白回答できるか(中編)Claude3緊急参戦!
「前編」では・・・
ChatGPT(4 Turbo)に詳細なプロンプトを設定して
大喜利の回答を生成しましたがどれもイマイチでした
今回は
「解決策にそってプロンプト改善!」
と行きたいところですが
その前に…
1ヶ月で新世代LLMがガンガン登場したので
「中編」はClaude3(クロード)の緊急参戦です
本当、流れがあまりに早くて追いつくのがやっとなんです! 😅
「Claude3 Opus」選手です!!
<特徴>
コンテキストウインドウが20万、長文の読み取り脱落率が1%以下
文脈の理解度がGPT4に迫り、一部GPT4を超えている
初めてGPTに匹敵する他社製品が出てきたと界隈がザワついている
実際にpsymenが、過去GPT4で諦めていたいくつかのビジネス寄りの難易度の高い課題を解かせてみたところ、見事にタスクを完了しました
コンテキストウインドウの大きさと正確さというのはかなりのインパクトをもたらすようです
↓ Claude3についての詳しい説明は面倒なのでこちら専門のインフルエンサーさんのガチ記事からどうぞ!
ということで!
▼ 回答生成 ▼
行ってみましょう!
▼ 出てきた回答はこちら
文脈性高すぎで伝わって来ない!
考えすぎた結果アウトプットの技術が追い付いていないという、人間においても若い作家がやってしまいがちなのと同じ現象が起きています
続けて何発か行ってみましょう
解説がなげえ!
やはりこねくりまわしすぎてハイコンテクストになりがちな傾向がありますね
LLMの性格が出ていて面白いです
次行ってみましょう
おぉ?大喜利の凡例ぐらいには到達してるかも?
あいかわらず解説がクッソ長いのは閉口しますが、どうやら先の2問の解説も併せて考えてみると、Claude3はGPT4よりは高めの「心の理論」が標準装備されている印象があります
▼ 実はSTEP3にみるべきものが複数ありました
Claude3(Opus)は、前編でGPTについて分析した「文化的な文脈と暗黙知の不足」が払拭されている印象です
有望な選手が登場したので、「後編」は改良したプロンプトでGPT4選手VSClaude3選手でガチバトルしてもらおうと考えています
2月半ばに登場したGemini 1.5Pro選手もいるのですが、相変わらずのGoogleさんムーブでウェイティングリストへの返答が待てど暮らせど帰って来ないのでおそらく棄権になりそうです
<延長戦/「能力カセット」使用>
面白くなってきたので、最近この記事で考察した技「能力カセット」を追加で投入してみます ↓
かいつまむと、LLMのモデル内に体系化されていないであろうマニアックなドメイン知識のアセットを、「能力カセット」として最新LLMの巨大なコンテキストウインドウに丸ごとベタ貼りして、インコンテキスト学習(ICL)させて回答の精度を即席で上げよう、という考え方です
「能力カセット」ダウンロード
「大喜利 コツ お笑い入門」で検索して最上位に出てくる
笑いのコミュニケーションスクールさんの素晴らしい記事を、まるごと全選択で「能力カセット」として拝借して、Claude3のコンテキストウインドウに追加ペーストします
ICLで大喜利能力を得た
スーパーClaude3の回答はこちら
▼
「能力カセット」がきちんと発動しているのか微妙なラインですが、中学生ぐらいのギャグセンスに進化しているように見えます
というかClaude3デフォルトの
ポリコレ仕様が吹き飛んで下ネタ全開になってしまいました
ICL面白いな!
<Claude3 大喜利まとめ>
正直、予想をだいぶ上回る結果だと思いました
これは「後編」のプロンプト改良はふんどし締めてかからねばいかんです!
では近々、後編をお待ち下さい!
<おまけの余談>
中期的なLLM進化→AGI到達の兆し
GPT4が登場してから既に1年が経過しており、SoraによるGemini潰しのようにClaude3に対して、今年前半早々にGPT4.5あたりが投入されてくるのではないか、という噂が流れています
Claudeでこの進歩なので、次のバージョンはまたSoraのような非線形な進化があるのかも、と期待してしまいます
さらに余談ですが、OpenAI内ではすでにAGIは達成されているという都市伝説めいた話も最近はAI関連のタイムラインを賑わせています
↓ OPEN AIからの漏洩文章とされるファイル
国内AIインフルエンサー木内氏による上記ファイルのまとめポスト ↓
かいつまむと
『OpenAI社はAGI開発終了していて
今はその過程でできたものを
世の中への影響を考慮しながら
後出しジャンケンで出しているだけ』
という、タイムスリップ未来人モノか転生チートモノみたいなお話です
信憑性は2割ぐらいな気はしますが、Soraの革新的なアーキテクチャーや最近のイーロンマスクとOpenAIの間の訴訟にまつわる奇妙な動向を見てしまうと、状況を察したイーロンがけん制をかけているようにも取れ、あながち間違ってもない?と妄想がはかどる展開になっています
↑ イーロン・マスクの訴訟にブチ切れて過去のメールのやりとりを晒すOpenAIのヤバいムーブ