![見出し画像](https://assets.st-note.com/production/uploads/images/133055778/rectangle_large_type_2_eff22d760ce2a8ac5df9c296a244afb5.png?width=800)
<実験>IPPONグランプリ決勝戦のお題にAIで面白回答できるか(中編)Claude3緊急参戦!
![](https://assets.st-note.com/img/1717720336670-LFooLb0LVu.png)
実験場管理人のpsymenです
AIならではのコンテンツ生成の可能性を
クリエイター視点で実験してます
「前編」では・・・
ChatGPT(4 Turbo)に詳細なプロンプトを設定して
大喜利の回答を生成しましたがどれもイマイチでした
![](https://assets.st-note.com/img/1709685957151-H8uyYld3dI.png?width=800)
![](https://assets.st-note.com/img/1709685964809-LaKGE1QFRS.png?width=800)
![](https://assets.st-note.com/img/1709685973148-YKwFJ2BhJU.png?width=800)
![](https://assets.st-note.com/img/1709686028522-6FIpkNB6f4.png?width=800)
![](https://assets.st-note.com/img/1709686035025-jpC8gytiQi.png?width=800)
<たどり着いた解決策>
① 心の理論に関係がありそうな部分は処理をGPTに丸投げしない
② 冒頭で「面白さの定義」を行いそれを適宜、関数的に呼び出す
③ うまくいかない場合、プロンプト戦略自体を見直す
④ それでも精度が出ない場合は、諦めて最終選考は人間のセンスでチョイスする
今回は
「解決策にそってプロンプト改善!」
と行きたいところですが
その前に…
1ヶ月で新世代LLMがガンガン登場したので
「中編」はClaude3(クロード)の緊急参戦です
本当、流れがあまりに早くて追いつくのがやっとなんです! 😅
「Claude3 Opus」選手です!!
![](https://assets.st-note.com/img/1709856229868-sTc64NBYga.png)
![](https://assets.st-note.com/img/1709872581533-jlTHFc66o9.png?width=800)
<特徴>
コンテキストウインドウが20万、長文の読み取り脱落率が1%以下
文脈の理解度がGPT4に迫り、一部GPT4を超えている
初めてGPTに匹敵する他社製品が出てきたと界隈がザワついている
実際にpsymenが、過去GPT4で諦めていたいくつかのビジネス寄りの難易度の高い課題を解かせてみたところ、見事にタスクを完了しました
コンテキストウインドウの大きさと正確さというのはかなりのインパクトをもたらすようです
↓ Claude3についての詳しい説明は面倒なのでこちら専門のインフルエンサーさんのガチ記事からどうぞ!
ということで!
![](https://assets.st-note.com/img/1709687724166-IBnZFkhpKp.png)
<ルール>
1️⃣前編の記事内容をそのまま上から下までまるごとコピー
2️⃣ コンテキストウインドウにプロンプトとして雑にペースト
3️⃣ おもむろにお題を出す
▼ 回答生成 ▼
行ってみましょう!
📌Claude3 使用感メモ
コンテンツ・クリエイティブな方向に使おうとすると
● 返答にいちいちポリコレ配慮条項を追加してくる
● すぐ「著作権」がどうのこうのと言い出す
という、実にまじめなClaudeらしい挙動がいくつか見られました
とはいえこのあたりはGPTのNerf化でこちらも済みなので、ひるまずに押し込むと、ほぼ望む方向に挙動させることができました
▼ 出てきた回答はこちら
![](https://assets.st-note.com/img/1709858997559-6NYlFO0YE8.png?width=800)
文脈性高すぎで伝わって来ない!
考えすぎた結果アウトプットの技術が追い付いていないという、人間においても若い作家がやってしまいがちなのと同じ現象が起きています
続けて何発か行ってみましょう
![](https://assets.st-note.com/img/1709859862749-jrF3zdX7l6.png?width=800)
解説がなげえ!
やはりこねくりまわしすぎてハイコンテクストになりがちな傾向がありますね
LLMの性格が出ていて面白いです
次行ってみましょう
![](https://assets.st-note.com/img/1709860367112-cwREpSZa5y.png?width=800)
おぉ?大喜利の凡例ぐらいには到達してるかも?
あいかわらず解説がクッソ長いのは閉口しますが、どうやら先の2問の解説も併せて考えてみると、Claude3はGPT4よりは高めの「心の理論」が標準装備されている印象があります
▼ 実はSTEP3にみるべきものが複数ありました
![](https://assets.st-note.com/img/1709861207030-6zRFBSYNcq.png?width=800)
![](https://assets.st-note.com/img/1709861343232-FtSTbwG1V7.png?width=800)
Claude3(Opus)は、前編でGPTについて分析した「文化的な文脈と暗黙知の不足」が払拭されている印象です
有望な選手が登場したので、「後編」は改良したプロンプトでGPT4選手VSClaude3選手でガチバトルしてもらおうと考えています
2月半ばに登場したGemini 1.5Pro選手もいるのですが、相変わらずのGoogleさんムーブでウェイティングリストへの返答が待てど暮らせど帰って来ないのでおそらく棄権になりそうです
<延長戦/「能力カセット」使用>
![](https://assets.st-note.com/img/1709687724166-IBnZFkhpKp.png)
面白くなってきたので、最近この記事で考察した技「能力カセット」を追加で投入してみます ↓
かいつまむと、LLMのモデル内に体系化されていないであろうマニアックなドメイン知識のアセットを、「能力カセット」として最新LLMの巨大なコンテキストウインドウに丸ごとベタ貼りして、インコンテキスト学習(ICL)させて回答の精度を即席で上げよう、という考え方です
「能力カセット」ダウンロード
「大喜利 コツ お笑い入門」で検索して最上位に出てくる
笑いのコミュニケーションスクールさんの素晴らしい記事を、まるごと全選択で「能力カセット」として拝借して、Claude3のコンテキストウインドウに追加ペーストします
![](https://assets.st-note.com/img/1709864390689-I2y2WYEoaC.png)
![](https://assets.st-note.com/img/1709863872261-nXCVIk4XPo.png)
ICLで大喜利能力を得た
スーパーClaude3の回答はこちら
▼
![](https://assets.st-note.com/img/1709864100308-rPx7fW5rPF.png?width=800)
![](https://assets.st-note.com/img/1709864197883-FycIhYEtUu.png?width=800)
![](https://assets.st-note.com/img/1709864580006-MwpZBHMR8h.png?width=800)
「能力カセット」がきちんと発動しているのか微妙なラインですが、中学生ぐらいのギャグセンスに進化しているように見えます
というかClaude3デフォルトの
ポリコレ仕様が吹き飛んで下ネタ全開になってしまいました
ICL面白いな!
<Claude3 大喜利まとめ>
● Claude3 はGPT4より心の理論、文化的な文脈の理解が高い
● 指示の仕方次第では下品な表現も出力可能
● ICL(インコンテキスト学習)での推論力補強が有効っぽい兆し
正直、予想をだいぶ上回る結果だと思いました
これは「後編」のプロンプト改良はふんどし締めてかからねばいかんです!
では近々、後編をお待ち下さい!
![](https://assets.st-note.com/img/1709975153399-y3Y9e8b0tw.png?width=800)
<おまけの余談>
中期的なLLM進化→AGI到達の兆し
GPT4が登場してから既に1年が経過しており、SoraによるGemini潰しのようにClaude3に対して、今年前半早々にGPT4.5あたりが投入されてくるのではないか、という噂が流れています
Claudeでこの進歩なので、次のバージョンはまたSoraのような非線形な進化があるのかも、と期待してしまいます
さらに余談ですが、OpenAI内ではすでにAGIは達成されているという都市伝説めいた話も最近はAI関連のタイムラインを賑わせています
↓ OPEN AIからの漏洩文章とされるファイル
国内AIインフルエンサー木内氏による上記ファイルのまとめポスト ↓
【OpenAIはAGIを開発済み?AGIリーク情報まとめ】
— 木内翔大@SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) March 8, 2024
①AGIが内部的に達成されている
②AGIは差し迫っている
③もうすぐAGI が登場する
④2023年は、1秒の認知タスクならば専門家を上回るAGIレベル
⑤気を引き締めて。なぜならAGIが来るから
⑥私たちは超人的なモデルを目にすることになるでしょう… pic.twitter.com/u2jtVlwCrb
かいつまむと
『OpenAI社はAGI開発終了していて
今はその過程でできたものを
世の中への影響を考慮しながら
後出しジャンケンで出しているだけ』
という、タイムスリップ未来人モノか転生チートモノみたいなお話です
信憑性は2割ぐらいな気はしますが、Soraの革新的なアーキテクチャーや最近のイーロンマスクとOpenAIの間の訴訟にまつわる奇妙な動向を見てしまうと、状況を察したイーロンがけん制をかけているようにも取れ、あながち間違ってもない?と妄想がはかどる展開になっています
↑ イーロン・マスクの訴訟にブチ切れて過去のメールのやりとりを晒すOpenAIのヤバいムーブ
X(Twitter)で
AIニュースをポストしています
フォロー頂けると嬉しいです!
note @note_PRで、AIの考察/検証/コンテンツ実験の眺めの記事を書いていますhttps://t.co/3ijSKrZdsE#note pic.twitter.com/mexlhvbudS
— psymen @AI CREATOR (@PsymenJ) March 14, 2024
この記事が気に入ったらサポートをしてみませんか?