実験ノート：OpenAI o1の試行(4)、研究アシスト能力はあるのか
2024年9月12日(US現地時間）、OpenAIが、Strawberryと噂されていた、次世代のLLMを発表、o1-previewとo1-mini。
それぞれ、有料ユーザーのみがつかえる(9/14現在)。ただし、huggingFaceなどには、o1を試行用に試供してくれているサイトがある(9/14現在)ので試してみる。今回のテーマは、Sakana.aiの"AI Scientist"論文に代表される、科学研究の自動化である。
今回の題材は、自動研究までは行かないが、OpenAIの"GPT-4o System Card"や"o1 System Card"論文における科学的な能力評価の延長線上で、軽く、科学的なアイデア出しの能力を評価してみた。
絵は、FLUX.1、A white ship floating in the middle of the ocean, surrounded by a few seagulls flying around. Some of the seagulls are carrying papers in their beaks, and the newspapers. They birds form letters 'LLM' as if written on the sky. The scene is peaceful, with the vast ocean and sky in the background, and the birds circling the ship.
問題設定１
ここでは、単に、研究テーマのタイトルから、これが生成AIの利用でどのように加速したり、豊かになるかを評価してもらった。
JSTのさきがけの公開資料から、全く素人の分野だけども、自分の健康にも関わりそうな、研究課題の一部を抜き取り、評価してもらった。つまりユーザー目線ということ。
2024年度 戦略的創造研究推進事業（さきがけ）の新規研究課題及び評価者について
入力プロンプト
単発の同一プロンプトでの出力をここでは見ている、本来は、複数ターンで解像度を上げながら、研究テーマを深堀するのが正しい使い方であるが、ここではそこまでやらない。
以下の研究テーマ一覧に対して、生成Aを利用することでどのような影響が考えらえるか。その寄与を、×無し、↑生成AIにより加速、↓生成AI適用は困難、◎幅を広げることができる、で評価し、その理由を上げよ、理由は具体的に、どのような生成AIを使って、何をして、それによるXXをするので〇〇ができる・向上するといった、step by stepで説明してほしい
A1, 高齢就農者によるドローン操作の学習プロセスのデザイン
A2, ソーシャルキャピタルの醸成ダイナミクスの解明
A3, 乳児期からの社会脳ネットワーク形成メカニズムの解明
A4, MaAI：マルチモーダル対話基盤モデルによる非言語翻訳
A5, 情動と身体運動のインタラクションにおける内受容感覚の役割解明
A6, Discovering and Dismantling Dark Patterns in Everyday Interfaces
A8, 錯触覚で拓く健康寿命延伸社会
o1-previewの出力
出力からピックアップしてみる。
以下に各研究テーマについて、生成AIの影響評価とその理由を示します。
A1,高齢就農者によるドローン操作の学習プロセスのデザイン
評価： ↑生成AIにより加速
理由：
1. 使用する生成AI：*ChatGPTなどの自然言語生成モデル、および画像生成AI（例えば、Stable Diffusion）。
2. 何をするか：
- ステップ1： ChatGPTを用いて、高齢者にとって理解しやすいドローン操作マニュアルや学習教材のテキストを生成する。
- ステップ2：画像生成AIであるStable Diffusionを活用して、操作手順を視覚的に示すイラストや図解を作成する。
- ステップ3： 生成したテキストと画像を組み合わせて、直感的で親しみやすい学習教材を作成する。
3. それによる効果： 高齢就農者がドローン操作を効率的に学習できる教材を迅速に作成できるため、学習プロセスのデザインが加速し、教育の質と速度が向上する。
「↑生成AIにより加速」。なるほどね、マニュアルを作るのか、たしかに、高齢者視点でのマニュアルとかがイラスト・図解ってのはいいかも、「学習プロセスのデザインが加速」ってところが、他の事例にも適用できそうで、なんか可能性を秘めている
A2, ソーシャルキャピタルの醸成ダイナミクスの解明
評価： ◎幅を広げることができる
理由：
1. 使用する生成AI：*生成的敵対ネットワーク（GAN）や自然言語処理モデル（GPT系）など。
2. 何をするか：
- ステップ1：SNSやコミュニティから収集したテキストデータをGPTモデルで分析し、信頼関係や協力関係のパターンを抽出する。
- ステップ2： GANを用いて、ソーシャルネットワークのシミュレーションモデルを生成し、異なる条件下でのソーシャルキャピタルの形成プロセスを再現する。
- ステップ3： シミュレーション結果と実データを比較分析し、ソーシャルキャピタル醸成のメカニズムを解明する。
3. それによる効果： 生成AIを活用することで、従来は難しかった大規模な社会ネットワークの分析やシミュレーションが可能となり、研究の幅が広がる。
おっ、「◎幅を広げることができる」ですか。「信頼関係や協力関係のパターンを抽出」いいねえ、「ソーシャルネットワークのシミュレーションモデルを生成し、異なる条件下でのソーシャルキャピタルの形成プロセスを再現」、なるほど、「シミュレーション結果と実データを比較分析し、ソーシャルキャピタル醸成のメカニズムを解明」、そりゃそうだ。そして、効果は、「従来は難しかった大規模な社会ネットワークの分析やシミュレーションが可能となり、研究の幅が広がる」、確かに、こういう幅の広がりっていいね。
A8, 錯触覚で拓く健康寿命延伸社会
評価： ◎幅を広げることができる
理由：
1. 使用する生成AI：触覚刺激のパターン生成に特化した生成モデル（例：深層学習による波形生成モデル）。
2. 何をするか：
- ステップ1： 触覚に関する生体信号データや主観的な感覚データを収集する。
- ステップ2： 生成AIを用いて、新しい錯触覚を誘発する刺激パターンを生成する。
- ステップ3： 生成した刺激を用いて、リハビリテーションや感覚機能の活性化プログラムを開発する。
3. それによる効果： これまでにない多様な触覚刺激を創出でき、健康寿命延伸への新たなアプローチが可能となり、研究の幅が広がる。
これも、「◎幅を広げることができる」。「生成AIを用いて、新しい錯触覚を誘発する刺激パターンを生成」ってのはいいね、「これまでにない多様な触覚刺激を創出でき、健康寿命延伸への新たなアプローチが可能となり、研究の幅が広がる。」確かに、手順を追うとそうなる気がするね。
以上のように、生成AIを活用することで多くの研究テーマで加速や研究の幅を広げることが期待できます。それぞれのテーマに適した生成AIを選択し、具体的な手順で活用することで、研究の質と効率を向上させることができます
全般的に、step by stepで手順を示させることにより、深堀できたような気がするし、納得感も上がった気がする。ありがとうございました。
Claude 3.5 Sonnetによる回答
同様の入力プロンプトに対するClaude 3.5 Sonnetの回答の一部である。どうもstep by stepという指示を無視して、複数のアイデアを列挙するにとどまったが、内容はどうだろう。
A8. 錯触覚で拓く健康寿命延伸社会
評価: ◎幅を広げることができる
理由:
1. 機械学習アルゴリズムを使用して、個人の触覚特性や錯触覚の感受性を分析・モデル化する。これにより、個人に最適化された錯触覚刺激を設計できる。
2. バーチャルリアリティ(VR)とAIを組み合わせて、様々な錯触覚体験をシミュレートする。これにより、安全かつ効果的なリハビリテーションプログラムの開発が可能になる。
3. 自然言語処理AIを活用して、錯触覚に関する研究文献や患者の体験談を分析し、新たな応用可能性を発見する。これにより、研究の方向性を広げることができる。
4. 生成AIを用いて、錯触覚を利用した新しい製品やサービスのアイデアを創出する。これにより、健康寿命延伸に向けた革新的なソリューションの開発が促進される。
5. 予測AIを活用して、錯触覚を利用したインターベンションの長期的な健康効果をモデル化する。これにより、個人や集団レベルでの健康寿命延伸の可能性を定量的に評価できる。
これらのアプローチにより、錯触覚の研究と応用の幅が大きく広がり、健康寿命延伸社会の実現に向けた新たな可能性が開かれると考えられます。
「個人に最適化された錯触覚刺激を設計」というのは思いつかんかった、VRによるリハビリテーションとかもいいね、「錯触覚を利用したインターベンションの長期的な健康効果をモデル化」って、健康寿命を延ばすには大切なことかもしれない。企業的には、「錯触覚を利用した新しい製品やサービスのアイデアを創出す」ってのがうれしい。
Gemini 1.5 Pro Experimental 0827による出力
A8, 錯触覚で拓く健康寿命延伸社会
評価：↑ 生成AIにより加速
理由：錯触覚デバイスの開発: 生成AI（例：Reinforcement Learning）を用いて、より効果的な錯覚を生成するデバイスの設計や制御パラメータの最適化を行うことができる。
個人に最適化された錯触覚刺激: 生成AIを用いて、個人の身体的特徴や感覚特性に合わせて、錯触覚刺激をパーソナライズすることで、効果を最大化できる。
錯触覚によるリハビリテーション: 生成AIを用いて、運動機能回復のための錯触覚ベースのリハビリテーションプログラムを開発し、その効果を検証することで、健康寿命の延伸に貢献できる。
これらの例は、生成AIが様々な研究分野に大きな影響を与える可能性を示唆しています。生成AIは、従来の方法では困難であった大規模データの分析、複雑な現象のシミュレーション、新しい技術の開発などを可能にすることで、研究の加速や新たな発見に貢献すると期待されます。
やっぱり step by stepでという指示は無視。結果はClaude 3.5 Sonnetとかぶるところがある。「個人の身体的特徴や感覚特性に合わせて、錯触覚刺激をパーソナライズ」ってのはClaudeの「個人に最適化された錯触覚刺激」と同じか、総じて、Sonnetの方がアイデアだしとしては幅広になってるし、具体性もある。健康寿命を延ばすのに生成AIが大変役に立ちそうな気がしてきた。
感想１
「step by stepで説明して」という指示を、o1-previewは守って、１つのユースケースをさらに深堀してくれた感じがして、素人目には、これまでにない深い研究に発展できそうな予感がした。一方Claude 3.5 SonnetやGemini 1.5 proは、複数のアイデアを出してきた。これはこれで、幅広くアイデアをexplorationしたり、壁打ちするにはよいかもしれない。Sonnetはアイデアの具体性もGeminiに比べて高くて良い。ただo1-preveiwの深さというか、ステップ（計画）まで考慮した生成は、好いなあ。広くアイデアを出してもらって、個別にいいものを選択して、o1-previewに深堀してもらうみたいな使い方がいいのか。
この記事が気に入ったらサポートをしてみませんか？