AI・ロボット・化学実験研究のTODOと進捗メモ(2023年度・逐次更新

Kan Hatakeyama

はじめに

AI・ロボットを使いながら､化学実験をするシステムを作るのがマイブームです｡
TODOがとても多く､自分でも忘れてしまうので､頭の整理用に纏めています(逐次更新中です)｡

協力者も募集中です! (オンライン・オフライン双方)


全体

LLMで動く自律型の化学実験システムをプロトタイプとして作りたい

  • 実験計画

    • LLMが実験計画を立てる

  • 実験動作

    • deep learning + アルゴリズム + 物理機構の作り込みで動くシステムを作る

    • 自律的に計画ー実験ー評価のサイクルを回す

  • 対象

    • まずは水や酸素に強い反応系を試す

    • 次に高度な反応系を試す

      • 注射針システムの構築

      • 系全体をグローブボックスなどで窒素/アルゴン雰囲気にする

        • ラジカル重合

        • アニオン重合

        • …

マニアックなことを知っているLLMチャットボットを作りたい

  • 論文や組織内のローカルデータを学習したモデル

  • ゆくゆくは､上記の実験システムのデータも学習したモデル


各論

LLM関連

フルスクラッチで基盤モデルを作る

基盤モデルの追加学習は結構試しました(23/12/7プレプリント公開)｡

https://x.com/kanhatakeyama/status/1732625077852909634?s=20

次はゼロから作ってみたいところです｡小型モデルなら､手持ちのGPU(A100 x2など)で行けそうです｡

マルチモーダルAIで認知

実験環境をリアルタイム認識して､適切な指示を行うシステムを作りたい｡
マルチモーダルのコストがだいぶ下がってきた気がします｡


DeepSpeed + Zero3

  • 13bモデルをフルパラメータファインチューニングする

    • A100(80GB)x2+512GB VRAMのサーバーを調達したので｡

  • 70bモデルのフルパラメータファインチューニングの必要スペックを調べる

  • マルチGPUでメモリを共有できるか調べる

  • 70bモデルのLoRAをrが大きい条件で試す

言語モデル構築

  • マニアックな知識を記憶・理解している大規模言語モデルを作る

    • 科学論文などからのRAG

    • 科学論文の追加学習/ファインチューニング

    • 専門記事やDiscordのチャットログetcを学習したchatbotの構築

ロボット連携

  • ロボット操作を自然言語で行うためのインターフェースを作る

  • auto-gptのような自律型のaiシステムを使って､実験条件を提案をさせる

画像関連

  • YOLO以外の画像系基盤モデルでガラス器具などを認識できるか試す

    • 特に言語関連

ハード構築

  • 最小スペックのマシンで70bモデルをフルパラメータファインチューニングしてみたい(DeepZero3 + SSD offload?)

  • コンシューマ向けGPUを大量(例: 8枚)刺した格安マシンでLLMをファインチューニングできるか?

ロボット関連

dobot magician

  • ガラス器具類を自然言語ベースで簡単に移動するシステムを作る

    • ガラス器具いい感じに認識する

    • ARマーカーをいい感じに認識する

    • ガラス器具(サンプル瓶)をdobotの吸引 or グリッパで移動するapiを作る

    • ガラス器具を3次元的に認識して3dマップを作る(ROS2 or 独自システム)

    • 自然言語で制御する

  • dobot magician+レールキットを立ち上げる

  • レールキットのモーター制御をシリアル通信で実装する

    • 公式apiはwindows動作を想定

  • 安価+複製が容易なピペッティングシステムを作る

dobot mg400

  • 立ち上げてpythonで操作できるようにする

  • 接触センサと連携して､良さを確認する

  • レールキットを立ち上げる?

  • magicianでOKなのか､mg400の方が良いかを見極める

電子工作

  • bluetoothで蓋を開閉可能なドライボックスを作る

  • シリンジを電子制御するシステムを作る

  • サンプル瓶にゴム栓をする機構を作る or 購入

  • ゴム栓されたサンプル瓶を窒素置換する機構を作る

    • 窒素スプレー缶 + 電磁弁 + 針

    • これができれば､窒素バブリングが可能(→ ラジカル重合可能)

  • 窒素雰囲気にできる小型ボックスを作る

    • スクリュー瓶やバイアル瓶の開閉は難しいので､サンプル瓶は開放状態にして､窒素雰囲気にできる小型ボックスを作った方が楽かもしれない

  • オープンソースの3dプリンタシステム(jubilee)を拡張して実験器具を作る

ROS2

  • ROS2+ロボットアーム+シミュレータをpythonで簡単に使うための環境を整備する

  • unityやunreal engineなどと連携する(3Dゲーム世代が強そうな領域)

その他

  • カチャカを立ち上げてapiで動かしてみる

  • unlimitedhandなどでロボットアームを遠隔操作を検討する

  • crane x7をros2 + pythonで制御できるようにする

  • mycobot + agvを立ち上げる

  • 独自ロボット用のアルミフレーム台座をmisumiのサイトを通して作る

  • 電子天秤をpythonで扱うapiを作る

  • 画像認識系のdeep learningを活用しながら､マイクロピペットのチップのつけ外しを試す

その他

  • 化学実験をAIロボットで行うためのベンチマークを整備する

  • ベンチャー周りの状況を調べる&人的コネクションを作る

  • システム全体を窒素雰囲気のグローブボックスの中に入れて高度な実験を行う

    • 場所とお金が必要




この記事が気に入ったらサポートをしてみませんか？