化学者のための大規模言語モデル・ラボオートメーションのすすめ(草稿)

Kan Hatakeyama

(23/12/25: 情報を追加したり､表現を少し変えたりしました)

あまり使う人いないと思いますが､本記事はCC BY 4.0ライセンスです｡


本記事の趣旨

筆者の最近のマイブームである表記の件について､日本語のわかりやすい解説記事を化学系の読者向けに書いてくださいと頼まれたので､頭の整理も兼ねて､下書きを記します｡

間違いやフィードバックなどあれば､コメントをいただけると助かります｡
また､これは大規模言語モデルやラボオートメーションをやっている人が書いた記事です｡そのあたりも割り引いて読んだほうが良いかもしれません｡

はじめに

2023年3月に登場した大規模言語モデル(LLM)であるGPT-4は従来のAIとは別次元の性能に到達し､世間を騒がせている｡人間並の自律思考が可能な汎用人工知能の出現が近いと主張する研究者もいれば､「役に立たない」と熱く語る論者も少なくない｡いずれにせよ､ムーアの法則に従ってコンピュータやAIは指数関数の速度で進化する見込みなので､その存在感と性能は高まる一方である※｡

化学分野も含め､LLMやロボット技術を活用した研究成果がプレプリントとして毎日報告されている｡品質が担保された査読付き論文を読むのは有効な手立てだが､審査に数ヶ月は要するため､内容が陳腐化してしまうケースも多い(一方でChatGPT3.5から4までのリリース期間はわずか4ヶ月)｡怒涛のペースで報告される研究成果やニュースを冷静に見定め､将来を考えるには､ツボを抑えておく必要がある｡本稿では化学分野を中心に､LLMの基本性質や課題､将来展望について､筆者の周辺状況を中心に考えを記す｡

※蛇足
コンピュータが自然現象や脳の働きを模倣する能力が､年々上がってきています｡2023年は生成モデルが頭角を表しました｡
例えば､筆者が居室でパソコンに向かっている写真を一枚用意して､マウスでポチポチするだけ(こちら)で､走っている動画が自動生成されます｡
今後､コンピュータと自然の境がどんどんなくなっていくような世界観は､落合陽一さんの「デジタルネイチャー」などで提案されています｡


ChatGPTはなぜ「使えない」のか?

筆者は化学・AI系の方と話す機会が多いが､ChatGPTに対する態度は両者で全く異なる｡化学系でChatGPTを常用している割合は体感で1割程度なのに対し､AI系は10割である｡この差は､GPTに求める回答の違いに由来している｡化学屋のよくあるクレームは､「新規テーマや先端研究の相談をしたが､回答が空虚であった」というものである｡残念ながら､これらの問題は難しすぎる｡誤解を恐れず例えるならば､GPT-4の知性は「ものすごく物知りな小学生」程度に過ぎないので､プロ研究者のような回答は期待すべきでない｡更に､恐らく版権の都合でGPT-4は査読付き論文を学習できていない可能性が高いことから､先端研究の相談にも不向きといえる｡

一方でAI関係者は何にChatGPTを使うかというと､大半がITやプログラミングのよろず相談である｡Web上には無数のIT相談やプログラムコードが存在するので､それらを学習したLLMはほぼ的確な返答を瞬時に返してくれる｡また､小学生の必修科目に設定されたことから推察できるように､プログラミングの習得に必要な要素は高度な知性ではなく､繰り返しの鍛錬や知識である｡

LLM活用のロードマップ

研究者としてLLMを活用・構築してきた手応えも踏まえ､科学分野において今後LLMがどのように活用されうるかについての展望を､ロードマップとして整理した｡

LLM活用のロードマップ

筆者が自信を持って進められるGPT-4の用途は､IT相談に加えて､翻訳である｡モデルの公開直後､GPT-4の英作文の能力は､TOEIC900点超えの筆者よりも遥かに高いことに気づいた｡これまで30報以上の論文を第一著者で書いてきたが､今では「日本語で下書きを書く」→「ChatGPTに対して論文用の英語翻訳を頼む」という､超高速なスキームに切り替えた｡スペル・文法ミスを犯さず流暢な英語を生成してくれるので､査読者から「英語が下手」というクレームを受けることもなくなった｡

一連の事例をより抽象的に捉えると､現在のLLMが得意なタスクは「ルールや経験則が通用しやすい領域」に限られると解釈できる｡外国語やIT相談は知識や経験が物を言うので､GPT-4が抜群の威力を発揮する｡一方､複雑なパターン認識や学習はGPT-4でもまだ難しいので､複雑で高度思考が求められるタスクに対しては､恐らくAI側のブレイクスルーを待ったほうが良い(参考論文)｡

化学研究における現水準のLLMの聖杯の一つは､「化学実験などに関わるよろず相談」である｡経験に裏打ちされた熟練者のアドバイスや実験予測は新参者にとって極めて有益である｡こうした経験知を不可逆的にLLMへ蓄積することは､IT分野での成功を鑑みるに､不可能ではない｡
ただし､専門特化したLLMの構築は実際問題として難しいこともわかり始めている｡筆者もLLMに新たな化学知識を加える研究に着手したものの､物覚えの悪さに辟易した(参考論文)｡また､プレプリントでの成果公開が一般的なIT分野と異なり､化学系の論文は大半が版権の問題※1を抱える購読式ジャーナルなので､十分な学習データを集められない危惧がある｡そもそも化学に興味のあるAI研究者は多くない※2ので､「化学のガラパゴス化」は現実味あるシナリオとして留意すべきである｡

※1 版権の問題

※2 補足(と感想文)
例えば､日本最大(!?)のLLM組織である「LLM-jp」が掲げる異分野展開の主要ターゲットは医療・法律・教育・マルチモーダル情報・ロボット制御である(2023/12/23時点)｡
この業界の方は､化学､材料､機械､自動車などを一括りに「製造業」と呼ぶ傾向にあるが､製造業も上記のキーワードには含まれていない｡筆者も参加している当該コミュニティのSlackでも､「化学」というキーワードはほぼ出てこない｡というか､化学業界の人が殆どいない｡
誤解を恐れずに言えば､「使いやすくて素晴らしい出来の化学データセットを準備したので､学習に使ってください!!」とへりくだりながら､LLM界隈の方に頼みに行くくらいのスタンスでないと､話は進まないのではないかと個人的には思う｡

LLM研究者は学習対象として､a)好ましい市場があり､b)国際競争でアドバンテージを取ることができ､c)膨大かつ使いやすいテキストデータが存在する領域を好む｡医療は､高齢化国家・日本における数少ない成長産業の一つなので､a)を満たす｡また､ドメスティックな医療情報を扱うので､b)構築したLLMがグローバル競争で負けるリスクが低い｡c)多量の学習データをどのように集めるかについて､筆者はわからないが､準備は進んでいるとの噂を聞く｡

それに対して化学産業は､a)市場規模が大きいものの､b)国際競争が激しく(i.e., Googleに勝てるか?)､c)ドメスティックな領域でもデータを組織内で抱え込む文化が根強い｡筆者としては､オープンアクセス論文のJSONデータセット化などの地道な取り組みも行いつつ､どうやったらLLM研究者が化学・材料分野に振り向いてくれるかについて､日々悩んでいるが､妙案は思いつかない｡
(とはいえ､科学の基盤モデルを作りますと宣言される方もいらっしゃるので､そのような流れに乗っかるのは､有効な手立てであるように思う)

GPT-4の「化学者」としての実力

GPT-4が「化学者」としてどの程度の実力を持っているかについて調査した研究が報告され始めている(STAM: Methods 2023､Nature 2023など)｡筆者の検証では､GPT-4は大学院レベルの知識を有し､期末試験の問題も一応解ける(ただし単位を取れるかは微妙)という結果になった｡ChatGPTはWolframやPythonのような数式・プログラミング言語も扱えるので､物理化学や化学工学の数式問題も解ける｡一方､有機化学の問題では酸と塩基を混同するなどの初歩的な間違いも見られ､「断片的な知識しか覚えていない学生」が犯しそうな誤答を示した(下図に例)｡ただし､化学理論や法則の理解はAIが得意な「ルールや経験則が通用するタスク」に含まれるので､適切な学習環境さえ準備すれば､大半の化学者を上回る解答力を備えたLLMが得られる可能性は高い｡

ニトロキシドラジカルを合成させる際に提案スキーム｡ 「(?)」が怪しい箇所｡
有機化学を勉強した方なら､間違いに気づくかも?.

一方､研究開発において大切なのは､試験問題を解くことではなく､未知事象に対する鋭い洞察力である｡洞察力は何から生まれるか? 筆者の考えでは､「知識」と「粘り強い思考」が基本要素となる｡LLMはいかなる人類よりも多くの知識を蓄えられるので､前者についてはアドバンテージがある｡後者を行うには､AI自身が思考を繰り返す作業(エージェント化)が必要があるが､GPT-4によって「かろうじて動く」水準に達してきたレベルに過ぎない｡

一例として､化合物A+2Bが反応して物質Cが生成する模擬系を考える｡ここではCの収量を最大化するのが目的なので､A,Bの仕込み濃度を最適化する必要がある｡加えて､反応を回し続けると副生成物Dが生成する系なので､反応時間が長すぎてもいけない｡

(左上)模擬反応系における(左下)GPT並びにベイズ最適化のパフォーマンス. (右) GPT-4の思考過程

反応速度定数は未知の系である｡そのため､これは実験的な試行錯誤を重ねて理想的な反応条件を見つけるタスクである｡GPT-4に本問題を与え､実験条件を考える「司令塔」になってもらい､筆者が模擬的な「作業者」として実験を繰り返したところ､5回程度の試行で高収率が得られた｡実験条件を提案するにあたり､GPT-4は化学的にも妥当な思考を提示した｡
対照実験として､ベイズ最適化と呼ばれる､一般的な手法でも理想条件を探索したが､20回程度の試行でもGPTの結果に及ばなかった｡本手法はブラックボックス最適化とも呼ばれ､パラメータの物理的な意味を一切考慮しないので､観測データが少ない状況では実質的にランダムな試行錯誤しかできないためである｡同様の比較検討はNature 2023における分子カップリング条件の模擬探索タスクなどでもなされ､言語モデルの有効性が権威ある雑誌でも示されている｡

LLMがより人間に近い形で科学的な思考を重ね､予測提案をできるようになってきたという意味では､AIの正統な進化が成されたと解釈できる｡他方､GPT-4の推論精度はまだ甘く､思考が明後日の方向に向かうこともしばしばある｡AIエージェントをいかに賢くするかが､LLM業界のホットトピックの一つである｡

ロボット連携とラボオートメーション

ユーザーが「◯◯を合成して」と頼むだけで､「はい､わかりました」と言わんばかりに､自律的に実験を行ってくれるシステムが実現しつつある(Nature 2023)｡先述のように､LLMは1)合成プランの提示や､2)実験計画の策定が可能であり､更にはプログラミングできるので3)ロボットアームの制御コードも出力してくれる｡つまり､LLMとラボオートメーションはとても相性が良い｡

ロボット制御は実装コストが高く､モーター動作を視覚・触覚などと連携させながら高度にコントロールする必要があった｡そこで､Googleなどは画像も認識可能なLLMを構築することで､英語で話かけるだけで所定の動作を行うシステムなどを作った(RT-2)｡
今後､化学研究への展開を考えた際のボトルネックは､不器用なロボットに対して､いかに実験器具や計測装置を使わせるかであり､現場を知る化学者とAI・ロボット研究者のまじめな融合が欠かせない※｡実は実験化学者である筆者もこの取り組みに着手しており､ポリイミド前駆体の合成などに予備的に成功している｡

※補足(と感想文)
重要なのは､まじめに異分野融合することであり､化学・AI・ロボットの研究者が分かれて役割分担するタイプの共同研究は､あまりうまく行かないだろうということが､経験的には分かっている｡現場の課題とソリューションがうまく噛み合わないためである｡
詳細は以下の記事のコメント文などを参照｡

ITビジネスにおけるシステム開発のジレンマも参考になる｡

一方､ケモインフォマティクスの大御所であるトロント大のAspuru-Guzik先生のラボでは､シミュレーション､ロボット､AI､有機化学の研究者がひとつ屋根の下､研究を進めているようである｡このような異分野融合ラボとグローバル競争をするための人材戦略は､あったほうがよいかもしれない｡


さいごにーラボオートメーションのすすめー

「計画ー実験ー評価」をAIロボットが自動で繰り返す自律システムは､一部の系で既に完成しつつある(例えばこちら)｡データの生成速度が人間の理解速度を超えるという嬉しい悲鳴も耳にする｡本稿で述べたように､LLMをうまく活用すれば､ラボオートメーションの適用対象や解析精度が桁違いに向上するはずである｡将来的には自律型実験に加え､圧倒的な量の論文やテクニカルレポートをLLMが執筆し､更には査読まで行う(こちら)という､カオスな状況が生まれる※かもしれない｡

※補足
夢見事のようにも思えるが､Googleなどは､
「可能かもしれない未来の様々な問を投げかける作業に集中する」研究者を集めて諸々の企てをしているようである｡「ありうる未来」の実現に向けた具体的な道筋をまじめに考え､その実現に向けて情熱を注いでいる天才集団がいるという事実自体は､留意する価値がある｡

とはいえ､AIやデジタルの進歩は指数関数的に進むので､中長期の技術予測を述べても大半が外れる｡そこで最後の締めとして､化学者がLLMやIT業界に挑戦することの即物的なメリットを述べる｡世界時価総額ランキングTOP10のうち7社はIT企業で､LLMやロボットに注力している(そして待遇が圧倒的に良い)｡本業界には､そういう会社で働いている方々が意外といらっしゃる｡本国でもIT系スタートアップやユニコーンは優秀な人材を厚遇中で､学生インターンで時給2500円､初任給1000万円/年､社内の自販機が無料､あるいは自分でスタートアップを企業などの事例をよく見聞きする(敢えて比較すると､化学系会社の20代女性の平均年収は375万円)｡今後､数十年で伸びる分野の一つは間違いなくIT・AI分野であり､今の資本主義は情報分野を極めて高く評価している(≒お金を稼げる)ので､ここにベットする価値はある｡
一部の硬派な化学者は､ITやAIを浮ついたブーム・虚業と捉える節もあるが､資本主義国家において､ルールを守りながらお金をたくさん稼ぎ､高額納税してくれる個人や法人は「勝者」であり､大歓迎されている点は付記しておく｡
もちろん､業界で大活躍するためには､既存のシステム(大学のカリキュラムや育成プログラムなど)を受動的にこなすだけでは全く不十分で､プラスアルファを自ら会得し､提供し続けることが必要条件("Learn or Die")である｡しかしこの業界では年齢や身分に関係なく､実力や努力に応じた高い報酬を用意する環境が整っている｡LLMやラボオートメーション業界では､そういう面白い人たちと一緒に仕事をするので､自然とキャリア観が変わってくる｡ITが大好きな化学系の学生や研究者にとって､この分野への参入は､人生を変えるチャンスがあるのではないだろうか｡

(以上)

いいなと思ったら応援しよう！