[大規模言語モデル・ロボット・化学研究] 2023年の個人的な振り返りと来年にやりたいこと

Kan Hatakeyama

はじめに

2023年もそろそろ終わりなので､今年に行った活動や思ったことなどを振り返ります｡


カレンダー

まずは月単位で活動を振り返ります｡こちらは感想文なので､技術的に有益な情報は少ないかもしれません｡

1月
このときは早稲田にいました｡
年末年始にかけて､Chemical Reviewsの総説を書いていて､辛かった記憶があります｡(著者は自分+教授の合計2名のみなので…)

Redox: Organic Robust Radicals and Their Polymers for Energy Conversion/Storage Devices

レドックス活性を持つ安定ラジカルのレビューです(いくらか説明が難しい分野です)｡
50ページ以上の文章を､GPT無しで書くという修行でした｡
ジャーナルのインパクトファクターは72だそうです｡

2月
賃貸契約の関係で､一足先に東工大の周辺に引っ越しました｡早稲田での仕事を終わらせていったような気がします｡
それ以外の記憶はあまりありません｡


3月
inviteだかなんだかの関係で､突貫で論文を書いた記憶が蘇ってきました｡
量子アニーリングと高分子を絡めた内容です｡

この頃から､少しずつDutyが無くなったので､「遊び」の時間が生まれました｡

Stable diffusion､ChatGPT､Midjourneyなどの生成AIを触り始めたのもこのタイミングです｡
(ChatGPT3.5は22年秋の発表でしたが､目先の仕事が忙しすぎて､見向きする余裕がありませんでした)

結局､早稲田には高校の附属校(3年)ー学部(4年)ー修士(2年)ー博士(3年)ー教員(5年)の合計17年間いました｡(エスカレーター式の高校に入ったと思ったら…)

今も昔も任期付き教員をやっております｡
任期付きはネガティブに語られることが多いですが､変化の激しい時代において､任期付き特有の身軽さや環境リセットのしやすさは､実は利点かもしれない､という境地に至りつつあります(もちろん､人材市場を意識したキャリア設計は必要です)｡

一般論としては､きりの良いタイミングで所属を変えていくことを個人的にはオススメします｡多様性のある経験や人脈は重要なので｡


4月
東工大に移りました｡
高分子合成の研究室の助教ですが､かなり自由にやってOK､という大変ありがたい環境なので､本当に自由に活動しております(研究室とのシナジーを出すべく､高分子の自動合成などにも取り組んでいます)｡

XとNoteも始めました｡

GPT-4が出てきたタイミングだったので､大変熱中しました｡
あのときは頭の中がぐるぐるしていました｡

色々と触るにつれ､GPT-4の課題みたいなのも見えてきたので､そこから本格研究をスタート､という感じでしょうか｡

蛇足
韓国の高分子学会に招待して頂いたので､大田に行きました｡この国の科学政策は選択と集中が厳しく､しかも数年ごとにテーマが切り替わるので､大変とこぼしていた方がいらっしゃいました｡たとえば今年はポスターセッションのテーマの半分以上が二次電池や有機エレクトロニクスでした(時間帯の問題?)｡

5月
研究をプレプリントに纏めたりしました｡論文公開されたのは秋頃です｡

2つ目の論文がpublishされたときは､日経新聞などにも取り上げて貰いました｡

IT系の集まりにも顔を出してみました｡
化学分野の人間にとって､メルカリ本社内の自販機が無料だったのが衝撃的でした｡

蛇足
この時期に某科研費の申請書も書きましたが､書類選考落ちでした｡
筆者の知名度と論文レベルが足りなかったことに加え､AI・ロボットが好きではない(恐らくは生粋の化学・物理・材料系などの)匿名審査員のウケが悪かったのだと分析しています｡
審査員の顔が見えて､かつAI・ロボットに理解があるグラントを狙う戦略も交えた方が良さそうです｡

6月
色々と顔を出しました｡関連分野のお友達ができて､楽しかったです｡

ロボット・基盤モデル関連

ラボラトリーオートメーション(バイオ系)

7月

MetaからLLama2が出ました｡
ちょうど時間があったので､リアルタイムで触ることができました｡恐らく､日本最速でセットアップとファインチューニングの記事を書きました｡

8月

人工知能学会のNLP若手会でポスター発表しました｡人工知能学会デビューです｡

松尾研のLLMサマースクールにも参加しました｡

コンペがあり､たまたま3位になりました｡

この関係で新しいネットワークができたのも良かったです｡

9-10月
多分､ロボットや追加学習などの研究をしていました｡

11月
5､6件ほど､講演した記憶があります｡授業も忙しかったので､研究進捗はボチボチでした｡
「カレンダーの空き」=「 研究をする時間」であって､暇な時間ではないということを再自覚しました｡何をやらないかも大事｡

12月
Llama2に科学論文を読ませる研究のpreprintを出しました｡

従来の機械学習手法と大規模言語モデルをつなげる研究も始まりつつあります｡

ロボットも色々といじったので､なんとなく､「ロボットの気持ち」がわかるようになってきました｡

Discordサーバーも立ち上げました｡今は60-70名程度

今年ヒットした記事

NoteやXで発信するメリットの一つは､世間(正確にはネット)の関心がどこにあるのか､フィードバックを得やすい点です｡
研究を進めていると､わりと価値観が独りよがりになってしまうので､奇譚のないフィードバックは有用です｡

たとえば､Noteで閲覧数が多かった記事は以下の通り｡

閲覧数が少なかった記事は以下の通り｡

一目瞭然ながら､
世間(ネット)の最大の関心は､大規模言語モデルでした｡
ラボラトリーオートメーション/ロボット実験関連に興味のある方は少ないようです｡

関連人口を鑑みるに､至極真っ当な結果なんですが､実際に可視化されてみると､色々と考えさせられます｡
(閲覧数が最大のllama2関連の記事は､インパクト?があった一方で､既に内容は陳腐化しつつある､など｡ )

来年に目指すこと

上記を踏まえ､来年にやりたいことリストです｡
(※明日には心変わりしているかもしれませんので注意)

科学系の(大規模)言語モデルを作る

客観的に見ると､筆者の最大の市場価値は化学・材料系のバックグラウンドを持ちつつも､「大規模言語モデルのスキルと経験が相対的に高い」ことにあるので､ここを攻めていきたいと思います｡
諸々の計算環境が整ってきたことから､来年は言語モデルの構築に挑戦したい所存です｡
ノウハウを貯めるととも､科学系のオープンデータセット構築の流れを作っていきたいです｡

化学・ロボット系の組織展開をはかる

大規模言語モデルと異なり､実地での作業が伴うロボット実験は､わりとマンパワーが必要だと痛感しました｡自分の能力的を踏まえても､一人でできることは少ない上､組織展開している同業者との総力戦では分が悪いので､策を練る必要があります｡

化学系に範囲を絞ると､AIとロボットができる人材が激レアになってしまうジレンマがあります｡
一方､東工大はロボットや情報が得意な学生はたくさんいるはずです｡
本国の教育システムは､異分野間の人材の流動性が少ないので､逆にこの制度のスキマを突けば､頭一つ飛び出ることになります｡そこで､学部に囚われない組織展開をすべく､諸々挑戦したいです(ここに宣言)｡


日米での教育システムの違い

大金持ちになるためのスタートアップの起業も頭の片隅に入れてますが､ちょっと保留中です｡

以上､来年もよろしくお願いします｡


この記事が気に入ったらサポートをしてみませんか？