GPTとロボットアームを活用したピペット操作の自動化

※筆者の主観と独断に基づくpromptからGPT-4が自動生成した記事です。不正確な内容が多々含まれる可能性があるので、ご了承ください。

本文

先の記事で触れたように、GPTを使って自然言語でロボットアームを操作する取り組みが進められています。その中で今回は、GPTとロボットアームを使ってピペット操作を自動化するプロジェクトを紹介します。

まず、GPTの特徴として自然言語からプログラミング言語を出力できる点が挙げられます。しかし、現状ではプログラミング知識が必要であり、例えばドイツ語が分からない人が自動翻訳だけで快適にドイツに住むことができるかという問題と同様です。

このプロジェクトでは、GPTにロボットアームのxyz座標を制御するコマンドだけを覚えさせ、自然言語で曖昧な指示を出しても妥当な応答をしてもらいます。制約条件として、「アームの移動時は上に上げておく」や「ピペッターには1mlしか入れられない」といった指示を与えます。具体的な動作は以下のtweetに動画があります。

https://twitter.com/kanhatakeyama/status/1642078458766594056

この例では、「試薬を容器AからBへ3mL移動して」という指示に対して、GPTがアームの動作を自動的に生成し、人間が無意識に行っている手順を再現しています。これまで、このような動作をすべて人間がプログラムコードに落とし込む必要がありましたが、GPTの登場によって「試薬を移動して」と言うだけで済むようになりました。

今後の展望としては、フラスコの振り方なども適切に教えてあげれば、「○○を合成して」と言うだけで実際に作業してくれるAI・ロボットシステムの構築が可能となります。GPT-4の登場により、このようなシステムがSFの話ではなく技術的課題に落とし込まれました。

ただし、OpenAIはAIの開発に特化しており、ロボットアームのための「バリアフリー」な化学実験装置を作る必要があります

参考:　prompt

以下の筆者のメモを技術系のテイストのblog記事に纏めてください。ですます調で。ロジックの抜け・飛躍、そして未定義の専門用語が多くあるので、懇切丁寧に補足してください。メモの内容は網羅してください

topic: GPTとロボットアームでピペットを動かす話

背景:　こちらの記事を参照
https://note.com/kan_hatakeyama/n/nada3a3e7fa95

AIの背景:　GPTのすごいところは、自然言語からプログラミング言語を出力できる点。しかも、指示がかなり曖昧でもOK。ただし注意点は、現状ではプログラミング知識は必須。ドイツ語が分からない人が、自動翻訳だけでドイツに快適に住み続けられるかという問題と同じ

何がすごいか:　
GPTには、ロボットアームのxyz座標を制御するコマンドだけを覚えさせる。
また、制約条件として、

1. アームの移動時は(ものがぶつからないように)　上に上げておいて、と自然言語で指示
   2.ピペッターには1mlしか入れられない　と指示
   その上で、自然言語で曖昧な指示を出しても、妥当な応答をしてくれる。
   以下のtweetに動画
   https://twitter.com/kanhatakeyama/status/1642078458766594056

・GPTが勝手に考えてくれたこと(人間が無意識に行うこと)
指示:　試薬を容器AからBへ3mL移動して
1.　アームを容器Aの上に移動する
2.　試薬を吸うために、アームを下げる
3.　試薬を吸う
4. 制約条件に従い、アームを上げる
5.　アームを容器Bの上に移動する
6.　アームを下げる
7.　試薬を出す
8. ピペットには1 mLしか入れられず、3mL移動したいので、1-7を残り2回、繰り返す

これまでは1-8を全て人間がプログラムコードに起こす必要があり、とても面倒だったんですが、「試薬を移動して」と言うだけでOKになった点が衝撃です

・今後の展望
フラスコの振り方etcもきちんと教えてあげれば、
「○○を合成して」と言うだけで、実際に作業してくれるAI・ロボットシステムを作れることになります。GPT-4の出現により、それがSFの話ではなく技術的課題に落とし込まれました

・TODO
残念ながらOpenAIはAIしか作ってくれないので、ロボットアームのための、「バリアフリー」な化学実験装置を、化学者側が作っていく必要があります

・おまけ
音声認識ソフトを使うことで、会話ベースの指示も可能に。
https://twitter.com/kanhatakeyama/status/1642083087789211653