医療系大規模言語モデル(BioGPT,GatorTron,Med-PaLM)

はじめに

ChatGPTが登場以来、大規模言語モデルが大変注目を集めるようになってきました。ここでは、医療・バイオ系の分野特化した大規模言語モデルついて紹介したいと思います。

 医療系大規模言語モデルとは、その名の通りですが、電子カルテ、医学文献、臨床ガイドラインなどの医療データに対して特別に訓練された大量のパラメータ（億単位以上）を持つ大規模言語モデルです。

 ここでは比較的最近発表された医療系大規模言語モデルである、GatorTron、BioGPT、Med-PaLMを紹介します。

 BioGPTは、Microsoft社で開発されており、パラメータ数は3億5500万（拡張版は、15億パラメータ）のモデルです。訓練されたモデルは、公開されており使用することができます。
こちらはHuggingFaceのLibraryからりようできます。

 GatorTronはNvidia社で開発された3億4500万個(拡張版は、89億パラメータ)のパラメータを持つモデルです。こちらもモデルが公開されております。
GatorTronダウンロード先

最後にMed-PaLMですがこちらはGoogle/DeepMindで開発されたモデルで、パラメータ数はなんと5400億となっています。。

しかしこちらのモデルは公開されておらず、利用できないようです。。残念。。 

参考情報

GatorTron

• GatorTron-OG

• A large language model for electronic health records

BioGPT

• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining

Med-PaLM

• Large Language Models Encode Clinical Knowledge