BioGPT:biomedical分野の事前学習モデル

Makisey

この部分のコンパイル失敗・・・悲しい

pip install fastBPE
git clone https://github.com/glample/fastBPE.git
export FASTBPE=${PWD}/fastBPE
cd fastBPE
g++ -std=c++11 -pthread -O3 fastBPE/main.cc -IfastBPE -o fast

[2210.10341] BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining (arxiv.org)                          　　

自然言語分野での大きな成功に触発され，バイオメディカル分野でも事前学習済み言語モデルが注目されつつある．一般言語領域における事前学習済み言語モデルの2つの主要な枝、すなわち、BERT（およびその亜種）とGPT（およびその亜種）のうち、最初のものはBioBERTやPubMedBERTなど、生物医学領域で広く研究されてきた。これらは様々な下流バイオメディカルタスクにおいて大きな成功を収めているが、生成能力の欠如がその適用範囲を制約している。本論文では、大規模な生物医学文献で事前学習されたドメイン特化型生成Transformer言語モデルであるBioGPTを提案する。BioGPTを6つの生物医学分野の自然言語処理タスクで評価した結果、ほとんどのタスクで従来のモデルを上回る性能を示すことができた。特に、BC5CDR、KD-DTI、DDIエンドツーエンド関係抽出タスクではそれぞれ44.98%、38.42%、40.76%のF1スコアを獲得し、PubMedQAでは新記録となる78.2%の精度を達成しました。また、我々の大型モデルBioGPT-LargeはPubMedQAで81.0%の精度を達成しています。さらに、テキスト生成のケーススタディにより、生物医学用語に対して流暢な記述を生成するBioGPTの生物医学文献に対する優位性を実証しています。コードはこのhttpsのURLから入手可能です。

Translated with DeepL

BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining
https://download.arxiv.org/pdf/2210.10341v2.pdf

ChatGPT先生に聞いてみた

how to install BioGPT by Docker
Here is a step by step guide to install BioGPT using Docker:

  1. Install Docker on your Mac by following the instructions on the official Docker website.

  2. Pull the BioGPT Docker image from Docker Hub:

bashCopy codedocker pull biogpt/biogpt

  1. Start a Docker container from the image:

cssCopy codedocker run -it --name biogpt -p 8888:8888 biogpt/biogpt

  1. Access the BioGPT Jupyter Notebook by opening a web browser and navigating to http://localhost:8888.

  2. Use the Jupyter Notebook to access and use the BioGPT models.

Note: You may need to replace localhost with the IP address of your Docker host if you are running Docker on a remote machine.
I hope this helps!


この記事が気に入ったらサポートをしてみませんか？