Huggingface Transformers 入門 (10) - 日本語の感情分析

「Huggingface Transformers」による日本語の感情分析方法をまとめました。

・Huggingface Transformers 4.1.1

前回

1. Huggingface Transformers

「Huggingface Transformers」は「自然言語理解」と「自然言語生成」の最先端の汎用アーキテクチャ（BERT、GPT-2など）と何千もの事前学習済みモデルを提供するライブラリです。

今回は以下の事前学習済みモデルを使います。

daigo/bert-base-japanese-sentiment ツキ Hugging Face

2. Huggingface Transformersのインストール

「Anaconda」でPython 3.7の仮想環境を作成して以下のコマンドを実行します。

$ pip install torch torchvision
$ pip install transformers[ja]

3. Huggingface Transformersの使い方

「Huggingface Transformers」でポジネガのスコアを取得するコードは、次のとおりです。

from transformers import pipeline, AutoModelForSequenceClassification, BertJapaneseTokenizer

# パイプラインの準備
model = AutoModelForSequenceClassification.from_pretrained('daigo/bert-base-japanese-sentiment') 
tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking')
nlp = pipeline("sentiment-analysis",model=model,tokenizer=tokenizer)

# 感情分析の実行
print(nlp("私はとっても幸せ"))
print(nlp("私はとっても不幸"))

[{'label': 'ポジティブ', 'score': 0.9420031309127808}]
[{'label': 'ネガティブ', 'score': 0.9948635101318359}]

次回

BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理 人工知能プログラミング実践入門