AllenNLP 入門

「AllenNLP」の使い方をまとめました。

1. AllenNLP

「AllenNLP」はPytorchベースの自然言語処理フレームワークです。

2. はじめてのAllenNLPの利用

「固有抽出表現」の予測を行います。

インストール方法は、次のとおりです。

!pip install allennlp==1.0.0 allennlp-models==1.0.0

予測方法は、次のとおりです。

from allennlp.predictors.predictor import Predictor
import allennlp_models.tagging
predictor = Predictor.from_path("https://storage.googleapis.com/allennlp-public-models/ner-model-2020.02.10.tar.gz")
predictor.predict(
  sentence="Did Uriah honestly think he could beat The Legend of Zelda in under three hours?"
)

2. 質問回答

質問回答のタスクは、次のとおりです。

・読解 : 文章に関する質問に答えるタスク。
・VQA (Visual Question Answering) : 画像の内容に関する質問に答えるタスク。

3. 文章への注釈付加

文章への注釈付加のタスクは、次のとおりです。

・固有表現抽出 : 文章内の固有表現（人、場所、組織など）を識別するタスク。
・Open IE (Open Information Extraction) : 文章から、単一の述語と任意の数の引数で構成される命題のリストを抽出。
・感情分析 : 感情分析は、入力テキスト内の感情（ポジティブまたはネガティブ）を解釈および分類するタスク。
・依存関係の解析 : 文の文法構造を分析し、「頭」の単語とそれらの頭を変更する単語との関係を確立するタスク。
・構成要素の解析 : 文章をサブフレーズまたは構成要素に分割するタスク。
・SRL (Semantic Role Labeling) : 文章の潜在的な述語項の構造を決定し、誰が誰に何をしたかなど、文の意味に関する基本的な質問に答えることができる表現を提供するタスク。

4. パッセージへの注釈付加

パッセージへの注釈付加のタスクは、次のとおりです。

・Coreference Resolution : 文章内の同じエンティティを参照するすべての式を見つけるタスク。

5. セマンティック解析

セマンティック解析のタスクは、次のとおりです。

・ WikiTables Semantic Parsing : 自然言語を機械語にマップするタスク。 
・ NLVR Semantic Parsing : 自然言語を機械語にマップするタスク。 
・Text to SQL (ATIS) : 自然言語をSQLにマップするタスク。

6. その他

その他のタスクは、次のとおりです。

・Textual Entailment : 文のペアについて、最初の文の事実が必然的に2番目の文の事実を暗示しているかどうかを予測するタスク。 
・Language Modeling : 特定の単語シーケンスが文に出現する確率を決定するタスク。
・Masked Language Modeling : 空欄を埋めるタスクであり、モデルは[MASK]トークンを囲む単語を使用して、[MASK]を予測。

BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理 人工知能プログラミング実践入門