GCPでAPI叩いたり、Pythonでコード打つの面倒なので「ひょっとしてGoogleのLLMなら、GCPのNLPと似たような処理してくれるのでは?」と思い立って、試してみた結果を報告。
まず、「自然言語処理にはどのような分類があるのか?」をざっくりリストアップし、概要を把握。
以下、Bardの回答。
次に、GCPのNLPで提供されている機能と、上記回答の処理が同様のものかすり合わせ。
なお、GCPのNLPが「なんのこっちゃ?」という方は、以下参照。ぼくもよくわからない。
次に「Bard」で自然言語処理ができるか質問。
(LLM自体が広義で自然言語処理に含まれるので、この質問自体は厳密には「プログラミングコードのようにLLMでも自然言語処理できますか?」とするべきであった)
自然言語処理ができるらしいので、途中、フォロワーからリプで教えてもらった「トークン分解」というのを試してみた。
よくわからないけど sentence を抽出して助詞は削ってくれるらしい。
トークン分解したら「トークンの出現回数の計測」「CSV化」あたりもできるっぽ。(ただ計測回数間違ってるので、この辺りはプログラミング処理しないと信用できないところはLLMのランダム性のせいか…)
ついでに「形態素解析」も試してみたが、問題なくできる模様。
日本語のお勉強に役に立ちそうですね。
次は「エンティティ分析」
抽出した単語をカテゴライズ(分類)したいので、キーワードマッピングの指示。(ここで「キーワードマッピング」は適切な指示ではなかったかも→定義や処理が曖昧な用語のため)
再度、「単語を分類化してください」で、キーワードを分類して要素を整理していく。
ここでの分類は微妙なので、自分で分類を指定したり、ランダム回答ガチャを回していい物を探すなど、工夫が必要かも。
次に「構文解析」を実行。小泉構文を解析。
小泉構文に代表されるような「含みのある曖昧な物言い」は、こと言質取り対策が重要な政治家においては、往々にして行われるものだが、どうにも、かような含みのある物言いの意図や背景を読もうとされない方々は多い。
そういった「日本語の読めない」方々には、LLMで構文解析を用い、日本語の「解釈」を実行させれば、多少は読解力に関する問題はマシになると、可能性を感じさせる。
最後に「感情分析」を実行。
なお、感情分析に関しては、過去、PythonでDiscordBOTを手探りで作って挙動は確認済みで、この頃より「テキストが与える感情的なイメージを定量スコアで計測したい」という試みはあった。
というわけで、Bardで感情分析ができるか、検証。
ついでに、有名な小説の出だし文も感情分析。(障害→生涯 の誤字)
総評
(一部の読解力が低いor感受性の)人間よりも、LLMの方が「構文解析」や「感情分析」でしっかり文章の意図や背景を解釈してくれたり、文章に込められた感情を理解してくれるので、コミュニケーション相手としては非常にありがたい存在である。
また、読解力の著しく低い人間や、自分の感情や考えを文字にできない方々は、自然言語処理を学びLLMを有効活用できるようなるよう、リスキリング(学び直し)するべきであると、内閣府や国民に対し、今後も強く訴えていきたい。