テキストマイニングを活用するには？

不確かな世の中で、先が見えなくなると
急に世の中が暗くなり、更には国民の不安が
高ぶるにつれて情報をすべて出してくれ！
というようになってきます。

これは、新型コロナに限ったことではなく、
歴史的に見てもペスト、天然痘、結核、コレラが
流行した時もそうでした。

普段から、情報を各方面から仕入れて
自分で判断する力を養う必要があります。

情報は、加工する前から分析ができると
更に仮説を立てることも可能で安心感が
増えてきます。

例えば、新型コロナの件で言えば、
韓国出身で九州大学の学生が考案した
新型コロナウイルス感染者地図が
日本で好評を得ています。
（出典：大学生が考案した「新型コロナウイルスの事例マップ」）
https://www.coromap.info/

は、情報をまとめて地図上にまとめて時系列
にしています。

優秀な学生さんが作成をしています。

今回は、情報をまとめる前の元ネタから
分析する方法をお伝えします。

それは、テキストマイニングです。

あなたは、このテキストマイニング
という言葉を知っていますか？

テキストマイニングとは、
文章のテキストを対象としたデータマイニングのことです。

使い方は簡単です。
自社サービスについて、アンケートを実施したものの、
どのように集計すればいいのかわからない？

SNSでつぶやかれている内容を
どうやって分析しよう？

などで困ったことはありませんか？

実は、テキストマイニングを使用することによって、
SNSやアンケートなど大量のデータの中から、
大切な情報を抽出できるのです。

もちろん、勝手に浮かび上がってくることは
ないですよ！
魔法のルーペではないので！

今回は、そんな便利なテキストマイニングについて、
そもそもテキストマイニングとは何なのか？

についてお話しをします。

その前に「マイニング」という意味を
ざっくりイメージして
理解して頂く必要があります。

統計学や人工知能といったデータ解析の
技術を利用して大量のデータを分析します。

その上で規則性のある情報を
取り出す技術のことです。

例えば、
「私は東京都に住んでいます。」という文章が
あったとします。

単語処理によって
私/は/横浜/市/に/住んで/います。

というように区切ります。

そして、テキストマイニングでは、
分解したキーワードから、
・出現頻度
・出現傾向
・タイミング

などを分析して
仮説に基づいて有用な情報を取り出すのです。

では、ビジネスにおいて
テキストマイニングは具体的に、
どのようなことに活用されているのでしょうか？

ネットプロモーションでは、
ユーザーや顧客の声の詳細を拾うために、

TwitterのつぶやきやFacebookに
書き込まれた文章の内容を
テキストマイニングし分析することがあります。

企業が販売している商品に対しての嘘がないステマ
ではない感想を拾い上げることができます。

テキストマイニングは、
はじめに辞書を使用して自然に使う言葉に置き換える処理をします。

その処理は、
・形態素解析
・構文解析
・意味解析
・文脈解析
の順番でおこないます。
※これ以降は専門的なのでスルーします。

文の単位で構造や意味がわかったあとで、
データマイニングを使用して

新しい知識や情報を取り出すことを
していきます。

企業が販売した商品を実際に使用した人が
ネガティブ、もしくはポジティブと

いったどのような「感情」を
持ったのか評価を分析する手法です。

この感情面から行動を仮説する
チカラが重要です。

SNSなどに書かれる書き込みの内容に
センチメント分析を使用し、
肯定的・中立・否定的
の3パターンに分けるのが主な使い方です。

しかし、女子高校生が使う
「やばい」といった書き込みは、
年代によって、プラスにもマイナス
にもなります。

最後に私が良く使う
テキストマイニングは、
主成分分析を使います。

主成分分析とは、簡単にお伝えしますと
ビックデータのようにデータ変数項目が
沢山あった場合、データを活用しやすくするために、
可能な限り変数を少なくする手法です。

この技術のことは次元の縮約と呼ばれています。

主成分分析のメリットは、
ビッグデータなど大量のデータで
あっても見やすくなり、分析しやすくなる点です。