なぜ「ワードクラウドで分析しました」は良くないのか

以前の記事で「ワードクラウドはアイキャッチとしては優秀なものの、本格的な解析や発見を得るのには向いてない」と書きました。一方、最近立て続けに新聞各社が「ワードクラウド（AI）で分析」という記事を出していたのが気になっています。

ワードクラウドとは

以前の記事で紹介したように、下記のような可視化手法を一般的にワードクラウドと言います。入力した文章を単語に分解して、出現頻度が多い単語などを強調（フォントを大きく）して一つの画像上にパズルのように配置していく技法です。

ワードクラウドの例

ワードクラウドを使う利点

この手法を使う利点として、とてもキャッチーでわかりやすいという点が挙げられます。上の例で言うと、見た瞬間に「時間」「飲む」「ミルク」といったワードが目に入りますね。ああ、こういう内容が語られていたんだなというのが一発でわかります。見る側にとって情報量が絞られるのでストレスが少ないのが大きなメリットになります。

では、なぜ「ワードクラウドを使って分析する」のが良くないのか。

ワードクラウドの弊害

その１：読み取れる情報が少ない

まず、ワードクラウドの1枚絵から読み取れる情報がとても少ないです。上に示した例だと、「時間」などのワードがよく使われていたことはわかりますが、言ってしまえばそれだけです。ほとんどのワードクラウド表現において、配置や色、フォント等に意味はないので、よく使われていた単語がいくつかわかるだけ、というのが実態です。

その２：文脈がわからない

ワードクラウドはあくまで単語レベルで可視化するので、その単語がどういう文脈で語られていたかがわかりません。例えば上記の例で「時間」という単語がどう使われていたのか、「時間が足りない」というネガティブな文脈なのか「有意義な時間」といったポジティブな文脈なのかが全く不明であり、その語句だけで分析を試みるとミスリードになりかねず危険です。

その３：希少意見が無視される

さらに、単語を出現頻度などに応じて強調するため「あまり目立たないけど実は重要な語句」が無視されます。例えばSNSで多数の意見を募った結果をワードクラウドで分析すると、誰もが口にするような語句が強調されて、少数派だが重要な意見は無視される結果になりかねません。この対処法として単語の特徴量を加味するケースもありますが、可視化の結果として拾われるのはやはり上位数単語のみであり、その他の単語は注目されません。これは分析において大きな損失です。

その４：結局「So what?」となる

つまるところこれに尽きます。読み取れる情報の少なさ、文脈がわからないなど、「この単語がよく使われていた」以上のことを読み取ることが難しいので、それ以上の分析ができないのです。元の文章を読まずに無理に解釈するとミスリードに繋がるので、結局は元の文章をじっくり読むことに帰着します。ワードクラウドだけだと「まあそうだけど、で？」で終わってしまいます。

ワードクラウドはどう使うべきか

あくまで私の個人的意見ではありますが、ワードクラウドはアイキャッチとして割り切って使うべきだと思います。分析手法としては有用ではないと考えています。長い文章への入口としてワードクラウドがあれば、読者は「これからこういうワードが出てくるんだな」という心構えができるので、そのような使い方であれば効果的です。
または、以前の私の記事のように自身の記録をメタ的に振り返るには面白いと思いました。
一方、他人の発言や不特定多数の意見を分析しようとするなら、分析者はきちんと文脈を確認した上で単語以外の観点も含めて考察する必要があるでしょう。そうなると結果的に「ワードクラウドで分析した」という話ではなくなります。

新聞社によるワードクラウド利用例

今回こんなことを書いたのは、新聞各社が特に政治系の話題に関してワードクラウドを利用するケースを見かけたのがきっかけでした。

自民総裁選、4氏は何を訴えたか　演説のことば分析（日本経済新聞）
「分配」12回「成長」15回…所信表明の特徴を「見える化」で分析（朝日新聞）
AIが分析　西銘氏と金城氏の第一声は何をアピール？（琉球新報）

新聞社のワードクラウド利用例

上記のように、「分析」という語句が使われています。「AIが分析」という見出しもありますが、ワードクラウドはAIではないと思います。

まとめ

ワードクラウドはアイキャッチとして優秀なため、新聞記事などの文章の入口・導入部として使うのは効果的だと思います。
ただし、今回紹介した事例の内容を「ワードクラウド（AI）を使った分析」と謳ってしまうと語弊があると考えています。
ワードクラウドという手法のメリット・デメリットを捉えながら、うまく活用していきたいですね。