統計学が最強の学問である 実践編④：データを縮約するとは？因子分析とクラスター分析について

読書ノート（144日目）
年末年始の読書テーマである
「統計学が最強～」の2冊目として、
本日もこちらの本からです。

統計学が最強の学問である[実践編]――データ分析のための思想と方法

・第4章：データの背後にある「何か」
　因子分析とクラスター分析での、データの縮約

・因子分析は、イギリスの心理学者チャールズ・スピアマンにより
　最初のアイデアが生み出され、アメリカの心理学者
　ルイス・L・サーストンによって改良が加えられた
・スピアマンの1904年の論文では、古典、国語（英語）、フランス語、
　数学、音楽、音や光などへの反応テストの6つのテストの点数が
　互いに相関していることを示した
・例えば、古典とフランス語の相関はとても強く、
　音楽と反応性テストの相関はそれほど強くなかった
・そこで、これら6つのテストのスコアを使って
　一般知能g（gはgeneralの頭文字）という指標をつくった
・この一般知能gは6つのテストだけではなく、
　常識力や教師からの評価とも強い相関を示した
・知能自体は測れなくても、知能が高ければ古典を理解することも、
　外国語を理解することも、音楽を演奏することすら有利になる
・この一般知能gのように、現実的に測定できる値を背後から左右する、
　見も触れもできない何かのことを因子と呼ぶ

・因子分析での因子の数は「しっくりくるかどうか」で決まる
・因子分析においては因子数を分析者が自由に設定する事ができ、
　設定した因子数によって結果が大きく変わることもある
・例えば、国語、数学、理科、社会、英語という5科目のテストに対して、
　1因子で説明しようとすれば「一般知能（すべての科目と相関）」
　という形で表現されるだろうし、
　もし2因子での説明ならば「文系知能（国語、英語、社会と相関）」
　「理系知能（数学、理科と相関）」と表現されるだろう。
　もし3因子での説明ならば、例えば
　「言語的知能（国語・英語と相関）」、「数的知能（数学と相関）」、
　「暗記的知能（理科、社会と相関）」というように、
　2因子のときは数学と理科は同じ因子だったが、
　3因子のときは別々になるといった結果が得られることもあり得る
・各因子の名称は、分析結果を見た分析者が
　「これらを一言で表現するとどう呼ぶべきか」と名付けるもの

・クラスター分析という基本思想
・因子分析は、複数の変数をまとめ直し縮約された結果を数値で表現し、
　新たな物差しをつくること
・「この因子得点が高ければ高いほどアウトカムも高くなる」
　という関係性に注目している
・クラスター分析はお互いが全く質的に異なるグループという
　質的な変数（カテゴリー名）に縮約する分析
・注意点は、変数の単位が異なる場合は「標準化」をして
　尺度を合わせるための前処理が必要なことが多い点
・例えば、客単価と来店回数を変数とする場合、
　来店頻度の1回増加と客単価の1円増加では尺度が全然違う
・現代のクラスター分析の主流は、k-means法
・クラスター数の設定と、
　それぞれのクラスターに名前をつける作業は分析者がおこなう

・クラスター分析で、分かりやすい質的変数を得ることができれば、
　その変数を説明変数として使い、重回帰分析やロジスティック回帰を
　行うことで、縮約前よりも分かりやすい分析結果が得られるはず
・「縮約して分類できたから終わり」ではなく、そこから先の、
　「どのようなアウトカムと説明変数との関連性を発見できるか」が重要

今回はデータを縮約する
2つの方法の紹介でした。

本書の中では登場しなかった
データを縮約する手法として
「主成分分析」というものもあります。

因子分析は、各テストのスコアから
共通して影響を持つ潜在的な要因を
見つけることを目的とした手法であり、
（本書での場合は「一般知能g」等）

主成分分析は、各テストのスコアを
まとめて単純化しデータの把握を
しやすくすることを目的としている点で
異なるという理解で使い分けています。
（例えば、各テストの合計点を出し
　「総合学力」という変数を作る等）

また、
この章での最後に書かれていた

・クラスター分析で、分かりやすい質的変数を得ることができれば、
　その変数を説明変数として使い、重回帰分析やロジスティック回帰を
　行うことで、縮約前よりも分かりやすい分析結果が得られるはず
・「縮約して分類できたから終わり」ではなく、そこから先の、
　「どのようなアウトカムと説明変数との関連性を発見できるか」が重要

この言葉は、分析することを目的化せず、
「課題を解決してこそ意味がある」
という筆者の想いを強く感じました。

私自身も、数々の分析を担当させて頂く中、
クライアントや顧客の課題解決に
どれだけ貢献できたかに興味関心があり、
分析レポートを納品した後も、
機会を見つけて伺うようにしています。

これは今思い返すと、
新卒で入った事業会社で
最初の上司に何度も言われた
「我々は評論家ではなく、実務家になろう」
という教えや、
その後に転職した経営者からの
「経営者とは、一言でいえば
　『成果をあげる人』です」
という言葉が、いまでも強く心に残っており、
日々仕事をする時の一つの目標や指針や心掛けに
なっているんだろうなぁと、感謝しています。

先人から頂いた心に残る言葉を今思い返すと、
「ことある毎に何度も同じ話をしていて、
　本人がまさに有言実行していた」
ことが思い出されます。

良い上司と良い仕事に恵まれたなぁ
と自分の運の良さにも感謝しつつ…

これからの自身の仕事でも
「そもそもこれで課題解決するんだっけ？」
という初心と自問自答を忘れずに
今年もデータ分析を通じて
様々な課題解決に取り組もうと思います。

ということで今日はこの辺で！
それではまたー！😉✨