データ解析について(徒然なるままに）

データ解析やシステム開発について、思いつくままに書いてみよう。
データ解析と言えば、粗鋼生産量の予定量が与えられ、その時の名古屋製鉄所の電力必要量を推定するために単回帰予測式を予め求めることを常日頃実施していた。それ以外に重回帰分析によって重回帰予測式も実績データから求めたりしていた。製鉄所で得られるデータ(主に生産量)を重回帰分析式に放り込んで重回帰予測式を作ると、結構、意味不明な予測式が出来上がり、上長に説明する時に四苦八苦していた記憶があった。そのために統計学の勉強をせざるを得なかった。統計データ処理に関する資格もあったが、資格取得に割ける時間的余裕もなかった。
今、『因果推論の科学　「何故？」の問いにどうこたえるか』と言う本(約600ページ)に取り組んでいるが冒頭の部分で、私の疑問に応えてくれるくだりがあった。
以前取り組んでいたのは複数のデータをグラフにプロットし、その分布から相関関係を見出す。Aと言う変数が増加すると、Ｂと言う変数が増加(減少）することからAとＢの間に正相関(負の相関）関係にあると結論付ける。
これはA値が大きくなると、Ｂの値が大きくなる理由(根拠)を指し示している訳ではないとこの本は断じている。Aの値が大きくなる現象(原因）がＢの値を大きくさせる現象(結果)のメカニズムを解明しなければ、丁半博打と同じではないか？　丁半博打(ギャンブル)も数学的解析でさいころの一の目が出る確率も明らかにされている。
今、話題沸騰中のＡＩについて「なぜそのような結論を導き出したのか明確に答えてくれない」と言う困った評価もある。膨大なデータを機械的に解析してロジック(結果)を生み出しており、人間の方がギブアップすると思われます。今は想像以上の結果を生み出しており、挙げ足を取るような真似をする愚者はいないでしょう。ＡＩという冠を頂けば、ボンクラで強欲な政治家、企業経営者はホイホイと金を出す傾向にあるので。
1985年頃、大規模な要員合理化(首切り)が流行り、ベテラン技能職から首切りを進めた。その人達が長年培って来た技能や経験を屑籠に捨てることに躊躇した中間管理職は役に立たない免罪符(エキスパートシステム≒人工知能)を準備した。
エキスパートシステムは優れた医者が的確な判断をするメカニズムをヒアリングして、ヒアリング結果と判断(診断)から優秀なる診断ロジックを創り出すと言う触れ込みでした。大誤算は質問者の力量が低すぎて、質問が歯抜けであったことと、医者の暗黙知をピックアップできなかったことです。