見出し画像
Photo by go_mitarai

データサイエンス勉強記録2023①（6/7）

こーし

どうも。こんにちは。
ケミカルエンジニアのこーしです。

本日は、久々にデータサイエンス勉強記録を書いていきます。

データサイエンス勉強方針（２０２３年）

今年度の勉強方針は前noteでまとめています。

要約すると、今年の勉強方針は下記4点です。

  1. 統計検定１級　合格

  2. ソフトセンサー

  3. 異常検知

  4. pythonでダッシュボード作成（Dash、plotly）

７月以降は統計検定１級対策に注力したいので、６月まではpythonとソフトセンサーの勉強を進めています。

２０２３年１月〜６月までにやったこと

２０２３年３月くらいまでは「数理統計学」の勉強をしていましたが、実務の勉強がしたくなったので、ソフトセンサーやpython関係の本を読んでました。

読んだ教科書は下記の通りです。

１．数理統計学（黒木学著）
２．現代数理統計学（竹村著）→途中で中断
３．ソフトセンサー入門（２周目）
４．化学のためのPythonによるデータ解析・機械学習入門（２周目）
５．実践データサイエンス
６．Pythonで学ぶ実験計画法入門→勉強中

船津先生と金子先生の「ソフトセンサー入門」でソフトセンサーの理論的な部分を掴み、金子先生の「化学のためのPythonによるデータ解析・機械学習入門」と「実践データサイエンス」でpythonによる実装方法を学びました。

理論的な部分の深掘りは必要ですが、上記３冊を読めばソフトセンサー・異常検知の実装が可能になります。

そのくらい丁寧な解説とpythonコード例が充実しています。

ソフトセンサー入門

とても勉強になったので、概要をブログにまとめました。
ソフトセンサーの役割や利用例、また作成時の注意点について書かれていました。


化学のためのPythonによるデータ解析・機械学習入門

Pythonの基礎からデータ解析の実践まで広く扱っており、かつPythonコード例が豊富で、この１冊だけでも実務に応用できると思います。

  • Pythonの基礎

  • データの可視化（ヒストグラム、散布図、PCA、ｔ−SNE）

  • 回帰分析（PLS、SVR）

  • クラス分類（k-NN、SVM、DT、RF）

  • モデルの適用範囲（ｋ−NN、OCSVM）

  • 時系列データ解析の実践（ソフトセンサー、異常検出・異常診断）

データ解析の基本的な流れが身につきましたし、PCAやt-SNEを使った多次元データの可視化（次元削減）やOCSVMで「異常検出」し、RFでどの変数が異常に寄与しているのか診断することもできるようになりました。

実践データサイエンス

著者曰く「中級者向けに書かれた本」でして、Pythonが理解できる前提で書かれています。

初級向け：化学のためのPythonによるデータ解析・機械学習入門
中級向け：実践データサイエンス

  • データの前処理（平滑化、外れ値検出など）

  • 特徴量選択（GA、GAWLS、GAVDS、Boruta）

  • クラスタリング（GMM）

  • モデルの検証

  • モデルの適用範囲（AD）

  • ベイズ最適化（GPR）

  • モデルの逆解析

色々と学びが多かったですが、特に下記は印象に残りました。

  1. 特徴量選択では、特徴量選択に用いたデータに過学習した特徴量が選択されやすいこと。

  2. モデルの予測精度（RMSEやMAE）とモデルの適用範囲はセットで考えなくてはいけないこと。

  3. サンプル数を増やすとモデルの適用範囲が広がること。

  4. ベイズ最適化を用いたモデルの逆解析

今後の勉強

理論的な部分の深掘りとして、今後下記の内容を学べたら良いなと考えています。

  • ガウス過程回帰：回帰分析、ベイズ最適化

  • LightGBM：回帰分析

  • SHAP：モデル検証（変数重要度）

  • Boruta：特徴量（変数）選択

  • PLS-VIP：特徴量（変数）選択

  • LiNGAM：因果分析

また、７月からは統計検定１級対策も始めないといけないですね。
下記の書籍を勉強していきたいと思ってます！

  1. 現代数理統計学の基礎（久保川著）

  2. 統計検定１級過去問（2019〜2022）

  3. 統計検定１級過去問（2018,2019）

  4. 統計検定１級過去問（2016,2017）

【参考】関連ツイート


この記事が気に入ったらサポートをしてみませんか？