マガジンのカバー画像

データ解析・統計解析

75
本
データ解析・統計解析に関する記事です。[New] 実業家としても有名な堀江貴文さん(ホリエモン)のメルマガ[Vol.359]における副業紹介において、このプログラム・コード販売・…
運営しているクリエイター
univprof

たくさんの記述子・特徴量・説明変数・入力変数の前処理・事前検討をする万能な方法はこれだ！

こんにちは！大学教員ブロガーのねこしです。http://univprof.com/ データセットがあって、たくさんの記述子 (説明変数・入力変数・特徴量) の準備が終わった状況を考えます。回帰分析やクラス分類を行うときは、さらに目的変数もありますね。 このとき、皆さんはどのように記述子の前処理をしますか？特に、どのように検討して記述子の数を減らしますか？記述子を選択しますか？ もちろん、事前には記述子の削減をせず、すべての記述子をその後の解析に用いる、という方もいらっし

¥380
univprof

見える化手法・可視化手法・低次元化手法のハイパーパラメータを最適化する万能な方法はこれだ！

見える化・可視化・低次元化手法のハイパーパラメータを最適化するのって難しいですよね。教師あり学習でしたら最適化すべき指標がいろいろとありますが、見える化・可視化・低次元化手法のような教師なし学習を行うときは、確立された指標がないため、ハイパーパラメータを決めるのが困難です。たとえば、 ■ガウシアンカーネルを使ったときのKernel Principal Component Analysis (KPCA) のガウス関数の分散σもしくはγとか http://univprof.co

¥480
univprof

データ解析によって得られた統計的なモデル(ブラックボックスモデル)の中身を解釈するという愚行

統計モデルの中身の解釈はできません、という話です。 一番簡単な例として、線形の重回帰分析を行って、その回帰係数を各変数の寄与度として解釈する人、いますよね。そんな解釈、意味ありません。 ちなみに、理論的に数式を組んでいって、物理モデルを構築した後に、いくつかフィッティングパラメータが残ってしまい、そのパラメータを統計的に最適化することもありますよね。その最適化された値さえも、実は解釈できません。 少しでも統計が入ってしまえば、すべてブラックボックスモデルになってしまうの

¥380
univprof