Kai.lazykoala

オーストラリアの海と怠惰なコアラが好き🐨 ヤンキー地域で育ったのでヤンキーでもわかるよ…

Kai.lazykoala

オーストラリアの海と怠惰なコアラが好き🐨 ヤンキー地域で育ったのでヤンキーでもわかるよう統計学解説してます 2022年10月にデータサイエンティストに転職 → 2022年11月 統計検定2級取得 → 2023年1月 統計検定準1級取得 → keep going on....

マガジン

  • 統計検定準1級 ②統計的推測

    統計検定準1級「統計的推測」の解説マガジン。ワークブックの8章から13章をそれぞれ解説

  • 統計検定準1級 ①確率と確率分布

    統計検定準1級「確率と確率分布」の解説マガジン。ワークブックの1章から7章をそれぞれ解説

記事一覧

プロでも間違えやすい仮説検定のツボ (A/BテストからベイジアンA/Bテストへの誘い)

IT企業でA/Bテストをやっていると 有意水準が5%だと帰無仮説が正しい確率は95%! (有意水準自体が帰無仮説が正しいときという前提なので🙅‍♂️) 有意差がないから…

Kai.lazykoala
7時間前

【Mac】Google Colab + poetryを用いた仮想環境構築

はじめに以前はCursorの仮想環境構築について簡単にまとめたが、深層学習用にGPUが欲しくなったのでGoogle Colabでの環境構築も始めた ディレクトリ構造Google Driveをマ…

Kai.lazykoala
5日前

【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

はじめに最近仕事でjsonやyamlファイルを編集する時間が増えたので テキストエディタをJupyter Labから話題のCursorに切り替えようと思ったが 仮想環境構築について簡単に…

Kai.lazykoala
2か月前
7

丸暗記しない検定統計量の作り方

この記事の目的統計学を勉強しているとみんなぶち当たる検定統計量 検定統計量は代表的なものでも下記のようにたくさんあり とても暗記だけでは乗り切れない (というか覚…

Kai.lazykoala
3か月前
5

母分散の検定の検定統計量の証明

はじめに母分散の検定の検定統計量は$${s}$$を不偏分散とすると $$ \begin{aligned} V &= \frac{(n - 1) s^2}{\sigma^2} \\{}\\ & = \frac{\sum_{i} (X_i - \bar{X})^2}…

Kai.lazykoala
3か月前
2

母比率の検定の検定統計量の証明

はじめに母比率の検定の検定統計量は $$ \begin{aligned} Z = \frac{\hat{p} - p}{\sqrt{\frac{p(1 - p)}{n}}} \end{aligned} $$ と表される なんでこんな形になるか証…

Kai.lazykoala
3か月前
2

統計準1級 第10章 検定の基礎と検定法の導出 解説

検定の過誤帰無仮説$${H_0}$$、対立仮説$${H_1}$$がそれぞれ正しいときの分布を描画して考える 第1種の過誤 有意差がないのにあるといってしまう確率、つまり仮説検定に…

Kai.lazykoala
3か月前
1

統計準1級 第3章 分布の特性値 解説

確率分布の特性値最頻値・中央値・期待値(平均値) 期待値は標本内の数値に依存しているので サンプル内外れ値の影響を大きく受けやすい 対して、最頻値・中央値は標本…

Kai.lazykoala
3か月前

統計準1級 第6章 連続型分布と標本分布 解説

連続型分布連続型確率分布はストーリーを考えながら理解すると早い 離散型連続型で頻出の確率分布は下記の記事にまとめられているので適宜参考にされたい 今回取り上げる…

Kai.lazykoala
3か月前

統計準1級 第13章 ノンパラメトリック法 解説

本章で扱うもの一般的に検定は以下のようなものがある この章では、太字に記載している正規分布に関する検定を解説していく パラメトリック検定 正規分布に関する検定(1…

Kai.lazykoala
3か月前
1

統計準1級 第11章 正規分布に関する検定 解説

はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照 この章で扱うもの一般的に検定は以下のようなものがある この章では、太字に記載している正…

Kai.lazykoala
3か月前
4

統計準1級 第12章 一般の分布に関する検定法 解説

はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照 https://note.com/outlifest/n/ne304cd16af63 この章で扱うものこの章で扱う検定は正規分…

Kai.lazykoala
3か月前
1

尤度比検定 入門

尤度比検定とは尤度比検定とは帰無仮説とそうでない一般の場合(対立仮説) の尤度の比$${L}$$を計算し この尤度比$${L}$$を 対数の2倍の値を計算し$${\chi^2}$$検定統計…

Kai.lazykoala
4か月前
2

統計準1級 第4章 変数変換 解説

変数変換とは変数変換は、統計分析やデータ処理において、変数の値や性質を変更する手法 これによって、データの分析やモデルの構築が容易になったり、データの分布や関係…

Kai.lazykoala
4か月前
5

統計準1級 第2章 確率分布と母関数 解説

確率分布の諸関数 確率(分布)関数 確率変数$${X}$$が値$${x}$$をとるときの確率$${p(x) = P(X = x)}$$を確率関数といい、離散型の場合は確率質量関数、連続型の場合は…

Kai.lazykoala
4か月前
1

統計準1級 第9章 区間推定 解説

区間推定は想定する母集団分布が正規分布に従っているか、二項分布に従っているかで考え方を変える 残念ながらここに強く言及しているネット記事がないので、念頭に置いて…

Kai.lazykoala
4か月前
プロでも間違えやすい仮説検定のツボ (A/BテストからベイジアンA/Bテストへの誘い)

プロでも間違えやすい仮説検定のツボ (A/BテストからベイジアンA/Bテストへの誘い)

IT企業でA/Bテストをやっていると

有意水準が5%だと帰無仮説が正しい確率は95%!

(有意水準自体が帰無仮説が正しいときという前提なので🙅‍♂️)

有意差がないから帰無仮説採用!

(第2種の過誤があるので🙅‍♂️)

有意差でないからテスト期間延長して有意差出るようにしよう!

(多重検定で有意水準がデカくなるので🙅‍♂️)

みたいな間違いがしている人が多いので
今回仮説検定で

もっとみる
【Mac】Google Colab + poetryを用いた仮想環境構築

【Mac】Google Colab + poetryを用いた仮想環境構築

はじめに以前はCursorの仮想環境構築について簡単にまとめたが、深層学習用にGPUが欲しくなったのでGoogle Colabでの環境構築も始めた

ディレクトリ構造Google Driveをマウント# Google Driveをマウントfrom google.colab import drivedrive.mount('/content/drive')

ディレクトリ作成work_di

もっとみる
【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

はじめに最近仕事でjsonやyamlファイルを編集する時間が増えたので
テキストエディタをJupyter Labから話題のCursorに切り替えようと思ったが
仮想環境構築について簡単にまとめたものがなかったので自分用にまとめた

ディレクトリ構造Docker設定ファイル作成まずプロジェクトディレクトリ配下に拡張子なしの’dockerfile’作成

## base imageFROM pytho

もっとみる
丸暗記しない検定統計量の作り方

丸暗記しない検定統計量の作り方

この記事の目的統計学を勉強しているとみんなぶち当たる検定統計量

検定統計量は代表的なものでも下記のようにたくさんあり
とても暗記だけでは乗り切れない
(というか覚える気が失せるwww)

そこで今回のこの記事では、検定統計量のイメージを掴んで
各人がその場で検定統計量を作り出すことができることが目的である

検定統計量の基本アイデアは「標準化」例えば母分散が既知の母平均の検定において
帰無仮説

もっとみる
母分散の検定の検定統計量の証明

母分散の検定の検定統計量の証明

はじめに母分散の検定の検定統計量は$${s}$$を不偏分散とすると

$$
\begin{aligned}
V &= \frac{(n - 1) s^2}{\sigma^2} \\{}\\
& = \frac{\sum_{i} (X_i - \bar{X})^2}{\sigma^2}
\end{aligned}
$$

と表される

なんでこんな形になるか証明することで
丸暗記しなくても検定統

もっとみる
母比率の検定の検定統計量の証明

母比率の検定の検定統計量の証明

はじめに母比率の検定の検定統計量は

$$
\begin{aligned}
Z = \frac{\hat{p} - p}{\sqrt{\frac{p(1 - p)}{n}}}
\end{aligned}
$$

と表される

なんでこんな形になるか証明することで
丸暗記しなくても検定統計量を覚えることができるので
今回はこの検定統計量を例題も踏まえて証明していく

また検定統計量のざっくりイメージ

もっとみる
統計準1級 第10章 検定の基礎と検定法の導出 解説

統計準1級 第10章 検定の基礎と検定法の導出 解説

検定の過誤帰無仮説$${H_0}$$、対立仮説$${H_1}$$がそれぞれ正しいときの分布を描画して考える

第1種の過誤

有意差がないのにあるといってしまう確率、つまり仮説検定における棄却域と同じ

第1種の過誤は有意差がない(=帰無仮説が正しい(左の分布))にも関わらず、有意水準を超える検定統計量を取り

実現確率が$${\alpha}$$(赤斜線部分)くらい小さな確率

帰無仮説の分布よ

もっとみる
統計準1級 第3章 分布の特性値 解説

統計準1級 第3章 分布の特性値 解説

確率分布の特性値最頻値・中央値・期待値(平均値)

期待値は標本内の数値に依存しているので
サンプル内外れ値の影響を大きく受けやすい

対して、最頻値・中央値は標本内の数値に依存していないので
サンプル内外れ値の影響を大きく受けにくい

最頻値と中央値の違いは
最頻値は単峰性の分布に対して峰の位置にくるが
中央値は数直線の真ん中あたりにくることが多い
したがって分布によって大小が逆転する

サンプ

もっとみる
統計準1級 第6章 連続型分布と標本分布 解説

統計準1級 第6章 連続型分布と標本分布 解説


連続型分布連続型確率分布はストーリーを考えながら理解すると早い
離散型連続型で頻出の確率分布は下記の記事にまとめられているので適宜参考にされたい

今回取り上げる連続型確率分布は下図の赤線部分である

正規分布

正規分布は
二項分布の試行回数$${n}$$が大きく
$${np >> 1}$$のように期待値が1より十分大きい時に
近似できる分布

$$
\begin{aligned}
& f(x

もっとみる
統計準1級 第13章 ノンパラメトリック法 解説

統計準1級 第13章 ノンパラメトリック法 解説

本章で扱うもの一般的に検定は以下のようなものがある
この章では、太字に記載している正規分布に関する検定を解説していく

パラメトリック検定

正規分布に関する検定(11章)

t検定

$${\chi^2}$$検定

F検定

二項分布に関する検定(12章)

母比率の(差の)検定

ポアソン分布などその他に関する検定(12章)

適合度検定

尤度比検定

ノンパラメトリック検定(13章)<--

もっとみる
統計準1級 第11章 正規分布に関する検定 解説

統計準1級 第11章 正規分布に関する検定 解説


はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照

この章で扱うもの一般的に検定は以下のようなものがある
この章では、太字に記載している正規分布に関する検定を解説していく

パラメトリック()検定

正規分布に関する検定(11章)<----

t検定

$${\chi^2}$$検定

F検定

二項分布に関する検定(12章)

母比率の(差の)検定

ポアソン分布などその

もっとみる
統計準1級 第12章 一般の分布に関する検定法 解説

統計準1級 第12章 一般の分布に関する検定法 解説


はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照

https://note.com/outlifest/n/ne304cd16af63

この章で扱うものこの章で扱う検定は正規分布以外に関する検定
つまり

二項分布に関する検定

ポアソン分布に関する検定

適合度検定と尤度比検定

について解説していく

二項分布に関する検定試行回数$${n}$$、成功確率$${\t

もっとみる
尤度比検定 入門

尤度比検定 入門

尤度比検定とは尤度比検定とは帰無仮説とそうでない一般の場合(対立仮説)
の尤度の比$${L}$$を計算し

この尤度比$${L}$$を
対数の2倍の値を計算し$${\chi^2}$$検定統計量に従う形にして検定する

$$
\chi^2  〜  2log(L) where n \rightarrow \infty
$$

なお検定統計量が
$${\chi^2}$$分布に従うことはWilksの定

もっとみる
統計準1級 第4章 変数変換 解説

統計準1級 第4章 変数変換 解説

変数変換とは変数変換は、統計分析やデータ処理において、変数の値や性質を変更する手法
これによって、データの分析やモデルの構築が容易になったり、データの分布や関係性を改善したりすることが可能になる

変数変換にはいくつかの種類があるが今回は、1変数2変数の変数変換を紹介した後その他の変換について触れていく

1変数の変数変換による確率関数の変化変数変換によって確率関数の$${dx}$$と積分区間が変

もっとみる
統計準1級 第2章 確率分布と母関数 解説

統計準1級 第2章 確率分布と母関数 解説

確率分布の諸関数

確率(分布)関数

確率変数$${X}$$が値$${x}$$をとるときの確率$${p(x) = P(X = x)}$$を確率関数といい、離散型の場合は確率質量関数、連続型の場合は確率密度関数と呼ばれる

累積分布関数

確率密度関数を与えられた区間内で積分したもの
離散型確率密度関数だとシグマ
連続型確率密度関数だとインテグラルで積分する

同時確率関数・周辺確率関数・条件付き

もっとみる
統計準1級 第9章 区間推定 解説

統計準1級 第9章 区間推定 解説

区間推定は想定する母集団分布が正規分布に従っているか、二項分布に従っているかで考え方を変える

残念ながらここに強く言及しているネット記事がないので、念頭に置いて下記読み進めてもらいたい

正規分布に関する推測 確率変数の母集団分布が$${X 〜 N(\mu,\sigma)}$$に従っているとする
この時パラメータは平均と分散であるので、推定するのも平均と分散である

母平均の区間推定

母平均の

もっとみる