Kai.lazykoala

オーストラリアの海と怠惰なコアラが好き🐨 ヤンキー地域で育ったのでヤンキーでもわかるよ…

Kai.lazykoala

オーストラリアの海と怠惰なコアラが好き🐨 ヤンキー地域で育ったのでヤンキーでもわかるよう統計学解説してます 2022年10月にデータサイエンティストに転職 → 2022年11月 統計検定2級取得 → 2023年1月 統計検定準1級取得 → keep going on....

マガジン

  • ベイジアンABテストまとめ

    今日からあなたもベイジアン

  • 統計検定準1級 ②統計的推測

    統計検定準1級「統計的推測」の解説マガジン。ワークブックの8章から13章をそれぞれ解説

  • 統計検定準1級 ①確率と確率分布

    統計検定準1級「確率と確率分布」の解説マガジン。ワークブックの1章から7章をそれぞれ解説

記事一覧

確率論における確率と主観確率と客観確率

そもそも確率とはそもそも確率とはなんであろうか 舟木[2004]によれば これだと少しふわっとしているので、数学的な定義でいえば 標本空間の部分集合にある事象$${E}$$…

Kai.lazykoala
1か月前
4

ベイジアンABテストの利点と活用例(後編)

ベイジアンABテストはいい結果がでなかったらテスト期間を延長できる前回では既存のABテストでは有意差があると何%くらい信じて良いかわからないが、ベイジアンABテストだ…

Kai.lazykoala
1か月前
2

ベイジアンABテストの利点と活用例(前編)

ベイジアンABテストはABパターンどちらが優れているか確率で表現できる前回では既存のABテストでは重大な課題があることに言及した 対立仮説が正しいとだけわかるが、有…

Kai.lazykoala
1か月前
3

プロでも間違えやすい仮説検定のツボ (A/BテストからベイジアンA/Bテストへの誘い)

IT企業でA/Bテストをやっていると 有意水準が5%だと帰無仮説が正しい確率は95%! (有意水準自体が帰無仮説が正しいときという前提なので🙅‍♂️) 有意差がないから…

Kai.lazykoala
1か月前
6

【Mac】Google Colab + poetryを用いた仮想環境構築

はじめに以前はCursorの仮想環境構築について簡単にまとめたが、深層学習用にGPUが欲しくなったのでGoogle Colabでの環境構築も始めた ディレクトリ構造Google Driveをマ…

Kai.lazykoala
2か月前

【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

はじめに最近仕事でjsonやyamlファイルを編集する時間が増えたので テキストエディタをJupyter Labから話題のCursorに切り替えようと思ったが 仮想環境構築について簡単に…

Kai.lazykoala
4か月前
7

丸暗記しない検定統計量の作り方

この記事の目的統計学を勉強しているとみんなぶち当たる検定統計量 検定統計量は代表的なものでも下記のようにたくさんあり とても暗記だけでは乗り切れない (というか覚…

Kai.lazykoala
4か月前
5

母分散の検定の検定統計量の証明

はじめに母分散の検定の検定統計量は$${s}$$を不偏分散とすると $$ \begin{aligned} V &= \frac{(n - 1) s^2}{\sigma^2} \\{}\\ & = \frac{\sum_{i} (X_i - \bar{X})^2}…

Kai.lazykoala
5か月前
2

母比率の検定の検定統計量の証明

はじめに母比率の検定の検定統計量は $$ \begin{aligned} Z = \frac{\hat{p} - p}{\sqrt{\frac{p(1 - p)}{n}}} \end{aligned} $$ と表される なんでこんな形になるか証…

Kai.lazykoala
5か月前
2

統計準1級 第10章 検定の基礎と検定法の導出 解説

検定の過誤帰無仮説$${H_0}$$、対立仮説$${H_1}$$がそれぞれ正しいときの分布を描画して考える 第1種の過誤 有意差がないのにあるといってしまう確率、つまり仮説検定に…

Kai.lazykoala
5か月前
1

統計準1級 第3章 分布の特性値 解説

確率分布の特性値最頻値・中央値・期待値(平均値) 期待値は標本内の数値に依存しているので サンプル内外れ値の影響を大きく受けやすい 対して、最頻値・中央値は標本…

Kai.lazykoala
5か月前
1

統計準1級 第6章 連続型分布と標本分布 解説

連続型分布連続型確率分布はストーリーを考えながら理解すると早い 離散型連続型で頻出の確率分布は下記の記事にまとめられているので適宜参考にされたい 今回取り上げる…

Kai.lazykoala
5か月前
1

統計準1級 第13章 ノンパラメトリック法 解説

本章で扱うもの一般的に検定は以下のようなものがある この章では、太字に記載している正規分布に関する検定を解説していく パラメトリック検定 正規分布に関する検定(1…

Kai.lazykoala
5か月前
1

統計準1級 第11章 正規分布に関する検定 解説

はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照 この章で扱うもの一般的に検定は以下のようなものがある この章では、太字に記載している正…

Kai.lazykoala
5か月前
4

統計準1級 第12章 一般の分布に関する検定法 解説

はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照 https://note.com/outlifest/n/ne304cd16af63 この章で扱うものこの章で扱う検定は正規分…

Kai.lazykoala
5か月前
1

尤度比検定 入門

尤度比検定とは尤度比検定とは帰無仮説とそうでない一般の場合(対立仮説) の尤度の比$${L}$$を計算し この尤度比$${L}$$を 対数の2倍の値を計算し$${\chi^2}$$検定統計…

Kai.lazykoala
5か月前
3
確率論における確率と主観確率と客観確率

確率論における確率と主観確率と客観確率


そもそも確率とはそもそも確率とはなんであろうか
舟木[2004]によれば

これだと少しふわっとしているので、数学的な定義でいえば

標本空間の部分集合にある事象$${E}$$に対し、コルモゴロフの公理を満たす確率測度$${P}$$の$${E}$$における値 $${P(E)}$$を、事象$${(E)}$$の確率という

知らない単語たちは確率論における確率空間の要素なので
確率空間について定義す

もっとみる
ベイジアンABテストの利点と活用例(後編)

ベイジアンABテストの利点と活用例(後編)


ベイジアンABテストはいい結果がでなかったらテスト期間を延長できる前回では既存のABテストでは有意差があると何%くらい信じて良いかわからないが、ベイジアンABテストだと何%信じて良いかわかるのでより説明性があることを解説した

今回では
ベイジアンABテストのもう一つの利点
「いい結果が出たらいつでもテストを延長できる」
について解説していく

既存のABテストでテストを延長してはダメな理由1.

もっとみる
ベイジアンABテストの利点と活用例(前編)

ベイジアンABテストの利点と活用例(前編)


ベイジアンABテストはABパターンどちらが優れているか確率で表現できる前回では既存のABテストでは重大な課題があることに言及した

対立仮説が正しいとだけわかるが、有意差が微妙なラインの時に判断が難しい

多重検定があるので何回も柔軟にA/Bテストできない

結論としてABパターンの意思決定にはベイジアンABテストが優れているのだが
今回では「対立仮説が正しいとだけわかるが、有意差が微妙なライン

もっとみる
プロでも間違えやすい仮説検定のツボ (A/BテストからベイジアンA/Bテストへの誘い)

プロでも間違えやすい仮説検定のツボ (A/BテストからベイジアンA/Bテストへの誘い)

IT企業でA/Bテストをやっていると

有意水準が5%だと帰無仮説が正しい確率は95%!

(有意水準自体が帰無仮説が正しいときという前提なので🙅‍♂️)

有意差がないから帰無仮説採用!

(第2種の過誤があるので🙅‍♂️)

有意差でないからテスト期間延長して有意差出るようにしよう!

(多重検定で有意水準がデカくなるので🙅‍♂️)

みたいな間違いがしている人が多いので
今回仮説検定で

もっとみる
【Mac】Google Colab + poetryを用いた仮想環境構築

【Mac】Google Colab + poetryを用いた仮想環境構築

はじめに以前はCursorの仮想環境構築について簡単にまとめたが、深層学習用にGPUが欲しくなったのでGoogle Colabでの環境構築も始めた

ディレクトリ構造Google Driveをマウント# Google Driveをマウントfrom google.colab import drivedrive.mount('/content/drive')

ディレクトリ作成work_di

もっとみる
【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

はじめに最近仕事でjsonやyamlファイルを編集する時間が増えたので
テキストエディタをJupyter Labから話題のCursorに切り替えようと思ったが
仮想環境構築について簡単にまとめたものがなかったので自分用にまとめた

ディレクトリ構造Docker設定ファイル作成まずプロジェクトディレクトリ配下に拡張子なしの’dockerfile’作成

## base imageFROM pytho

もっとみる
丸暗記しない検定統計量の作り方

丸暗記しない検定統計量の作り方

この記事の目的統計学を勉強しているとみんなぶち当たる検定統計量

検定統計量は代表的なものでも下記のようにたくさんあり
とても暗記だけでは乗り切れない
(というか覚える気が失せるwww)

そこで今回のこの記事では、検定統計量のイメージを掴んで
各人がその場で検定統計量を作り出すことができることが目的である

検定統計量の基本アイデアは「標準化」例えば母分散が既知の母平均の検定において
帰無仮説

もっとみる
母分散の検定の検定統計量の証明

母分散の検定の検定統計量の証明

はじめに母分散の検定の検定統計量は$${s}$$を不偏分散とすると

$$
\begin{aligned}
V &= \frac{(n - 1) s^2}{\sigma^2} \\{}\\
& = \frac{\sum_{i} (X_i - \bar{X})^2}{\sigma^2}
\end{aligned}
$$

と表される

なんでこんな形になるか証明することで
丸暗記しなくても検定統

もっとみる
母比率の検定の検定統計量の証明

母比率の検定の検定統計量の証明

はじめに母比率の検定の検定統計量は

$$
\begin{aligned}
Z = \frac{\hat{p} - p}{\sqrt{\frac{p(1 - p)}{n}}}
\end{aligned}
$$

と表される

なんでこんな形になるか証明することで
丸暗記しなくても検定統計量を覚えることができるので
今回はこの検定統計量を例題も踏まえて証明していく

また検定統計量のざっくりイメージ

もっとみる
統計準1級 第10章 検定の基礎と検定法の導出 解説

統計準1級 第10章 検定の基礎と検定法の導出 解説

検定の過誤帰無仮説$${H_0}$$、対立仮説$${H_1}$$がそれぞれ正しいときの分布を描画して考える

第1種の過誤

有意差がないのにあるといってしまう確率、つまり仮説検定における棄却域と同じ

第1種の過誤は有意差がない(=帰無仮説が正しい(左の分布))にも関わらず、有意水準を超える検定統計量を取り

実現確率が$${\alpha}$$(赤斜線部分)くらい小さな確率

帰無仮説の分布よ

もっとみる
統計準1級 第3章 分布の特性値 解説

統計準1級 第3章 分布の特性値 解説

確率分布の特性値最頻値・中央値・期待値(平均値)

期待値は標本内の数値に依存しているので
サンプル内外れ値の影響を大きく受けやすい

対して、最頻値・中央値は標本内の数値に依存していないので
サンプル内外れ値の影響を大きく受けにくい

最頻値と中央値の違いは
最頻値は単峰性の分布に対して峰の位置にくるが
中央値は数直線の真ん中あたりにくることが多い
したがって分布によって大小が逆転する

サンプ

もっとみる
統計準1級 第6章 連続型分布と標本分布 解説

統計準1級 第6章 連続型分布と標本分布 解説


連続型分布連続型確率分布はストーリーを考えながら理解すると早い
離散型連続型で頻出の確率分布は下記の記事にまとめられているので適宜参考にされたい

今回取り上げる連続型確率分布は下図の赤線部分である

正規分布

正規分布は
二項分布の試行回数$${n}$$が大きく
$${np >> 1}$$のように期待値が1より十分大きい時に
近似できる分布

$$
\begin{aligned}
& f(x

もっとみる
統計準1級 第13章 ノンパラメトリック法 解説

統計準1級 第13章 ノンパラメトリック法 解説

本章で扱うもの一般的に検定は以下のようなものがある
この章では、太字に記載している正規分布に関する検定を解説していく

パラメトリック検定

正規分布に関する検定(11章)

t検定

$${\chi^2}$$検定

F検定

二項分布に関する検定(12章)

母比率の(差の)検定

ポアソン分布などその他に関する検定(12章)

適合度検定

尤度比検定

ノンパラメトリック検定(13章)<--

もっとみる
統計準1級 第11章 正規分布に関する検定 解説

統計準1級 第11章 正規分布に関する検定 解説


はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照

この章で扱うもの一般的に検定は以下のようなものがある
この章では、太字に記載している正規分布に関する検定を解説していく

パラメトリック()検定

正規分布に関する検定(11章)<----

t検定

$${\chi^2}$$検定

F検定

二項分布に関する検定(12章)

母比率の(差の)検定

ポアソン分布などその

もっとみる
統計準1級 第12章 一般の分布に関する検定法 解説

統計準1級 第12章 一般の分布に関する検定法 解説


はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照

https://note.com/outlifest/n/ne304cd16af63

この章で扱うものこの章で扱う検定は正規分布以外に関する検定
つまり

二項分布に関する検定

ポアソン分布に関する検定

適合度検定と尤度比検定

について解説していく

二項分布に関する検定試行回数$${n}$$、成功確率$${\t

もっとみる
尤度比検定 入門

尤度比検定 入門

尤度比検定とは尤度比検定とは帰無仮説とそうでない一般の場合(対立仮説)
の尤度の比$${L}$$を計算し

この尤度比$${L}$$を
対数の2倍の値を計算し$${\chi^2}$$検定統計量に従う形にして検定する

$$
\chi^2  〜  2log(L) where n \rightarrow \infty
$$

なお検定統計量が
$${\chi^2}$$分布に従うことはWilksの定

もっとみる