p値について

p値について帰無仮説が間違えている「確率」だと理解している人が多くいます。

しかし実際には、ざっくり言うと帰無仮説が正しいと仮定したときにその値を超えて間違えた結果が出る割合です。

すなわち、p値が0.05のときには帰無仮説が正しかったとしても5%の確率で「帰無仮説が間違えている」という結果が出るという意味です。
例えば、6つの目が出る確率がすべて1/6のサイコロを振るとその値の期待値は7/2になります。しかし、7/2±1.96×(分散/100)^{1/2}に収まらない割合が５％あります。ですので、サイコロを100回振って期待値を求めるという実験を1000回したときに50回ぐらいは7/2±1.96×(分散/100)^{1/2}に収まらないということです。

例のレポートでは、これを一般向けに説明するために

この青色と灰色の線の差には、統計的に有意な差がないことがわかります。統計的に有意な差がない、ということは、一見すると差があるようにみえても、それは誤差の範囲で、統計上は、青と灰色の線には違いがない、ということです。(p5より引用)

などと書いたため誤解が生じています。
この説明を「差があるとは言えない」などと変更して断定口調を避ける必要があると言えます。

わかりやすいブログがこちらにあるので参考にしてください。