有意差の根拠について、
互角の強さのものが4回戦っても、0対4 になることは有るか?と問うと
測定したタイミングでは 連勝しているところを 切り取ってしまうことは 有るんだぜ。
そこで 有る・無し ではなく、切り取ったタイミングは どれくらいの確率で起こるか 測ろう、という考え方が出てくる。

0対1(50%) 1対0(50%)
0対2(25%) 1対1(50%) 2対0(25%)
0対3(12.5%) 1対2(37.5%) 2対1(37.5%) 3対0(12.5%)
0対4(6.25%) 1対3(25%) 2対2(37.5%) 3対1(25%) 4対0(6.25%)

これで、A対Bの対戦結果が 4対0 の場合、Aが強いと考えるのではなく、
100回計測すれば 6回は見ているケースだった、もっと言えば
互角の者が適当に戦っていても よく見かけるケースと判定される。
だから 片方が強い という説明はできない。

次に「よく見かけることは無いケース」=「まぐれ」を5%(20回の計測に1回=0.050)と決めた。
(概算の使いやすさだけで決められた非科学的な閾値)
「まぐれが起こっているケース」→を切り取ったならば→「想定外の効果を今見ている」と判定することにしたんだぜ。

0.05を 超えるケースとして早いのは、最低32戦全勝、その後も全勝だが どこかで1敗したところで0.05を超えたと確定したい。
有効数字を 0.001 にするなら 試行回数は 1000回は欲しい、2倍の2000回やると十分、それ以上やっても 有効数字で違いが分からない。
回数をこなすのが難しい試験では ざっくり減らすことはあり、タイミングの切り取りを意識して 数字を読むんだぜ。

最初の100回だけ夢を見れる数字が連続して出る開発者向けの現象はあるようだぜ。