●自己対局の設定
Threads(スレッド数):両方同じ数にする。使用PCの論理コア数に合わせる
Hash(置換表サイズ):両方同じ数にする。使用PCのRAMの1/4にする
USI_Hash:↑と同じ
USI_Ponder:必ず両方Falseにする。ここを間違える人が圧倒的に多い
Byoyomi_Margin:0にする
NetworkDelay(通信の平均遅延時間):0にする
Network Delay2(通信の最大遅延時間):0にする
MultiPV:1にする
Minimum_Thinking_Time:両方同じ数にする
EvalShare:Falseにする
OwnBook(定跡):出来るだけ同じ定跡を使う。定跡OFFは同じ展開ばかりになるのでオススメしない(並列探索すればマシにはなるが)。様々な互角局面から、1局面につき先後入れ替えで対局させるとさらに良い

●有意に強いといえる勝数
50局中 34勝以上(99%)
100局中 62勝以上(99%)
500局中 279勝以上(99%)
1000局中 541勝以上(99%) 531勝以上(95%)
2000局中 1057勝以上(99%) 1044勝以上(95%)
3000局中 1570勝以上(99%) 1554勝以上(95%)

・信頼区間にかかわらず最低500局ぐらいは対局したほうがいいと思う
・有意差ではなく勝率推定したい場合は最低3000局以上くらいないと測定誤差大きいと思う
・定跡が微妙な場合はp<0.01でも信頼性低いと思う
・総当り戦は素直にBayeselo使うのがいいと思う。LOSも簡単に出してくれるし