細かい改良を100回テストしたら4回はずれるんだから当然


僅かな改善 (R20 程度) を無数に重ねあわせて、少しずつレーティングを改善している。とてもつらい。
http://denou.jp/tournament2016/img/PR/Ponanza.pdf

これは99.7%信頼区間3000局の誤差上限52.7%以上の事だった


山本氏はそれぞれ違うバージョンのポナンザ同士に3000回程度の対局をさせ、
この対局統計を分析しより良いポナンザのプログラムを採択する方式でポナンザを改良した。
採択されたポナンザはそうでないポナンザより平均2%ポイント程度勝率が高かったという。
対局で52%の勝率を上げたポナンザが生き残り、このポナンザがもう一つのポナンザと対局を行う。
http://japanese.joins.com/article/737/231737.html