>>696
Floodgateの棋譜を利用した悪手の計算とレーティングの関 係について
竹内聖悟 2015年
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&;item_id=113667&file_id=1&file_no=1

概要：山下により提案された悪手率や好手率を Floodgate の棋譜向けに変更して 実験を行ったがレーティングとの相関はあまりなかった。

本文内容紹介
竹内2015が検証した山下悪手率の図面
https://i.imgur.com/T0KZLPt.png

見ての通りgps500(◆マーク)ではレーティングが高いほど山下悪手率も高いという結果が出てしまった
皮肉にも山下悪手率はこのプロット相関がもっとも強い相関だった(R2乗=0.813、すなわちR=0.9)

gps500だけではない
gpsfish(×マーク)でも山下の主張とは逆の相関が見られ、他の2つのソフトでは相関が確認できないという惨憺たる結果になっている
そして、結論は
評価値重視の山下悪手率より回数のみの単純な悪手率や好手率のほうが良かった
これが2015年の結論
なお、自分でプロ棋士の棋譜を40手の局面からGikouとGPSfishに対戦させ、それをillqha3で解析させたところ
GPSfishの成績は負けたプロ棋士の平均悪手よりも悪いという結果が出た
ときにGPSfishの評価値はillqha3の評価値と真逆のことがあった
これでは、GPSfishによる解析の結果は逆に見たほうがよいとすらいえるのでまったく信頼できない
しかも、山下は評価値が1000未満の局面だけで平均悪手を出しているため、終盤力の比較ができていない
この点も竹内によって指摘されている