0001名無し名人
2019/08/25(日) 13:16:30.70ID:ZVwpQy/4※前スレ
最新ソフトで歴代棋士の指し手一致率を調査した結果
https://mevius.5ch.net/test/read.cgi/bgame/1557753233
探検
最新ソフトで棋士の指し手一致率を調査した結果 2
■ このスレッドは過去ログ倉庫に格納されています
※前スレ
最新ソフトで歴代棋士の指し手一致率を調査した結果
https://mevius.5ch.net/test/read.cgi/bgame/1557753233
結論からいうと、
いわゆる山下レーティングについては極めて否定的な見解にならざるを得ないが、それの替わりとなる歴代棋士レーティングを大上段に出す予定はない
推定はしているが定説になりうるとは考えていないので
というのも、残念なことに大山や加藤一二三が全盛期だった頃の棋譜は一部の棋士を除いてほんの僅かな棋譜しか入手できないんだな
仮に入手できても年間単位で棋譜を解析するのは大変な労力だからね
つまり、大山、升田、中原、羽生、谷川らの特定年の一致率は調べることができたけど、相手一致率を正確に知ることができないのよ
換算レーティングで互いに比較したり現棋士と比較したりする推定材料は出しているつもりだけどね
0496名無し名人
2019/11/17(日) 19:32:56.84ID:OQz7ANH6対戦相手の棋士の普段の対局の一致率なの？
計測対象の棋士の棋譜だけからレーティングを推測する方法はまだ未発見だったのか
一致率にしても悪手率にしても、平均悪手にしても対局相手の棋力(指し手)で異なるから特定棋士の棋譜20局から測定できるという説はすべて偽物の指標のはず
勝率だって対局相手次第だからEloレーティングというものが考案されている
勝った側が一致率が高く平均悪手が小さくなるわけだから対局相手と無縁なわけがない(参照>>6)
0498名無し名人
2019/11/18(月) 01:34:57.58ID:aPkIXptl1人の棋士を分析するのにも必要な解析棋譜の量が膨大になりすぎる
0499名無し名人
2019/11/18(月) 02:08:59.30ID:AYtpg2VJhttp://www2.eng.u-fukui.ac.jp/wp-content/uploads/vol68_1-12.pdf
こういう袋小路に入っている研究を見ると、一致率を調べるときに｢前半40手を除外して候補手1で逆順で解析する｣という手法は画期的というか革命的とすら言えるね
＞藤井は 2017 年の 8 月は 6 局中 2 局,9 月は 8 局中 3 局負けている.しかし,藤井が負けた対局の一致率 をみると,9 月の 3 局は,8 月の 2 局よりも一致率が 高くなっていた.
＞ここから,藤井が短期間で形勢が悪 い局面で最善手を指す力を身に着けたと考えられ, 成長の早さがうかがえる.
たった2局(8月)の一致率と3局(9月)の一致率を比較して｢云々｣する研究者(複数)がいることに驚いてしまった
しかも、8月の負けは菅井(王将戦)と豊島(棋王戦)なのに対して、9月の負けは井出(加古川戦)、大地(新人王戦)、大橋(棋聖戦)
こうした違いへの考察がまったくなされていない
かなり恥ずかしいレベルの研究だね
初手から一致率を調べているなら8月と9月で一致率の違いがどこからきているのか、序盤か中盤か終盤かも当然調べなければいけないのにやっていない
まあ、2～3局で結論を引き出す安直さには脱帽するしかないわけだが
月毎に一致率の推移を出しているのも理解が足りない現れだね
棋戦(持ち時間や対局相手)の違いが念頭にあればこんな愚は犯さないよ
違いが相殺される年間で推移を見るか、持ち時間や対局相手で区分して見ることをするもんだよ
＞与えられた棋譜のみから
調べたい棋士の棋譜解析だけで棋力を判定するという不可能なことをやっているから正しい結果を導きなかったのが山下論文
平均悪手や一致率だけで棋力がわかるのなら1年前の16歳の藤井は25歳のときの羽生より強いということになる
藤井のほうが強いだけでなく、今の千田、増田、大橋、丸山、大地、永瀬らは25歳の羽生と同等に強いことになる
なぜなら、彼らの一致率は1995年の羽生と変わらないから
＞解析棋譜の量が膨大になりすぎる
そもそもレーティングは全棋士を調べないと作れないから全棋士の棋譜を解析する必要があるのは瑕疵とはいえない
C1以上棋士に限定するなら一致率を指標にするだけで強い相関(0.82)が得られている
相手一致率も指標に加えると精度が上がる(相関が0.91になる)というだけのこと
相手一致率でなく相手レートを調べるという方法もある
これなら、棋譜の解析は棋力を調べたい棋士だけで済む
Eloレートとの相関も0.94まで強まる
これの欠陥は時代が異なる棋士間での比較に使えないというだけのことで、現棋士を比較するならこれのほうがいい
もっとも現棋士の比較だけならEloレーティングでいい
相手一致率という指標を導入した意義は20年後の棋士も同じように同一ソフトで棋譜解析すれば比較できることを示したことにある
つまり、換算レートで17歳の藤井と37歳の藤井を比較することが可能になる
0504名無し名人
2019/11/18(月) 17:04:52.63ID:Scz9EJfk>彼らの一致率は1995年の羽生と変わらないから
山下論文は一致率ではなく悪手率だよ
一致率が同じ78%だから平均悪手も悪手率もあまり変わらないよ
ちなみに山下師が藤井四段と羽生七冠の平均悪手がほぼ同じと紹介したときの藤井四段の一致率は80%だった
それが16歳のときには86%だよ
https://i.imgur.com/9OQu90z.png
平均悪手が重要という主張をしたいなら反論してくれ
(1) 平均悪手は計測するソフトの違いや探索深度の違いや解析を打ち切る0.1秒の時間差でも数値は同じでない
(2) 弱いソフトだと平均悪手の信頼度も低くなる
(3) 悪手の尻切りをどこでするかでも平均悪手が異なる
山下方式は評価値が1000以内の局面での悪手(ここで言われている悪手はソフトの候補手と異なる手)に限定しているため、終盤で優勢なときの悪手や劣勢なときに逆転の好機を見逃してしまう悪手は対象にされていない
(4) 最善手を指せないのは棋力の問題だが、最善手と指し手との評価値の違いは棋力と相関していない
評価値は結果論にすぎないしソフトによって違うし探索深度によっても違うから絶対的な数値ではない
棋力に関係しているのは最善手を指せなかったという事実だけだ
(5) 藤井七段は2018年のときの一致率が86%であったが、2019年は83%台(11月現在)に落ちている
当然、平均悪手も膨らんでいるから平均悪手＝棋力論でいくと棋力が低下したことになる
実際の藤井七段の棋力は向上しているわけだから理論が破綻している
0507名無し名人
2019/11/18(月) 22:07:08.61ID:Scz9EJfk悪手率なら均される
(2)これは一致率の方が当てはまる話、弱いソフトでも露骨な悪手は発見できる
(3)一致率では頓死の手も次善手も同じ扱いになってしまう
(4)山下論文で相関関係が出てる
(5)一致率と平均悪手は別だから計測しないと分からん
現実に勝率が落ちているのだから棋力が上がっているとも言えない
＞(4)山下論文で相関関係が出てる
プロ棋士との相関関係は確認されていない
検証もされていない
将棋倶楽部24の平均悪手とレートの相関式をそのまま代用しただけ
本気で(5)の主張が通ると思っているのかな？
0510名無し名人
2019/11/18(月) 22:23:17.88ID:mXPFAl/E（5）はありえないw
対戦相手のRの変化を一切考慮していないw
(3)頓死での逆転や詰みを逃しての逆転はどの棋士にでも起こり得る
問題なのはそうした悪手は評価値差が1手で3000以上になること
そうした悪手があると平均悪手が桁違いに跳ね上がってしまう
つまり、棋力と相関していない
最新ソフトとの一致率ならほぼ最善手率と同義だが、最善手を指す率が高い棋士は悪手率が低いという関係にある
大悪手になるか否かは大したことではない
最善手を指す率が低い棋士は当然大悪手を指す割合も高くなる
プロ棋士の場合、大悪手になるか否かは棋力と相関していない
棋力と相関しているのは最善手率(一致率)のほうだ
現プロ棋士のEloレーティングと一致率は強い正の相関があるが、平均悪手とプロ棋士のEloレーティングの相関を確認できた研究者は一人も現れていない
(1)一致率の違いはデジタル値でいうと0か1だけなので極めて扱いやすい
平均悪手はそうはいかない
-30000～+30000の幅がある数値になっている
一致率なら最善手を大悪手と誤判定しても1が一つ減るだけだが、平均悪手だと誤判定で30000も違ってくる
どちらがデータ処理しやすいか明白だ
0513名無し名人
2019/11/18(月) 23:04:47.27ID:Scz9EJfk実際に藤井聡太のレーティングは前期の方が高い
https://bitsend.jp/download/49912d6471a12ffb9ea106d7d8e437b1.html
前期の勝敗から計算したレーティングが1959～1960
今期の勝敗から計算したレーティングは1922～1923
こんな簡単な計算も出来ないようでは話にならないよ
最後に一致率と相手一致率を指標にした換算レートの威力>>483に何の疑問もないことをもう一度確認してくれ
丸山九段は現在B2棋士だがEloレーティングでは12位にきている
ビックリするような上位だが、換算レートでも12位で、その差もわずか9しかない
このように極めて合致している
丸山だけではない
その上の菅井、木村、久保もほとんど計ったように合致していることがわかる
これが平均悪手では実現不能な一致率の威力だよ
https://i.imgur.com/a6ICzfc.png
これを見な
http://kishibetsu.com/rankingP/1307.html
ミスティークや勘違いもあったが訂正しながら今も完成形を目指している
プロ棋士の棋力を比較する上で一致率の有効性はもはや疑いようもない
これだけ、実証されてきている一致率に>>507のように抽象的な疑問や哲学論争に終始する態度はとうてい誠実とは言えないし、科学的態度とはまったく相容れないと言える
≪一致率か平均悪手か≫という抽象的な議論の段階はとっく終わっているのに気付いていないか、どうしても指標としての一致率を認めたくない別の理由が隠されているにちがいない
0517名無し名人
2019/11/19(火) 15:23:11.05ID:MH8LEdtf0518名無し名人
2019/11/19(火) 15:28:59.47ID:8+PbRzgE①前スレになるが、最初は敗局時の一致率もしくは勝局時の一致率が鍵になるとアタリを付けていたが見当違いだったこと
→データ数が多い一致率が指標として一番適していることがわかった
②相手一致率も無視できないということから対局時の相手一致率が指標に使えるという算段だったが、一致率とペアになる相手一致率だけでは役に立たないことに気付いて方向転換したこと
→指標として必要な相手一致率は対局時の相手の一致率ではなく相手棋士の一致率だから
③当初は解析した棋譜の一致率を指標に使えばよいという考えだったが、データの偏りを無視できないことから年間勝率で補正した一致率を指標に使うようにしたこと
④勝局データがない棋士の一致率は補正が不可能なことをうっかりして放置したこと
→このため、C1棋士以下の一致率の相関係数が低くなっていた
④データ入力の誤りがあった
先後の棋士名が逆になったり、勝敗や一致率データを逆にしたり
→まれにしかないが、全部リサーチして訂正している
0520名無し名人
2019/11/19(火) 19:37:53.31ID:SRCpkPAc全然計算の意味分かってないでしょ
前期の成績が妥当なレーティングを逆算すると1959～1960になるんだよ、計算で簡単に出せる。
1局で上昇するレーティングには制限があるから強さを反映するのにタイムラグが出て
前期の戦績から算出した実質的なレーティングに合わないから
棋譜解析のデータは少なくとも藤井七段に対しては信憑性がイマイチだよ。
Eloレーティングのことを言っているのなら勝率からだけでは計算できないよ
対局相手とのレート差をその都度点数にしていかないと無理だから
藤井七段は勝率は低下したけど四段時から順調に棋力を上げてきているんだよ
これじゃないレーティングの推移があるのなら資料を貼ってみなよ
http://kishibetsu.com/rankingP/1307.html
0522名無し名人
2019/11/20(水) 06:51:29.65ID:8WMpzdMZ横だがそんな計算意味ないだろ
それなら藤井聡太が一番強かったのは29連勝のときになってしまう
あの29人に100%の勝率をあげるレーティングとかとんでもない数字になるけどそんなレーティングだったわけがない
0523名無し名人
2019/11/21(木) 00:34:44.81ID:VE5gbf482017年度の藤井聡太のレーティングは1911～1912
https://bitsend.jp/download/2361b8e7b64eaa5fab1101c40d5ee751.html
勝ち星がどこに偏るかは別として
レーティング1911以上の棋士なら同等の戦績は残せる計算
【藤井聡太 2017】1911～1912
【藤井聡太 2018】1959～1960
【藤井聡太 2019】1907～1908（現在）
今期の藤井聡太は現時点ではここ三年間で一番弱い
0524名無し名人
2019/11/21(木) 02:10:02.88ID:54Z+WAEe> 今期の藤井聡太は現時点ではここ三年間で一番弱い
こんな結論が出るんじゃ全く意味がないと言われても仕方ないな…
計算だけして分析ができない御仁のようだね
ここに少し前に分析した表があるのでこれで説明しよう
https://i.imgur.com/OOm27b4.png
上段の表が藤井聡太の暦年の全データで年間勝率は2019年が下がっている
それは当たりがキツくなったのが原因だ
それでも相手レートから計算した換算レートは2018年より下がったことになる
結論がおかしくなるのは全対局相手の平均レートという分散値が大きすぎる平均を根拠にしているからだ
そこで、レーティング30位以内の棋士(≧1700)との対局を除外して成績を比較したのが中段の表で、すると順調に棋力を上げてきていることがわかる
下段は持ち時間1時間以下の早指し戦を除外したデータだ
このデータからも棋力の向上が見てとれる
さて、2019年は棋力が向上したが一致率が低下した
これは一致率が当てにならないという意味ではない
2017年と2018年の一致率の変化は飛躍的に棋力の向上があったと了解できるように藤井棋士の一致率の高さは十分に棋力の高さを現している
相手レートの代わりに相手一致率を代用できるのも一致率と棋力に相関があるからにほかならない
同時にこのデータは、対局相手を考慮しない一致率だけでは棋力の評価は十分でないことも読み取れるようになっている
対局相手に関係なく平均悪手だけで棋力がわかるのだろうか
しかも、最新のソフトよりレートが1500も低いというのに、2013年ソフトでの解析でプロ棋士の平均悪手を云々してよいのだろうか
山下氏もその点は今後の課題として上げていたが何一つ実行することなく5年経過してしまった
ソフトが著しく進化して解析時間も大幅に短縮できるようになったのに実行しない理由がわからない
実行してみたが思わしい結果がでなかったということすら考えられる
反論したいならやるしかないだろう
今からでも現プロ棋士の棋譜を解析して平均悪手とEloレーティングの相関を証明すべきではないだろうか
山下氏が上げていた課題
(1) より予測が正確な指標の発見
平均悪手と好手率、複雑さの組み合わせなど
(2) より正確で、多くの棋譜の入手
将棋倶楽部24のレーティングが正しいか検証 持ち時間を統一して調べる
(3) より深い探索での解析 より多くのプログラムでの解析
誤解する人はいないと思うが、この表の換算レートは回帰式から計算したものではない
勝率をレート差に変換して相手レート(平均)に加えただけです
竹内聖悟
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&;item_id=113667&file_id=1&file_no=1
「単純な悪手率または好手率」
◆山下の手法では評価値の変動の絶対値を加えているが、これは余り直感的ではない。そこで、単純な悪手率や好手率を定義する。すなわち、悪手率では評価値の変動の絶対値を用いず、単純に回数だけで計算を行う。
このことの利点として、局面の評価値の絶対値が 10 未満という条件の緩和が容易になることが挙げられる。
回数ならばこの範囲を拡大しても率の取り得る範囲は変わらないが、変動の絶対値を加える場合には局面の絶対値の制限によって大きく 変わってしまう。
◆局面の評価値の絶対値が 50 未満の局面を対象として、単純な回数による好手率と悪手率とを計算し、GPS 将棋毎、レーティング毎にプロットした。
悪手率は低いほどにレーティングが高く、好手率は高いほどにレーティングが高くなる傾向が見られる。
相関の高いものについて、最小二乗法を行い、gps normal では
レーティング = −30200.71 × 悪手率 + 11227.23 (R2 = 0.632) ,
レーティング = −40575.69 × 好手率 + 6091.58 (R2 = 0.866)
gps l では レーティング = −38529.26 × 悪手率+ 11540.86 (R2 = 0.619) という式が得られた。
◆まとめ
従来は評価値の変動を考慮した悪手率や好手率を使っていたが、単純な回数からの悪手率と好手率の方が良いという結果を得た。
0529名無し名人
2019/11/21(木) 07:24:35.69ID:VE5gbf48あー理解
そっちも完全に誤解しているようだが
>>523はその換算レートを更に精度を高めて計算した結果だぞ
https://i.imgur.com/hpsTqmm.png
https://i.imgur.com/cflSsCF.png
https://i.imgur.com/uj5VHAG.png
対戦相手の平均レートという大雑把な数字ではなく
同じ相手に同じ戦績を上げるのに適したレーティングを
個別の対局結果から具体的に算出した数値が>>523
なお、竹内定義の悪手率はソフトの候補手と違う手で評価値が悪い手、好手率はソフトの候補手と違う手でソフトの評価値より良い手の意味なので、
仮に悪手率30%、好手率25%とすると
gpsでの一致率＝45(100-30-25)%
最新ソフトでの一致率≒70(45+25)%
となる
このように、竹内の研究は平均悪手より一致率が良いというものだった
しかも、この竹内研究では山下の悪手率(平均悪手)はレーティングが高いほど悪手率が高いというトンでもない結果も出ていた(gps500の場合)
これでは平均悪手による棋士のレーティング付けが信頼できないのも当然だ
他にも重要な指摘がなされている
◆山下悪手率(平均悪手)は評価値10未満(最新ソフトの1000に相当)の局面に制限しているが根拠に欠けているし、これではほとんど終盤の局面は現れない
◆回数なら制限を緩和しても値が取りうる範囲は0から1の範囲内に限られるから局面の範囲を拡大できる
実際に竹内悪手率と好手率(最新ソフトでの一致率と指標的に同等)は局面の評価値の絶対値が 50 未満の局面(最新ソフトでの5000に相当)を対象にしている
＞換算レートを更に精度を高めて計算した結果
＞同じ相手に同じ戦績を上げるのに適したレーティング
そんな計算で精度を高められるわけがないぞ
精度が保証されるためにはデータの分散に見合った必要なデータ数というものがある
常識に反する結果が出たときは計算の誤りを疑うべし
そのために分析があるんだよ
0532名無し名人
2019/11/21(木) 08:12:03.95ID:KfRGtO2Wそれさあ
結局単に勝率を異なる数値に置き換えてるだけに過ぎないんだよ
だから「勝率が下がったから藤井聡太は弱くなった」って言ってるのと変わらない
それが君の主張ならそれでいいけど、常識的に考えたらおかしいと思う人の方が多いと思うよ
範囲の取り方で結論が違ったりすることを理解すべきだね
例えば分散を小さくするにはデータの範囲を狭くすればいい
そうなるとデータ数が少なくなるのでそれはそれで問題なんだが、見本をだしてみた
換算レートは総じて2017<2018<2019となった
高レートの対局相手の比率も2017<2018<2019になっている
表は換算レートが高い順
https://i.imgur.com/tqlhJoJ.png
皮肉にも山下悪手率はこのプロット相関がもっとも強い相関だった(R2乗=0.813、すなわちR=0.9)
gps500だけではない
gpsfish(×マーク)でも逆相関が見られ、他の2つのソフトでは相関が確認できないという惨憺たる結果になっている
https://i.imgur.com/T0KZLPt.png
なお、この竹内の事例は｢一致率＞平均悪手｣を実証する都合のいいものを選別したものではない
次のレスで知った事例であることを表明しておく
羽生善治は大山康晴を超えることができるのか？ 18
705 名無し名人 sage 2019/11/02(土) 13:14:17.98 ID:sUdv0sxL
以下のように、「一致率」が使えないことは皆初めから理解しているのだ
山下宏 （東北大）
「平均悪手」
竹内聖悟 （東大）
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&;item_id=113667&file_id=1&file_no=1
「単純な悪手率または好手率」
馬場匠、伊藤毅志 （電気通瑞M大）
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&;item_id=192073&file_id=1&file_no=1
「平均損失」
付け加えることでもないが、一致率研究など誰もしていないとしてあげた研究が、読んでみると評価値重視の山下悪手率より回数のみの単純な悪手率や好手率のほうが良かったという内容で2015年のものだった
つまり、2019年最新のソフトだと好手が最善手(推奨手)にかわるから一致率は(1-悪手率-好手率)+好手率=(1-悪手率)となる
竹内測定の悪手率30%は最新ソフトの一致率70%とほぼ同値となり、悪手率25%は最新ソフトの一致率75%とほぼ同値となる
何のことはない
竹内悪手率の相関判定は最新ソフトの一致率を指標にした場合と同じことをやっていたわけだ
これの一番下の研究は山下悪手率を追検証してみようとしたものだが失敗に終わっている
竹内よりあとの2018年のものだが技巧2で評価値1000未満(山下研究の10未満に相当)の局面のほかに<500、<300、<100の局面に分けて平均損失と100刻みのレートとの相関を調べている
いずれも相関係数は0.8前後であった
この程度の相関でプロ棋士の棋力を推定することが可能かというと、今年の1月から10月までの解析データから得られた一致率のキャプチャーと比較するとよくわかる
https://i.imgur.com/b6UW52o.png
このように100刻みのEloレートと一致率の相関は0.98であった
これほど強い相関でも全棋士レーティングとの相関係数を調べると0.78まで下がっている
おそらく平均損失の相関では0.6程度に落ちてしまうであろう
つまり、山下悪手率よりマシになっている技巧2による｢平均損失｣でもプロ棋士の棋力を測定するのは無理なのだ
実験計画の事後報告がないことがすべてを物語っている
実験計画
①技巧2.02で探索深度10手で解析する
②前半40手を除外して評価値の絶対値が300未満の局面に限定して平均損失からレートを推定する
評価値局面は0に近いほどいい
③50局面を解析できればよい
1局で4局面前後になるから14棋譜あればレートがわかる
｢システムを実現したら、本当に少ない対局数で棋力の推定が可能であるかどうか、棋力のわかっている被験者を用いて、本システムの有効性を示していきたい｣
◆投げ捨て、やり逃げの研究が多い
意のままの結果にならなくとも最後まで続けるか途中で打ち切り宣言をすべきだろう
◆プロ棋士の勝敗はほとんどが終盤力で決まる
とくに駒組の優劣で差がないトップ棋士ほど終盤力が勝敗を分けている
ところが、この研究は、差があまりない局面での指し手から棋力がわかると推定している
これは山下論文も同じ
そして、その指し手を評価するのに技巧の探索深度10手で十分と推定している
何から何まで間違っている
そんなので、Eloレーティングと同程度の精度のレートを推定できるわけがない
正確なレートが出せないだけではない
大山＞羽生を大山＜羽生と誤認してしまうことになる
二日制の対局では渡辺＞羽生なのに渡辺＜羽生と誤認してしまうことになる
なぜなら、序盤中盤よくても終盤で自滅あるいは力が逆転してしまうことがこの解析ではわからないからだ
◆ところが、この研究論文はゲーム情報学研究会より若手奨励賞を受賞したようだ
｢本賞は、研究の総合的な完成度よりも、将来性、独創性、また、プレゼンテーションの工夫等、何らかの点で他と比べて大きく優れると評価された発表を積極的に表彰するもの｣ということのようだ
勝敗等の成績と無関係に純粋に棋譜の内容から棋力(Eloレーティング)が推定できることを示すためには、少なくともEloレーティングと勝率の相関係数に近いものが得られなければならない
プロ棋士の場合、100刻みのレートと勝率の相関係数は0.95になっている
プレゼンをみると技巧2で解析した平均損失は100刻みのレートとの相関係数が0.8前後だ
勝率に劣る指標では話にならない
https://i.imgur.com/4v64ilr.png
0539名無し名人
2019/11/22(金) 00:37:57.03ID:YSbACSMiそれ何回か指摘したけどそいつ馬鹿だからわかんねぇぞ
0540名無し名人
2019/11/23(土) 18:10:57.02ID:ghcsgYEQ0541名無し名人
2019/11/23(土) 18:43:49.87ID:nm7IfRmVイロレート以外のもう一つの強さの指標として十分貴重なデータだと思うけどな
0542名無し名人
2019/11/23(土) 20:30:39.76ID:NMK1jw/pイロレーティングで今と昔の棋士の強さを比較するのが難しい（レーティングはインフレしたりするから）ので
イロレーティングを補完する、もしくは置き換える指標が欲しいということじゃないの？
勝ち筋が読みやすいと一致率は高くなる
勝ち筋が読みにくいと一致率は低くなる
局面が複雑難解でどう指したら勝てるかわからないとき、良くなる手がわからないときは一致率は低い
当然、負け将棋の一致率は低い
つまり、楽勝な将棋ほど一致率は高くなりやすいから相手のレベルも判定に不可欠となる
今のところ最高の指標は一致率なので、棋譜解析からだけで相手の棋力情報を入手するとなると頼れるのは相手一致率しかない
そうやってC1級以上の棋士85名の換算レーティング = 2165 × 一致率 + 3612 × 相手一致率 -2536 (R = 0.914) という式が得られた
一番左の表がこのレーティング表になる
https://i.imgur.com/ZkzG5FC.png
C1以上の棋士85名の一致率とEloレーティングとの相関は0.82あるが一致率が高い順に並び替えても違和感がありありになる
換算レーティング = 2493 × 一致率 - 154 (R = 0.82 右側の表)
https://i.imgur.com/vn4kjtz.png
山下論文のように大山と羽生を比較して羽生＞大山と断定してもあちこちで矛盾が隠しきれなくなっていることでわかるように、こうした単一指標では比較しやすい棋士を比べると簡単に反故をきたすことになる
したがって現棋士に一致率の順位を適用しても一致率では誰々が一番というフレーズは意味をなさないことになる
例えば>>543の右側のC1以上の棋士を一致率の順に並べた表では丸山が4位で西尾が7位で、豊島(14位)より強いことになる
一致率だけで棋力を評価することが無謀なことはこの一点だけでもわかる
棋力が高い、あるいは向上している棋士を先入観なしに知るには適しているが、ピンポイント的にＡ棋士はＢ棋士より強いという判定には向いていないことになる
0545名無し名人
2019/11/24(日) 22:34:19.13ID:whzwPkA+丸山、ナベと並ぶトップタイの８連勝中
0546名無し名人
2019/11/26(火) 02:54:43.62ID:O2Z9WBYD一致率と平均悪手をダブルで組み合わせてみたらどうですか？
解析の際に平均悪手の方は記録残してないんでしょうか
0547名無し名人
2019/11/26(火) 03:04:36.90ID:m8LtEBEo大山はゴミだな
解析棋譜は保存しているから平均悪手はわかるが、平均悪手の元にあるのが一致率で一致率が100%なら平均悪手が0になるように、この二つは独立変数ではない
このため説明変数にできるのはどちらか一つだけということになる
そこで、一致率(を採る)か平均悪手(を採る)かという議論になっている
これは、2個以上の説明変数を用いて重回帰分析するときには互いに独立性が高い変数であることが求められ説明変数同士に相関があると回帰式の信頼性が極度に低下するので避けることになっているからだ
一致率を選んだのは平均悪手より一致率のほうが有効と判断できたからで、その理由は何度も言及してきた通り
とは言ってはみたものの、
初手からの前半40手(50手)は平均悪手と相手平均悪手
後半(41手以降または51手以降)は一致率と相手一致率
といったデータを2個以上おそらく全部組み合わせた重回帰分析なら面白い結果が出る可能性は極めて高い
その発想をもてなかったのは悔いるしかない
今からやるとしたら、棋譜を取り直して前半だけの平均悪手を追加してデータベースを再構築してということになる
自分には無理なので誰かの今後に期待したい
0549名無し名人
2019/11/26(火) 09:34:45.26ID:pJv5RnE/有志であれこれ計算式を考え出せるように
その解析結果の生データは公開可能ですか？
これの基になった重回帰分析の概要はこの通り
https://i.imgur.com/XVjMtgL.png
回帰統計の3行目にある「補正R2」(自由度調整済み決定係数)」はデータ数や説明変数の数に依存しない値となることから、予測式の当てはまり度合いを評価する指標として使われている
分散分析表のF値と下段の t 分析のP値はいずれも0.000なので有意差の検定に文句なしに合格している
Ｘ値1は一致率、Ｘ値2は相手一致率で、どの説明変数がどの程度目的変数に影響を与えているかは t の値の大きさでわかる
この場合、一致率が15.391、相手一致率が9.197なので相手一致率より一致率のほうが1.67倍重要視されていることになる
回帰式の係数となる値は一致率より相手一致率のほうが高いが、これは相手一致率のバラツキ(σ1.6%)が一致率のバラツキ(σ4.5%)より少ないためである
つまり、回帰式でEloレーティングに最も影響があるのが一致率であり、不足なところを相手一致率で補っている構図になっている
計算式は最小二乗法がそうであるように一義的に決まるものなので誰がやっても変わらないよ
問題意識や仮説で検証可能なものは提供できるので要望を出してほしい
データは2019年の生データだけで10列 × 3000行近くあるので公開は考えていない
0552名無し名人
2019/11/27(水) 01:11:27.96ID:RdesTJqkシンプルに平均悪手のランキングが知りたいです
一致率とどの程度の乖離が出るのか分かりやすくなるので
2019年は平均悪手のデータは入力していないよ
使えないのは分かっているから今から入れることもしないね
というわけでランキングは作れないけど、生データを一覧にしてみるよ
平均悪手のバラツキを見るだけで使えないデータだと理解できるはずだからね
一応、6月～11月の半年間の数字で渡辺、豊島、広瀬、藤井、永瀬、羽生の一覧表を数日中に上げるからよろしく
0554名無し名人
2019/11/27(水) 17:38:06.03ID:RdesTJqk0555名無し名人
2019/11/27(水) 17:39:01.81ID:RdesTJqk期待しながら待っています
約束だから最後まで仕上げるけど、使えないデータなのはこの3棋士の数値だけでも理解できるだろうから上げておく
28番目の豊島の酷い数値は羽生に入玉を阻止された1局です
残りのアップは明日以降に
https://i.imgur.com/wC0e7SB.png
0557名無し名人
2019/11/27(水) 19:33:33.49ID:RdesTJqk40手目以降という事を差し引いても言いたいことは伝わってくる
まったく正規分布しないデータだからね
2018年の馬場らは局面評価値が互角局面に近いところだけで平均損失の相関を期待していたが結局研究成功の発表がないままになっている
互角局面でも頓死の悪手まであるから正規分布しないことに気付いたんだろうな
もっと前の2015年の竹内が山下論文を結果的に査読したことになっていたんだと思うな
評価値を採用すると根拠がない制限を設定せざるを得なくなる
評価値でなく回数だけなら終盤の指し手も対象に調べることが可能になって強い相関が得られたという竹内研究が正しかったようだね
29局目の藤井聡太の酷い数値は記憶に新しいが広瀬との王将戦
受けを間違えて自玉を詰まされたためだ
羽生の23局目は広瀬との順位戦で自玉の詰みを避けなかった△61飛が大悪手と判定された
候補手は△86飛だったがここは異論もあるところだろう
探索深度を深くすれば、あるいはソフトによってはどう指しても負けだから悪手とは判定しないかもしれない
また、平均悪手が0というのは一致率100%とは限らない
>=1500以上の局面ではソフトの候補手と違う手を指しても平均悪手の対象外になっているからだ
この点も平均悪手がダメなところだ
平均値で比較するとわかるが、1位と7位で極端に違っている
レーティング7位までの棋士ですらこれだけの差が生じてしまうのだから平均悪手のランキングなどとても信頼できるものではない
しかも、大悪手の1局が追加されるだけで大幅に変動してしまうランキングだ
したがって、平均値でなく中央値を採用するのがベストな選択だが、<700なら
永瀬 広瀬 渡辺 藤井 千田 豊島 羽生
<1500なら
永瀬 広瀬 渡辺 千田 豊島 藤井 羽生
の順となる
しかし、中央値を採用すると棋士の差はあまり出ない
全棋士を解析すれば彼らより上位にくる棋士もいるかもしれないし、数値と棋力の相関は安定していない
といったわけで、平均悪手のデータ紹介ははこれで終わりにする
なお、ここまで調べると比較したくなるだろうから95年の羽生と64年の大山も出しておいた
いずれも6月～11月の棋譜
どうしても平均悪手が捨てがたいのなら山下データとは異なり平均悪手でも大山が一番だということは押さえておくべきだろう
https://i.imgur.com/nGunrrE.png
11月の内容なら実力的に豊島を上回っている
竜王防衛も不可能ではない
前年とは違う広瀬であるから王将に続いて棋王も渡辺三冠への挑戦が楽しみになってきた
https://i.imgur.com/i9hLMhz.png
0561名無し名人
2019/12/01(日) 00:25:30.14ID:kv6n9w05棋王戦勝ち進みの本田奎の追跡よろしく
0562名無し名人
2019/12/01(日) 08:05:23.45ID:FUj1Ldu+やっぱり本田奎の追跡依頼は取り消します
図々しく無理を言ってすみませんでした
そんなことはないですよ
今やりかけていたとこなんで
その前に相手一致率データで修正箇所があったので作業中です
明日迎える本戦決勝の相手が広瀬だ
王位戦で深浦、増田にも勝っているので自分よりレートが上の棋士に11勝6敗だ(6敗は勇気、黒沢、大地、八代、橋本、青嶋)
本田自身はレート1633で53位だから自分よりレート上位の棋士でまだ一度も対戦していない棋士が36名いることになる
A級棋士ではまだ天彦としか当たっていない
つまり、本田の強さは実証済みとはまだ言い切れない
今期は下位棋士に多い振り飛車党に苦戦していて(対抗形の戦型では8勝6敗)、順位戦も竜王戦も昇級は来期以降となる
一発が入りやすい力戦形の相居飛車を得意としているが、広瀬のレートは1920なのでまず勝ち目がない相手とみるのが自然だ
しかし、換算レートでは広瀬が1901で本田は1666(31位)なので差は縮まっている
C1以上に適用している換算式をC2レート上位の大地、大橋、高見、三枚堂、八代、高野、光瑠、黒沢、本田にも適用すると本田の換算レートは深浦と同じ1726(25位)となり25歳未満では藤井、近藤、大地、増田に次いで5番手となる
よって、飛び抜けてポテンシャルが高いわけではないが、B1級に成長する実力は秘めているといってよい
広瀬に勝つとしたら意外なようだが後手をもったときかもしれない
0565名無し名人
2019/12/01(日) 18:03:36.60ID:l7vCkoyj分析乙
0566名無し名人
2019/12/01(日) 19:38:40.61ID:3PMB5Knyもう 悪手率や平均悪手を指標にしようと思わなくなったもん
最新ソフトで正確に平均悪手を測定すれば棋力の差が検出できるのでは？
最初はそんな軽い気持ちで取り組んだわけなんだが
まず躓いたのが評価値に納得できないときにどうするのかで解決法がなかったことだね
時間をかけて検討すればソフトの判定も変わるから評価値の誤りは是正したいという誘惑と検討に時間をかけていたら解析は進まないし知っている場合と知らない場合で公平な解析ではなくなる
だからといって平均悪手が20で収まるか100を超えてしまうかは見逃してもよいような誤りでもない
こうした葛藤は救いがたいと思ったね
極端な話、秒読みで詰みを逃してしまったり詰まされたりしてもそれで取り返しがつかない評価値(差)をつけられるのはおかしい
ソフトは秒読みかどうかなどは勘案してくれないし
思案してみるに、ソフトがつける評価値はソフトの読み筋通りに指すことができたときの評価値にすぎない
プロが指せないような手順でその手は敗着ですとソフトに指摘されてもそんな巧妙な手順があるかないかは地雷を踏むか踏まないかと一緒で誰にもわからないのであれば踏んだ人が不運なだけにすぎない
平均悪手は変動が制御不能だし、納得できる数値を得るのが困難だし、プロの棋力を判定するのに適しているわけでもない(竹内論文)
もし、その局面で最善手がわかる人がいたらその人の評価は最善手率でできる
何が最善手かわからなければ最善手率は出せないが強くなった最新ソフトなら最善手率を一致率で代用できる
というわけで、今は平均悪手でなく確実に一致率の時代だね
一致率を調べるときの簡単な注意とコツを守るだけでいい
プロの序盤の手はソフトの手と一致しなくとも棋力とあまり関係しないので除く
MutiPv1で候補手1、逆順解析にすると最善に近い手をかなり最善手にしてくれる
最善に近い手だけを拾うので、評価値が離れていても次善手を含めて評価する広義の一致率とは異なる
候補手を2以上に設定すると最善手と次善手を区別しようとするので最善手で融通がきかなくなる etc.
0570名無し名人
2019/12/02(月) 18:13:39.41ID:oh/yr9z80571名無し名人
2019/12/02(月) 18:35:01.64ID:/sY0KHdX先手相掛かりで広瀬に圧勝したよ
タイトル戦での戦い振りも見たいので応援したいね
その前の大地との若手決戦も実現すればいいね
これまで解析した今年の棋譜1473局の平均手数は112手だったが120手未満と120手以上に分けてみた
120手以下の一致率は72%、120手以上が72.5%
あまり差がなく、どちらかというと120手以上の一致率が高くなっている
手数は先手と後手で一致しないので、まず先手と後手それぞれにデータを勝局と敗局に分けてみたところ景色が一変した
▲先手
<120 >=120
勝局 527 83.6% 246 79.2%
負局 436 60.2% 264 65.4%
合計 963 73.0% 510 72.1%
先手勝率 0.547 0.482
先手は短い手数で勝てたときの一致率が高く、負けたときの一致率は短い手数で負けたときのほうが一致率が低い
手数が長引くと勝ちより負けが多くなる
△後手
<120 >=120
勝局 436 83.5% 264 79.8%
負局 526 60.5% 246 65.7%
合計 962 70.9% 510 73.0%
後手勝率 0.453 0.518
後手も短い手数で勝てたときの一致率が高く、負けたときの一致率は短い手数で負けたときのほうが一致率が低い
先手との違いは短い手数では勝率が悪く長いと負けより勝ちの数が多くなる
つまり、短手数で勝負がつくのは先手の研究がはまったときが多く、手数が長くなるのは先手の研究が外れたときに多いという傾向が一致率のデータに現れている
どうやらEloレーティングとは理由が異なるが一致率もインフレの傾向があるのは確かなようだ
0574名無し名人
2019/12/10(火) 21:55:05.77ID:SKUpZifx0575名無し名人
2019/12/13(金) 20:00:47.34ID:dxG29jFM平均悪手って、例えば後半60手（先後それぞれ30手として）中悪手が何手あるかの割合ってわけじゃないの？
それは悪手率？
一致率は１局中、ソフトと一致した手数÷指した手数×100 でいいの？
0576名無し名人
2019/12/14(土) 00:53:24.72ID:mNQZ6pkB自分でソフト導入して解析してみれば良い
https://i.imgur.com/6OxPYqX.png
0577名無し名人
2019/12/14(土) 04:55:03.75ID:rHvh+CaL平均悪手にせよ一致率にせよ、評価値による制限を行って
不要な局面を排除した上で計算するのが重要ということのようです
実際に多くの研究が、そのようにして行われています
0578名無し名人
2019/12/14(土) 04:56:20.75ID:rHvh+CaL将棋名人のレーティングと棋譜分析
https://i.imgur.com/WeTccCH.png
https://i.imgur.com/GkhWxpL.png
非常に多く引用されている論文で
評価値に制限をつける手法はここで示され、他の論文でも踏襲されたと言ってよいでしょう
0579名無し名人
2019/12/14(土) 04:57:51.74ID:rHvh+CaLhttps://i.imgur.com/j8xeSah.png
https://i.imgur.com/iO5Rjbo.png
評価値の制限の程度と、その影響について考察しています
0580名無し名人
2019/12/14(土) 04:58:35.14ID:rHvh+CaLhttps://i.imgur.com/L7bP4p9.png
２手毎の評価値しか利用できない特殊な条件の下ですが
評価値の制限は（緩和したものの）行っています
0581名無し名人
2019/12/14(土) 05:04:07.85ID:rHvh+CaL以上を見ますと、レーティング推定が目的の場合
将棋GUIの数値は、そのままでは使えないということになるのかと思います
（千田率と言って揶揄されることすらありますので、ご注意を）
(1) 指し手は好手、緩手、疑問手、悪手というふうに分類される
一般に悪手率というのはこのような分け方をしたときの悪手数の割合のこと
1局の30手の中に悪手が3手あれば悪手率10%と計算する
局によってまちまちなので平均を出したのが平均悪手率となる
1局平均の悪手数を指標にする場合もある
この場合は1局平均悪手数2.5(手)といった数値になる
普通はこのように理解されているし、使用されている
(2) ShogiGuiの棋譜解析で表示される悪手や悪手率もこの悪手なんだが、<700や<1500で示される平均悪手の数値は山下方式に則っている別の概念なのでややこしい
山下方式では
GPSfishの候補手より評価値が劣るならすべて悪手となる
そして候補手の評価値との差を集計して平均を出している
山下方式の平均悪手は平均ロスのことなのだ
これだけでは説明十分とはいかない
山下方式は全指し手の平均ロスを計算しているわけではない
前半40手を除外しているが、それだけでなく局面評価値が10未満(今の評価値に直すと1000未満に相当)の局面に限定している
つまり、1局で対象となる指し手は先手後手それぞれ10数手しかない
仮に対象が10手で、その中の5手が悪手で評価値ロスの合計が6の場合、平均悪手は0.6と計算される
GPSfishの頃の評価値は今の百分の一なので今なら平均悪手60と同じだ
そして、この0.6を次の換算式に代入したのが山下方式の換算レートになっている
GPSFish rating = -2560y + 4743
y = 0.6 なら rating = 3207
平均悪手について説明したついでにID:rHvh+CaLのようにトンチンカンな講釈をする輩もいるので、平均悪手の何が疑問、あるいは問題なのか整理してみたい
その１
なぜ強さの指標として一般的に評価されやすい一致率や、(1)の悪手率に着目しなかったのか？
そんなはずはない
GPSfishというソフトでは、一致率や悪手率が強さの指標として思わしい結果が出なかったから採用に至らなかったわけだ
つまり、GPSfishの一致率や悪手率は精度が足りなかったのだ
なのになぜ平均悪手なら有効といえるのか？これは大きな疑問だ
山下は対象とする局面を制限しているが、当然、制限局面の設定を変えれば平均悪手も変わる
その結果、制限局面の設定条件次第で異なる結果が出るので山下研究への疑問となっている
竹内は2015年に山下と同様に対象局面を<10に制限してGPS等4種類のソフトで平均悪手とEloレートの相関を調べたが｢相関はみられなかった｣
そのとき、局面を<10に制限すると終盤の局面のほとんどが対象外になってしまうことに疑問をもった
そこで、評価値ではなく悪手の回数だけに変更して(悪手の定義は山下方式と同じ)<50の局面まで調べたところEloレーティングと強い相関が確認できたという
ここで<10とあるのは当時の評価値の仕様で現在の評価値の置き換えると<1000に相当する
<50は<5000を意味するので竹内は悪手の回数を調べるのに最後の詰の局面以外のほとんどを対象にしたということだ
ShogiGuiでは<700と<1500の両方で平均悪手を出しているから山下の平均悪手<10はこの中間の<1000での平均悪手を調べたことになるわけだ
さらに、山下の先行研究に対して2018年にGikou2で再調査したのが馬場と伊藤両名による論文だ
これを詳しく見ていこう
①局面を<1000に制限した場合
これは、山下の<10と同じ研究なのだが、彼らは｢平均悪手｣は通常の悪手と混同されやすいために｢平均損失｣という用語に変えている
これによるとクエストの棋譜では平均損失は300点台から100点弱までの値となっている
クエストのレーティングの2200あたりまでは平均損失が小さいほどレートが高いという関係が見られるが、それ以上のレートでは比例しなくなり、横這いになっている
つまり、平均損失が100前後あたりまで小さくなると強さの峻別に平均悪手は有効でなくなることを示している
馬場らは局面評価<100での平均損失とレーティングの関係もグラフにしていて、<1000の結果と同様に
｢レーティングが上昇するにつれて平均損失も上昇する傾向が見られることがわかった．また， レーティングが 2000 以上でグラフが単調増加しない場合 があることも観察された｣と記している
要するに見てわかる通り横這い(むしろダウン)しているのだ
ここで、俺が調べたトップ棋士の平均悪手表をもう一度見てくれ
https://i.imgur.com/nGunrrE.png
トップ棋士ですら平均悪手は50前後から100前後までバラついていたはずだ
つまり、平均悪手(平均損失)は100前後以下の値の集団では強さの峻別に有効でなくなるのだ
この論文では局面評価数ごとの相関係数も調べている
これによると対象局面を<1000に制限した場合に(前半40手は除外する)1局平均で10局面が対象となり200局面(つまり20棋譜)のときの0.9超が最大で、それ以上の棋譜を解析しても相関係数は上がらない(むしろ下がる)という結果になった
<300の場合も20棋譜あたりが0.85で最大を示し、50棋譜になると0.6を下回り、100棋譜で0.8まで戻っている
同じようにレート100のプロットごとに調べた一致率の相関係数なら0.98もあった
0.98という強い相関があっても全棋士のレーティングとの相関係数は0.7にしかならなかった
平均悪手(損失)のように、プロットでの相関係数が最大でも0.9がやっとでは個々の棋士の強さまで峻別する精度の指標にはなりえないことが判明したことになる
しかも、アマの棋力との相関ですらこの程度で、プロの棋力との相関はまったく確認できなかった
さらに致命的なのは解析する棋譜を増やしても精度が上がらず、むしろ低下していることだ
これは棋譜数を増やせば増やすほどイレギュラー値が入り込んでしまうからと考えられる
山下は勝敗等の成績と無関係に純粋に棋譜の内容(平均悪手)から棋力(Eloレーティング)が推定できるとしているが、これは辻褄が合っていない
平均悪手で強さが分かるのであれば、勝った側の平均悪手は負けた側の平均悪手より小さいという命題が成立しなければならない
例外はあっても傾向としては必ずそうなる
勝った側と負けた側で平均悪手が違わないのであれば、平均悪手は強さの指標として有効でないことになるからだ
すると、どうなるか？
集めた棋譜に偏りがあれば、勝局が多く集まった棋士の平均悪手は小さくなり、逆なら大きくなる
棋士の勝率に合わせて棋譜を集めた場合でも、勝率は対局相手次第で変わるから相手のレベルが違うときや活躍した時代が違う棋士の平均悪手を調べても用をなさないことになる
平均悪手が勝局と敗局で大きな違いがなく棋士による違いのほうが大きいのであれば指標として有効かもしれないが、その場合はむしろ解析したソフトの精度が怪しいことになる
そこで、これを見ていただきたい
これは先ほどのトップ棋士の平均悪手表を勝局と敗局ごとに分けて平均を出したものだ
抜けていたデータを見直しているので多少違うところがあるが、同じ棋士でも勝局と敗局で平均悪手が全然違うことが確認できる
太字で表示してあるのが敗局の平均悪手データだ
https://i.imgur.com/YcQXjIn.png
0588名無し名人
2019/12/14(土) 10:45:36.49ID:+JyL/6oU申し訳ない
たぶん、データのズレの誤り
すぐに点検できないので訂正は後程でご容赦を
点検誤りではなく8月2日の竜王戦の豊島渡辺戦(先手豊島勝ち)の棋譜です
<700の平均悪手なのでこうした数値でした(豊島は<700が6.75)
<1500は見ての通り渡辺は46.08、豊島が4.50となっています
いずれにしても平均悪手が少ない棋譜かな
一致率は豊島85%(悪手0、疑問手0)、渡辺が66%(悪手1、疑問手2)
機械的に解析に掛けているだけなので、誤差の精査なしのデータと承知されたし
となると当然、今のソフトは強くなりすぎてプロ棋士を評価するのに適していないのではないか？
GPSfishで算出した平均悪手が最も人間(プロ棋士)の棋力判定に適している可能性はないのか？
と思われるかもしれない
とんち問答ではないが、だとしたらGPSfishで平均悪手がもっとも小さかった羽生善治がGPSfishにもっとも棋力が近く、他の棋士はGPSfishより弱いかGPSfishより強い棋士ということになるのではないだろうか
真相は集めた棋譜の勝率がもっともよかったのが羽生というだけかもしれないが
そこで、実は1週間前に実験したものがあるのでお見せしたい
ご判断はおまかせする
実験計画
今年の棋譜から3時間以上の棋戦で81手以上121手以内で先手が勝った棋譜を集める
その中から対局日が新しい棋譜を30局選び41手の局面からllqha3で1手1秒で解析する
棋譜を貼り直してGPSfishで同じく1手1秒で解析する
先手(勝局側)と後手(敗局側)の一致率、<700、<1500それぞれの平均悪手、および1局平均を調べる
一致率は41手目から終局まで
計測したところ、illqha3は1秒でdepth14～19、GPSfishはShogiGui付属のソフトで1秒11～12だった
実験の目的
GPSfishの1手1秒(平均depth11相当)の浅い読みによってプロ棋士の棋力を判定することは不可能であることを証明する
想定したことと結果
①一致率、平均悪手とも先手が良い→◯
②一致率、平均悪手とも先手後手の差がillqha3よりGPSfishが小さい→◯
③GPSfishの評価と illqha3の評価が真逆になる例がある→◯
https://i.imgur.com/hdOZ2Ld.png
見ての通り、先手(勝ち)はillqha3の数値がGPSfishの数値より良く、後手(負け)はillqha3の数値がGPSfishの数値より悪い
それが、解析した30局の一致率を先手と後手で比較した棒グラフだ
上がillqha3によるもの、下がGPSfishによるものだ
https://i.imgur.com/sS0oXj0.png
illqha3の一致率はすべて先手の一致率が高く、その差もハッキリと出ているのに対して、GPSfishのほうは先手(勝ち)より後手(負け)の側の一致率のが高い局が14局もあった
つまり、これらの局ではGPSfishは強い棋士のほうでなく弱い棋士のほうを強い棋士と間違えて評価していることになる
GPSfishの元データは次の通り
太字にしたのが、勝った先手より負けた後手のほうが良いと評価したことを表している
少なくともこれらの局においては、GPSfishはillqha3とは評価値で真逆の評価をしているのだ
こんなソフトで傑出している棋士を評価するなどちゃんちゃらおかしいという結論になるのは当然だろう
https://i.imgur.com/zhej7Qt.png
ランキングは12月13日現在／下位はカット
https://i.imgur.com/1lgIUGe.png
＞ここで<10とあるのは当時の評価値の仕様で現在の評価値の置き換えると<1000に相当する
↓
＞ここで<10とあるのは山下が評価値をなぜか100で割っているからで元の評価値に戻すと<1000になる
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 食パン「超熟」に…ネズミの一部“5センチ程度”が混入 購入者から「異物が混入している」とメールや電話 いずれも群馬県内で販売 [どどん★]
- 【千葉】「表に出ろ！」 マクドナルド店員、年配客に激怒 同僚女性店員が止めに入る動画が拡散 「心より深くお詫び」謝罪★１０ [シャチ★]
- ホリエモン“人不足で会社休めない”悩みに言及「あんたレベルの人なんていくらでもいる。自意識過剰笑」 [ひかり★]
- 「水着姿になるのが嫌」生徒の声 “ジェンダーレス水着”400校以上が採用へ [おっさん友の会★]
- 人気コスプレイヤー、イベントでの無加工写真が「別人」で炎上 真相を説明「67キロまで太って申し訳ございません」 [ネギうどん★]
- 【Apple】「悲しくなった」「リスペクトがない」「嫌悪感」――楽器や画材を潰すiPadの紹介映像が物議 [Ailuropoda melanoleuca★]
- 【画像】風俗嬢にハマる弱者男性さん、想像を絶するモンスターだった…😨 [746833765]
- Vtuber実況総合🏡
- 敷島パン「超熟に入ってたのはクマネズミでした！」 ＞こいつ大丈夫なネズミ？ [425744418]
- 元天才子役・黒田勇樹、激変した４２歳の姿 [577316145]
- 青空駐車の戸建住宅ｗｗｗｗｗｗｗｗｗｗｗｗ
- ワイ無能、吐く🏡