X
トップページ⇒将棋・チェス
1002コメント732KB
最新ソフトで棋士の指し手一致率を調査した結果 2
■ このスレッドは過去ログ倉庫に格納されています
0102◆f7OmZ9ucu2
垢版 |
2019/08/28(水) 13:10:54.44ID:BvtGCFO3
>>100
棋戦データに標識をつけて三区分でデータベース化しているということ
だから三区分でのデータは簡単に取り出せるという意味だよ
区分の仕方が問題だと思うならどういう区分がよいのか意見してみよう
それと、個々の棋士を分析するときに細分化したデータは役に立たないと思ったほうがいい
現状では、1時間以下の早指しと3時間以上の棋戦の二つぐらいで十分だろう
全棋士レベルでの分析ならNHK杯だけとか、朝日杯だけとか、その両方とか、種々の分析はいつでもできるよ
0103◆f7OmZ9ucu2
垢版 |
2019/08/28(水) 13:24:20.20ID:BvtGCFO3
王将戦は予選が3時間でリーグ戦が4時間だが、残念ながらデータベース上で区別していない
3時間で取り出せるのは新人王戦と叡王戦本戦だけになる
棋王戦は4時間の棋戦のデータとして使える
王座戦と竜王戦は5時間棋戦、順位戦は6時間棋戦のデータとして使える
どれだけのデータ数が集計できるかわからないが、今日は1日暇なのでやってみよう
0104◆f7OmZ9ucu2
垢版 |
2019/08/28(水) 14:44:54.85ID:BvtGCFO3
>>100
棋戦別の一致率を出してみた
棋戦ごとにレート平均が異なるので比較は難しいが、持ち時間が長くなると一致率が高くなる傾向は出ていない
レート平均があまり違わない新人王戦、棋王戦、竜王戦で見ても違いは見てとれない

二日制の対局の一致率が高いのは
>>89で比較したように棋士の棋力が高いのが理由で、この5棋士は一日制の対局でも似たような数値だった

以上のように3時間と6時間といった持ち時間の違いで一致率が異なるという傾向は見られなかった
「微妙な差しかないのを立証する」のが統計学でなく、
有意差がなければ、両者に違いはないと見なすのが統計を扱う基本だ
そうした基本に戻って意見してくれ
なお、>>31でレスしたように3時間以上の棋戦とNHK杯の一致率には有意な違いがある

https://i.imgur.com/gFBtvhm.png
0106◆f7OmZ9ucu2
垢版 |
2019/08/28(水) 21:45:17.08ID:BvtGCFO3
>>93
>>94で約束したように平均悪手を平均値の小さい棋士の順に並べた表を作ってみた
前回同様2018年1月～8月までの集計だ
平均値が高い2枚目を見るといい
羽生28局の平均が74.8(中央値44.4)だ
豊島39局83.8(56.0)
深浦18局91.8(75.2)
久保18局96.8(60.1)
近藤14局97.7(37.5)
増田18局103.4(63.6)
斎藤12局104.7(46.2)

このようになっている
平均悪手で棋力の推定は無理だ

https://i.imgur.com/pCtSXqs.png
https://i.imgur.com/KsWFYPm.png
0108名無し名人
垢版 |
2019/08/29(木) 01:39:22.58ID:v1Fmy0BZ
>>94
山下論文方式も「中央値」もどちらも一長一短
なのでどちらの判別力が優れているかをデータなしに机上で力説しても全く無意味
山下論文方式は一定の判別力ありとなっているので仮に中央値方式がダメであれば山下論文方式を試せばいいだけ
実際に2つのデータを並べて判別力を比較分析すればわかる話

あと>>106でなんで「無理」という結論付けているのか全くわからない
中央値方式は判別力が低い可能性はあるが、あまりにも対局サンプルが少なすぎる棋士が大半
対局数が少ないためまだ敗戦データがほとんど含まれていない棋士があれば当然上位になってしまうことが予想される
恐らく一致率データもこれくらいの局数で対戦相手を勘案せずに個々人レベルで見るとこんな感じでは？
0109名無し名人
垢版 |
2019/08/29(木) 03:27:14.55ID:h22jIbzZ
彼が欲しているのは承認だけだからな
0110名無し名人
垢版 |
2019/08/29(木) 06:31:50.64ID:GpiqX+vu
>>98
> 一致率と棋力の相関の高さ

このような統計的（帰納的）手法の場合だと、得られた数字は
何らかの特定の目的に使用する分には十分に高いという言い方になるはずでは？

今のままでは「５ちゃんで匿名で承認欲求を満たす分には十分に高い…っぽい（…はず）」ぐらいにしかならないと思うのだが
0111◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 06:58:22.09ID:hnAsKu/o
>>108
実際に平均悪手というものがどういう数値でどういう挙動をするものか棋譜解析をしてみるとすぐに分かることだよ
こんな荒い数値で、Eloレートのように5点違うだけで順位が変わるプロ棋士の棋力をランキングできないんだよ
歴代棋士ならそんなもんかと思わせることができても、実際に現棋士に応用して平均悪手を試してみると一目瞭然になる
データ数が少ないからと逃げても誰も説得できない
あとで、2017年1月からの平均悪手の通算での順位と、データ数が多い羽生と藤井聡太の例をお見せするよ
二日制対局では羽生より渡辺が強かったのに、山下式平均悪手レートでは羽生のほうが267も強かったことになっている
これは勝率で82.3%が期待できる差だ
この一点だけでも平均悪手レートが使える代物でないことを指摘できる
更に、ロジックでも実験でも否定されたわけだから完全論破したことになる
反論したいなら、俺が現棋士の一致率をEloレートと比較して検証しているように、山下式平均悪手なら現棋士のEloレートと比較しても破綻しないことを示したらどうか
羽生と渡辺でレートが267点も違うような一次方程式で算出して、5点違えば順位が変わってしまうEloレーティングのような結果が出るわけがないのは明らかだろう
0112◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 07:43:01.63ID:hnAsKu/o
二日制タイトル戦では、渡辺は羽生よりEloレートで少なくとも40強かっただろう
山下レートでは逆に羽生が渡辺より260強かったことになっているので誤差は300ということになる
渡辺と羽生で300もの誤差が起きてしまう計算式で、300点の範囲に1位(渡辺1978)から38位(佐藤和俊1678まで)まで存在するプロ棋士の棋力の測定は無理だ
何度も「無理」を連呼しているが「無理だ」としか言いようがない
0113◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 08:59:18.30ID:hnAsKu/o
一致率と平均悪手は何が違うのか
一致率88%と85%では倍率で1.03しか違わない
平均悪手は2回試行で20と30といったように1.5倍違う
1局の違いや、勝者と敗者となるともっと違う
一致率は最大でも100%と50%で2倍の範囲内に収まるが、平均悪手は20と60や100というように3倍、5倍が通常で、理論的には0から1000以上まで無限大となる
一致率ならデータ数を増やしていけばEloレーティングのような精度で棋力判定が可能だが、平均悪手ではいくらデータを増やしても期待できない
何より、平均悪手がプロ棋士の棋力と関係しているという理論的な根拠がない
悪手点が大きいか小さいかは正解を外した場合の結果でしかなく、それより何回正解したか(一致率)のほうが棋力に関係していると見るべきだからだ
0114名無し名人
垢版 |
2019/08/29(木) 11:51:33.76ID:e75QoQ83
いい加減くだらない数字遊び止めろや
0115名無し名人
垢版 |
2019/08/29(木) 12:20:55.36ID:o+Q4yJmk
すごい・・・世の中にはやっぱり頭いい人多いなあ。
本にしてくれれば絶対買う。

別にファンではないのだけど、羽生さんの棋力の衰えも一致率の低下で示されてるのかな？
既出だったら申し訳ないけど。
0116◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 13:37:51.75ID:hnAsKu/o
率直にいって棋力の衰えは数値にあまり現れていない
羽生さん本人も衰えたとはそんなに感じていないのではないかな
二日制が今一なのは昔からだし、ここ数年の劣勢は羽生神話が崩れたことが大きかったと見ている
つまり、羽生さんでも割とたくさん悪手を指しているというのがソフトでの棋譜解析でわかってきて、羽生さんに心理的に負けなくなってきたのでは
持ち時間5時間以内の棋戦なら、時間が少ないほど優勝したりタイトルを獲得する機会はまだまだあると思う
0117◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 14:50:39.68ID:hnAsKu/o
>>82
＞64年の大山は対局の半分は10時間の将棋だったんじゃないの

名人戦の解析データでよければ大山と羽生の一致率で比較できるよ

大山は1964-72の9年分、52局35勝17敗(0.673)を解析した
羽生は1994-97の4年分と03年、08年、09年、11年、18年の計9年分、51局31勝20敗(0.608)を解析した
大山は全盛期とそのあとの後退期、陥落した最後の名人戦まで連続した期間を選んで不審に見られる抜け番がないようにした
羽生は24歳から27歳まで連続した名人戦をメインにした
羽生の輝かしい成績は20代に集中していて、30代と40代はすべての面で大山に比較できるものがない
したがって、20代をメインにしたことに異論はないだろう
これに解析が済んでいる03年、08年、09年、11年の名人戦と、大山に合わせて40代最後の名人戦を加えて9年分を用意した
勝率比較では大山に有利に見えるが、大山の名人戦対局の勝率は0.68なのに対して羽生の名人戦対局の勝率は0.55なので、実際は羽生に有利になるように選んだつもりだ

表は各種指標の順位がわかるようになっているが、下欄にトータルの数値を載せている
長時間の棋戦は大山が強く羽生はあまり得意でなかったため、実際はこれ以上に離れていたと考えられるが、一致率で大山と羽生には3%の差が生じていることがわかる

https://i.imgur.com/MyuTjmS.png
0118◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 18:13:04.69ID:hnAsKu/o
>>108
モデルを使って説明しよう
一致率同様、平均悪手は計測する度に変わる
ソフトや探索深度の違いや、解析を打ち切る0.1秒の時間差でも数値は同じでない
1局120手のモデル局、40手中36手正解(一致率90%)で、悪手点合計800点、平均悪手20の棋譜がある
このうち正解と判定された1手が悪手(600点)と判定が変わるとどうなるか
一致率は35/40=87%(端数切り捨て)に下がるだけだが、平均悪手は600点/40=15点増えて35となる
一致率なら3ポイント違うだけだが、平均悪手だと15ポイント違うことになる
もし、この悪手が1200点であったなら平均悪手は30点増えて50になるわけで、一致率は1手3ポイントしか変わらないのに平均悪手は1手で30ポイントも変わるわけだ
正解手を指せなかったのは棋力に関係するだろうが、次善手が悪手ならこの悪手が600点であろうが、1200点であろうが結果論だ
棋力に関係しているのは正解できなかったという事実だけなのだ

>>111でお約束した集計表を見るとよい
https://i.imgur.com/QgrHKiy.png

データが20局以上の棋士だけを分析してある
相関係数は-0.6未満なので平均悪手を棋力判定に採用するのは無理、無理、無理だ
明らかにレート下位の女流棋士なら平均悪手の違いでプロ棋士と峻別できるようだが、それでもレートで500近く差があるプロ棋士と中央値の比較で10ポイントも違わない
これではEloレーティングの代用になりようがないだろう
0119名無し名人
垢版 |
2019/08/29(木) 18:44:12.90ID:b9Z2K+5Q
中原誠とか木村義雄の一致率ってどうなの？
強いってよく言われるけど
0120名無し名人
垢版 |
2019/08/29(木) 20:53:09.74ID:tUXiy2U9
>>117
羽生は1994-97の4年分と03年、08年、09年、11年、18年の計9年分、51局31勝20敗(0.608)を解析した

何でわざわざデータを不連続に取るのか？
普通に考えて御法度だろ
ダメだな
0121◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 21:15:13.20ID:hnAsKu/o
(1)一致率が平均悪手より強さの指標として優れている
このことは現棋士のEloレートと近似性が高いのは平均悪手でなく一致率であることで説明できるようになった
では、なぜソフトが注目された最初から一致率を重視してこなかったのか
話は昔、Bonanzaで一致率が調べられた時代に遡る
たしか、三浦棋士とか歴代棋士では升田とかが羽生より一致率が高いという結果になった
羽生が一番でないとおかしいし、今の棋士より大山名人や江戸時代の一部の棋士のほうが一致率が高いのもあり得ない
というわけで、それ以上研究が深められずに終わってしまったようなのだ
0122◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 21:16:56.47ID:hnAsKu/o
(2)一昔前はプロ棋士とソフト(Bnanza)の一致率は50%台だった
ソフトが弱ければ弱いほど最善手の見解は別れるから一致率は高くならない
Bnanzaと90%以上一致することは確率論的に滅多に起こらないわけだ
当時は、ソフトがプロ棋士と同じくらいに強くなれば一致率が80%くらいになり、ソフトがさらに強くなれば一致率は下がっていくのではと予測する者が多かった

そして、人間と似たような感覚で読むソフト(技巧)が出現して前段の予測は現実となった
江戸時代の棋士でも一致率90%以上になる棋譜が確認された
ところが三浦棋士は最善手を指せば技巧との一致率が高くなるのが当たり前なのに疑われてしまった
0123◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 21:20:06.30ID:hnAsKu/o
(3)もし、千田棋士が技巧の一致率データを正しく理解していたならあんな騒動にはならなかっただろう
当時まだボナンザとの一致率データしか知られていなかったから棋士の頭の中はソフトとの一致率はよくて60%台と理解されていた
実際に調べて見ると、勝局棋譜の技巧との一致率が80%以上になるのは普通のことで、100手以内で終局した一致率は90%以上でも珍しいことではなかった
データがないので誰も知らなかっただけなんだが、負けた相手側の一致率が60%台だったから｢こんなに違うのはおかしい｣とさらに火に油を注ぐことになってしまった
負けた側の一致率が60%台なのも普通のことで驚くことではなかったのだ
これもデータをとって、勝った側と負けた側に分けて分析していれば騒ぎにならずに済んでいたことだった
このあと、一致率を話題にすることすらタブーになってしまい、一致率の研究は数年遅れてしまったと言える

一致率の研究は、ソフトが弱い時代に一度否定され、一致率が高まった時代に、計測するたびに変わるから役に立つものではないと否定された
そして、三浦九段がされたように、心外な印象操作も可能であるがために一致率を調べること自体がタブーとされてしまったのだ
0124◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 21:21:21.25ID:hnAsKu/o
(4)それが、なぜ見直されているのか？
それは、ソフトの評価関数の信頼度が増したことと、探索深度を固定しての解析が可能になったからだ
中盤以降の手に限定して探索深度を17の精度で固定して解析するなら安定度が高い一致率の測定が可能だということがわかってきたのだ
ソフトは探索深度を17にした場合に17手先で局面評価を打ち切るわけではない
駒が当たっている状態なら当たっている駒がなくなる局面まで進めて評価を下している
とくに王手がかかっている状態なら先の先まで読むから、探索深度17でも30数手先まで読む仕様になっている
このようなわけで、一致率が高い棋士ほどソフトに近い棋力があるとみて間違いない
実際に個々の対局の一致率を比較すると、一致率が高いほうの勝率が93%になっている
技巧で一致率を測定していた頃は一致率が高い棋士のほうの勝率は71%だった

また、｢ソフトがさらに強くなれば一致率は下がっていくのでは｣という予測は当たらなかった
トップ棋士が高い数値を出した一致率は強いソフトにかけても高い一致率のままであることがわかってきたのだ
0125◆f7OmZ9ucu2
垢版 |
2019/08/29(木) 21:24:06.41ID:hnAsKu/o
(5)一致率は｢羽生さんが一番でない指標は使えない｣ということで、長い間、省みられなかった
Bonanzaと棋士の一致率はせいぜい60%台と言われていたのは、トップ棋士が最善手を指していてもBonanzaが最善手と認識できないことが多かったからだ
中盤以降の一致率は今は評価値付の観戦で誰でも分かるし、何より対局中の棋譜をソフトに検討させながら観戦することもできる
藤井、渡辺の後半一致率が80%を越えているのは今では常識のようなもの
勝局時の一致率なら、85%になるのは珍しいことでもなんでもない
ほとんどの棋士が1局ぐらいは85%を記録している
三浦九段も9勝中4局で一致率が80%を越えている(>>6)
今はソフトが人間より遥かに強くなったので解析の精度が上がり、トップ棋士なら指し手の80%が最善手なのがわかってきたのだ
残りの数手だけが人間にはどうしても指せないような最善手で、それが人間とソフトの大きな差になっている
したがって、一致率を棋力の指標として使わない手はない
一致率が高い棋士ほど悪手を指してしまう確率が下がり、逆に相手の悪手を咎める確率が上がるといってよい
これが一致率を指標に採用する利点だ

悪手は読み抜けがあるから生じる
読み抜けが大事にいたらずに済むか致命的な見落としになってしまうかは運次第といってよい
だから、悪手の数でなく一致率のほうを重視したほうがよい
悪手かどうかの判定すらソフトやマシンの評価値次第で変わることがある
だからこそ、悪手そのものの数より一致率のほうが棋力の指標にふさわしいのだ

実際、Eloレーティングとの高い相関が確認できるようになった
かつて一致率より平均悪手のほうが情報量が多いから優れていると提唱されていた
しかし、不正確な数値は量が多ければゴミの山になるだけだ
これからやってみようという人には一致率のデータを集めるべきことを強く提唱したい
データを持ち寄ることができれば、史上最強棋士論争も客観性がある議論ができるようになるに違いない
0126名無し名人
垢版 |
2019/08/30(金) 01:05:37.28ID:tgmkrBdG
ジョイナー三浦を擁護したいから頑張ってたと
0127名無し名人
垢版 |
2019/08/30(金) 08:04:14.56ID:USdSacwd
>>125
> 一致率は｢羽生さんが一番でない指標は使えない｣ということで、長い間、省みられなかった

さすがに嘘でしょ？
ちょっと検索してみたけど、それを裏付ける証拠が、なんも出てこないんだけど？
嘘だよね？
0128名無し名人
垢版 |
2019/08/30(金) 08:06:37.09ID:USdSacwd
お前、こんなところに長文投稿して、アホな奴を騙くらかすのは別にいいとしても
だからと言って、嘘八百ぶっこいてもいいなんてことにはなりゃしねえからな？
調子コイてんじゃねえぞ？ゴミ
0129◆f7OmZ9ucu2
垢版 |
2019/08/30(金) 15:27:31.70ID:DOlcY4Df
(6)40局程度の一致率データから算出した換算レートで若い棋士の将来性を占うことができるようになるかもしれない
それも楽しみだが、やはり棋力が比較できるとなると、歴代棋士の一致率にも興味がいく
そして、史上最強論争は避けられないことになる
とくに、これまで、羽生ファンからの反発が大きかった
名人戦の一致率データを調べると全般的に羽生より大山のほうがよいという結果になるが、こうしたデータを開示すれば、当然のようにインチキだといわれてしまう
そして、
「一致率でなく平均悪手で調べるべきだ」
「山下論文では10番指せば羽生が大山に8勝すると結論が出ている」
このような批判が繰り返されてきた
となると、平均悪手や山下論文にも触れざるを得なくなる

結局、歴代棋士で最強なのは羽生であるから、羽生が一番にならない一致率データはおかしい、間違っているという主張なのだ
となると、では、本当に羽生は最強だったと言えるのか、その根拠は何か、ということになろう
下記のスレが16まで続いているのも、羽生ファンが繰り言を続けるばかりで議論にならないからだが、羽生が最強という証拠は実績で否定されてきている

羽生善治は大山康晴を超えることができるのか？ 16
https://mevius.5ch.net/test/read.cgi/bgame/1565593483/
0130名無し名人
垢版 |
2019/08/30(金) 20:22:19.97ID:et1r1wT6
大山の時代のデータまるでないから役に立たねーよ
いい加減にしろクズ
0131◆f7OmZ9ucu2
垢版 |
2019/08/31(土) 23:10:11.14ID:oWT9qukC
更新中の最新データ開示(8月31日現在)
Eloレート60位以内の棋士を換算レートで並び替えてある
Eloレートより換算レートが目立って高い棋士は上から順に阿部光璢、高見、石井、八代、西尾、今泉、鈴木、高野、梶浦の9棋士
いずれもデータ数が20以下の棋士になった
しかし、別表のレート推移表でEloレート30位の阿部光璢棋士を例にとると、Eloレートも換算レートもアップで推移しているので棋力向上があったとみてとれる
一方で石井棋士の例は、レートは下がっているのに換算レートがアップしているケースになる
これは8月の敗局2局の棋譜解析がなされていないのが要因だ
いずれにしてもデータ不足がイレギュラーの最大の原因と考えられる
なお、注目していた本田四段はEloレート63位なので欄外になったが、換算レートは1825なので糸谷と同格だ
これも、データが18局なのでいずれ訂正されていくと見ている

逆にEloレートより換算レートの順位が目立って低い棋士もいる
佐藤天彦(18局)、阿久津(24局)、山崎(17局)、佐藤和俊(11局)の4棋士だが、これもデータ数が最大の原因であろう
そうしたイレギュラーがあってもEloレート上位60位までの棋士のEloレートと換算レートには高い相関がある
ここまでのデータを詳細に分析すると早指し戦の比率が棋士によって異なっているし、得手不得手もあるに違いない
9月30日には、早指し戦を除外した換算レートや、相居飛車と対抗形に分けた換算レートも出してみるつもりだ
0134名無し名人
垢版 |
2019/09/02(月) 11:09:00.48ID:fz77EQWc
ソフトのおかげでこういう横槍いれた批評が厚みを増して面白くなってきたね
0135名無し名人
垢版 |
2019/09/02(月) 20:24:51.75ID:Z1Q+vYZa
>>127
山下論文で歴代名人の一致率も調べているが羽生が断トツだよ
なので「羽生がトップでないから使ってなかった」というのは明らかな誤り
単純に一致率より平均悪手(点)の方が優秀と判断したから使わなかっただけ
0136名無し名人
垢版 |
2019/09/02(月) 21:18:47.56ID:Z1Q+vYZa
>>70
式の意味をもっとわかりやすくなるよう変型すると
(勝率×314+1133)×(実測一致率/理論一致率)+平均相手レート×1.15-1561
つまり一致率と全く関係なく対局相手と勝率だけから算定される「(勝率×314+1133)+平均相手レート×1.15-1561」という仮換算レートを「実測一致率/理論一致率」で調整する形となっている

で、実際どれくらい調整しているかというと、まず理論一致率は「勝率×0.83+敗率×0.65」で勝率8割なら79.4％、勝率6割なら75.8％
これを上位24棋士に当てはめて計算すると(実測一致率/理論一致率)は93％～105％の範囲となる
換算レートに+-50以上の影響があったのは4人
最大下方調整が山崎で-107、最大上方調整藤井が62だが大半は+-20程度の微調整しかされていない
0137名無し名人
垢版 |
2019/09/02(月) 21:21:22.61ID:X27f2SQW
実際、一致率なんかどうでもいいわな。どんなルートでも勝てればいい。あからさまな悪手だけは勝ちを負けにしてしまうので少なければ少ないほど強い
0138名無し名人
垢版 |
2019/09/02(月) 21:32:05.97ID:Z1Q+vYZa
>>136
つまり勝率と対戦相手だけで凡その仮レーティングは推測できており、それに一致率による調整を加えることがどれほどのプラスになっているか、そもそも余分なノイズを加えてマイナスになっていないかを検証しないと一致率で調整する根拠は全くない
単純な話仮レーティングの判別力がかなり高いので、調整が少ない指標を使った算式であればそれが仮に全く意味のない指標でも高い判別力を示してしまう
棋力と相関がある「否悪手率」でもいいし棋力と相関の怪しい「詰みあり局面からの勝局率」でもよく、単純な話「先手番率」でも全く同じように極めて高い判別力を示す事になる
0139◆f7OmZ9ucu2
垢版 |
2019/09/02(月) 21:37:25.69ID:0WsPI8/W
>>135
Bnanzaで調べたときの話だよ
確かにGPSFishでは羽生が一致率0.608で最高になっているようだね
しかし、これをこのまま受け取る人はどうかと思うよ
最高で一致率が60%というのでは一致率はあてにならないから却下されて当然でしょ
もちろん、一致率があてにならないわけだから平均悪手もあてになるわけがないよね
なぜなら、最新のソフトでだったら一致している指し手が他に20%もあるのにそれを悪手と認定しているわけだからね
それと、一致率の集計自体が疑問だらけなんだよ
これまで説明してきたように勝った局と負けた局では一致率にかなりの差がある
つまり、勝率がよいデータを集めて解析すれば一致率は高くなり、勝率が悪いデータを集めて解析すれば一致率は悪くなる
その観点で改めてGPSFishとの一致率の表を見るといい
羽生は勝率0.638で一致率0.608
森内は勝率0.486で一致率0.581
これで羽生のほう一致率がよいと言えるのか
おそらく勝局だけに限れば森内のほうがいいだろう
森内は実際にタイトル戦の勝率が羽生より悪かったわけだから是正する必要はないだろうが大山は違う
大山の勝率は羽生と同じ44歳までのタイトル戦なら0.680以上あった
それが集めたデータは大山66歳までのデータで、表を見ると大山の勝率は0.597になっている
その結果、一致率は0.562だったことになっている
おそらく、勝率0.680のデータの一致率だったら羽生の0.608を超えていたわけだ
これでは、合理的な一致率データを初めからとるつもりがなかったと批判されてもやむを得ないだろう
升田の一致率も合理的でない
タイトル戦に限れば相手のほとんどが大山で勝率も表にあるように0.400だ
その結果の一致率が0.540なのだ
もし、一般棋戦のデータを含め年間の一致率データを出していたら升田の一致率は当然もっと高くなっている
0140名無し名人
垢版 |
2019/09/02(月) 21:42:16.79ID:Z1Q+vYZa
なのでせっかく多大な時間をかけて検証するのであれば「対戦相手関係なく棋譜だけで判別する」という原点に立ち返ってまず山下論文の「平均悪手(点)」を検証して、それをよりよい調整を目指す方向に舵を切り直してくれたらいいなと思ってる
「中央値方式」が失敗でも他の調整を色々試す意味はあるはず
そもそも山下論文方式で最新のソフトを使って現代の上位棋士の棋譜を検証するとどれくらいの判別力を示すのかという素朴な疑問がある
0141名無し名人
垢版 |
2019/09/02(月) 21:48:18.76ID:Z1Q+vYZa
>>139
つまり採用しなかった理由は「羽生がトップでないから」ではないよね
誤りは誤りと認めようよ
0142◆f7OmZ9ucu2
垢版 |
2019/09/02(月) 21:55:37.85ID:0WsPI8/W
>>136,138
勝率と相手Eloレートと棋士のEloレートに関係性があるのはEloレートの計算原理から当たり前のことだよ
相手Eloレートの情報に頼らず一致率と相手一致率だけからEloレートに極めて相関する換算レートを出すことができるという点が重要で画期的なんだよ
君が式の根拠に使用している理論一致率自体が俺が調べないと分からない平均勝局一致率と平均敗局一致率を用いているのだから、やっていることがむちゃくちゃなんだよ
それと、何度も言っているように換算式は不変でない
暫定的に採用している換算式で個々の棋士のEloレートとの違いを云々する段階ではない
今は全体の相関具合を検証している段階で、それも24棋士だけに限った話でないし、個々の棋士のズレは様子見をして注目していけばよい話だよ
0143名無し名人
垢版 |
2019/09/02(月) 21:57:43.56ID:Z1Q+vYZa
>>139
ところでこのスレで定義してる「一致率」って最善手判定一手とだけ？
「逆順で検証して評価が下がらなかった手は最善とみなす」というような定義をしてたから一手とは全く限らないということ？
0144◆f7OmZ9ucu2
垢版 |
2019/09/02(月) 22:02:42.36ID:0WsPI8/W
>>141
羽生の一致率がトップでなかったから一致率を採用しなかったというのは誤りだったと認めるよ
それでも、自分の記憶ではBonanzaで一致率を調べられた頃は羽生より三浦が高くなっているから一致率はあまりあてにできる指標ではないとされたと思っているし、これについては訂正しないよ
それは置かせてもらうとして、>>139で指摘したことへの君の意見はどうなんだ
0145名無し名人
垢版 |
2019/09/02(月) 22:03:57.45ID:Z1Q+vYZa
>>142
相手の一致率を計算するのに当該対局だけでなくその棋士の多数の棋士相手の棋譜を集めないといけないよね
それができるのなら自然に勝率がわかるので凡そのレーティングがわかる
できずに仮の一致率を使うのであればそれは仮のレーティングをあてはめてるのと全く同じ
一致率を使う意味が全くない
0146名無し名人
垢版 |
2019/09/02(月) 22:10:47.22ID:Z1Q+vYZa
>>144
長すぎて異論があるところを一々ツッコンだらキリがない
もう少し短く書く事を考えようよ

総論としては大体同じであの論文に出てる一致率は使えないと思ってる
理由として勝率によって大きく異なってしまうのと対戦相手のレベルによって大きく変動してしまう可能性がある事
もしくは100局では全く足りないサンプル数が必要となるか個人差が大きすぎてそもそも使えないか
(勝率が変わらない木村と清水で一致率がほぼ同一)
0147名無し名人
垢版 |
2019/09/02(月) 22:13:28.44ID:XIMWlc2m
>>141
こういうところで嘘つくやつってのが丸わかりだからデータ出されても全然信じる気が起きんw
0148◆f7OmZ9ucu2
垢版 |
2019/09/02(月) 22:18:03.29ID:0WsPI8/W
>>143
俺が最善と見なしているんじゃなくて、ソフトが勝手に最善手と判定してくれるということ
つまり△でなく○がつくということだね

実際に相手に咎められると逆転するような手を指さない限り間違った手とは言えないし、正確に咎めていれば逆転できていたのに間違えたというのでなければ負けは負けだからね
それは極端な話だけど、ある程度、最善手判定には幅があったほうが棋力との相関が高くなるということなんじゃないかな

よく、検討モードでもっと深く読ませると最善手が変わって最善手より評価値が100下がる手だったとかいうけど、どっちも最善手でいいんじゃないのという判定をしているということだね
次善手判定とは違うからね
次善手は評価値関係なく評価値が二番目なら次善手だろうから
0149◆f7OmZ9ucu2
垢版 |
2019/09/02(月) 22:56:32.72ID:0WsPI8/W
>>145
一致率と勝率はイコールでないよ
Eloレートと勝率もイコールでないよ
相手一致率と相手レートが相関するなら、それは勝率に関係なく一致率とEloレートに相関がある何よりの証拠だよ
棋譜解析のデータを見るといいよ
一致率と勝率は棋士によって異なっているし、そもそも、一致率と勝率は相関していない
あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら一致率も同じということにはならない

レーティングの数値でなく一致率が役に立つのは、時代が違う棋士を比較したり棋士の将来性を予測したりするためだからね
現在の棋士の一致率がEloレーティングの代用になるとわかれば、過去の棋士の一致率を調べるのも悪くないからね
単純な話、過去のA級棋士のEloレート平均が現在のA級棋士のEloレート平均と同じでも一致率平均が現在のA級棋士より低かったら、過去のA級棋士は今のA級棋士より弱かったと断定できることになる
そうしたことは一致率のデータを集めたからこそ言えるようになるんじゃないかな
0150◆f7OmZ9ucu2
垢版 |
2019/09/02(月) 23:43:43.47ID:0WsPI8/W
キャプチャーは貼らないが、今日の勝利で本田四段のEloレートは1606から1615に9アップして60位に戻った
換算レートは12上がって1837になった
これは現棋士の換算レートで14位だから5位評価の阿部六段同様かなりの過大評価だ
しかし、データ数は阿部より9局多い19局であるから、上位棋士との対局が少ないのをマイナスしても将来有望なのは間違いない
0151◆f7OmZ9ucu2
垢版 |
2019/09/02(月) 23:52:12.71ID:0WsPI8/W
>>149
＞あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら一致率も同じということにはならない

修正
あくまでも同一棋士なら勝率で一致率が変わるのが理屈で、勝率が同じなら棋士が違っても一致率が同じということにはならない
0152◆f7OmZ9ucu2
垢版 |
2019/09/03(火) 07:54:12.50ID:2bd5Ldra
>>140
結局、山下論文を支持したいがために一致率での分析を批判したいというスタンスなのかな

＞そもそも山下論文方式で最新のソフトを使って現代の上位棋士の棋譜を検証するとどれくらいの判別力を示すのかという素朴な疑問がある

その素朴な疑問への回答の一つが>>118だよ
中央値で検討しても平均値で検証してもEloレートの相関は無いに等しい結果になってるよ
これへの意見をぜひ述べてほしいね
もともと、あなたが催促したから出したデータだよ

それと、山下氏でないと出せない平均悪手での検証はできていない
それを所望するなら山下氏がなぜやろうとしないのかこそ「素朴な疑問」として持つべきだよ
最初の発表から5年も経っているんだから十分検証する時間はあったのにやっていないのはおかしいと思わないのかな
俺はやってみたけど発表していないだけだと思っているよ
0153◆f7OmZ9ucu2
垢版 |
2019/09/03(火) 08:40:19.22ID:2bd5Ldra
山下が後にやったことは29連勝の藤井聡太(14歳・四段)の平均悪手を羽生七冠らと同じ手法で調べて公表したことだよね
公表したスライドによると29棋譜の結果は羽生さんに匹敵する強さだったそうだが(羽生3347 藤井3305)、この発表で逆に平均悪手という指標に疑問が持たれることになったんじゃないかな
というのも、現在の藤井七段は明らかに29連勝のときより強くなっているよね
俺の一致率調査でもそうだし、Eloレートでもそうなっているし、藤井本人の弁を借りれば1年前の自分に勝率7割になるくらい強くなることを目標にしたいと言っていた通りになってきた
つまり、「藤井四段の強さは羽生さんに匹敵する」という平均悪手による解析の結果が正しいとすれば、現在の藤井七段は羽生七冠より強いということになる
それだけでなく、藤井七段よりレートが上の羽生九段も当然羽生七冠より強いし、レートトップの渡辺三冠は史上最強の棋士ということになる
一致率を強さの指標にした俺の分析では「渡辺三冠は大山五冠に匹敵する強さ」ということになるが、それ以外の結論は同じだ

山下氏には是非とも現棋士(少なくともレート上位60棋士)の平均悪手を調べてほしいものだ
0154名無し名人
垢版 |
2019/09/03(火) 20:10:23.23ID:QwNo9bVW
154
0155名無し名人
垢版 |
2019/09/03(火) 21:28:18.94ID:0NxOKRFH
悪手は定義が難しい
相手の応手次第という面もあるし
それに比べて最善手は定義が比較的易しいと思う

だから最善手に注目して強さを解析したいという方向性には賛同してる

いろいろ思うところがあるのは分かるが
余計な一言で本筋と関係ない口論でスレが流れるのはしのびない
淡々と研究を進めていってはどうか
0156名無し名人
垢版 |
2019/09/04(水) 00:44:04.17ID:CarCdZST
>>148
要は一手とは全く限らないという事？
「(最善手との)一致率」ではなく「否悪手率」という理解でいいの？
なんで平均「一致率」が山下論文や三浦事件の調査報告書より異常に高いのかと思ったらそういう事？
0157名無し名人
垢版 |
2019/09/04(水) 00:53:10.74ID:CarCdZST
>>152
山下論文は一手で評価値が1000点以上変動した手は除外して計算している
影響が大き過ぎるからとわざわざ除外してるのにそれを入れたら当然全く別の指標となるので山下論文方式の検証には全くなっていない
0158名無し名人
垢版 |
2019/09/04(水) 01:10:22.62ID:CarCdZST
>>152
山下論文の平均悪手(点)でも一致率でも否悪手率でもどれが優れていようが構わないよ
レートを推定するのにどういった手法を採用するのかどれくらい優れていてどれくらい誤差があるのかを知りたいだけ

だからあなたの「対戦相手の強さを加味」するという方法も最初はかなりいいのではと思ってた
思ってたからこそ自分で実際にデータ分析をした結果が実は>>136と>>138だったという事がわかって非常にがっかりしてる
0159◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 06:43:39.85ID:ImR44Ued
>>157
1手で1000点以上変動した手は勝負を決めた手だからそれを除外してどうしてプロ棋士の強さがわかるのか
プロ棋士の場合は、そうした1手の悪手で勝敗が決まることがアマよりはるかに大きいはずだ
だから、そのような平均悪手が現棋士のEloレートと強い相関があるか検証することが絶対必要なのに山下氏はやっていない

それと、俺が現棋士のEloレートとの相関を確かめるために使った平均悪手はShogiGuiが解析した平均悪手だ
なので、評価値が1500以上になった勝勢(敗勢)の局面から1000以上動いても形勢に変動がなければ平均悪手の計算から除外される設定になっている
どういうことかというと、最善手の評価値が3000のとき、1000点減点の評価値2000の手を指しても平均悪手の対象にならないということだ
それが、最善手の評価値が2200のとき1000点減点になる評価値1200の手を指せば平均悪手の対象にされる
同様に、最善手の評価値が-2000の敗勢のとき1000点減点の-3000の手を指しても平均悪手の対象にならないが、最善手の評価値が-1200のときに1000点減点の-2200の手を指せば平均悪手の対象になる
山下氏の平均悪手は、勝負手か形作りの手か大悪手かの区別を付けずに1000点以上変動しても平均悪手の対象にしないという方法を採用している
この山下氏の平均悪手よりShogiGuiの平均悪手のほうが合理的だ
そして、合理的なほうの平均悪手と現プロ棋士のEloレートには相関がないことが分かったわけだ
で、ShogiGuiでは山下氏定義の平均悪手を求めることはできないので、山下氏定義の平均悪手が現プロ棋士の棋力(Eloレート)と強い相関があることの証明は山下氏にやってもらうしかない
0160◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 07:16:45.04ID:ImR44Ued
何度もいうが、山下氏の換算レートは歴代棋士の強さを説明できるものになっていないので、現プロ棋士のレートとの相関を調べるまでもなく間違っている

①20以上の棋譜があれば十分なはずなのに、七冠時の羽生よりそれ以前の3,4年間の羽生の換算レートが高い数値になっている
②二日制では羽生より渡辺が強いのに羽生のほうが渡辺より267強いということになっている
これだけ大きな誤りは指標としての平均悪手に致命的な欠陥があるとしか考えられない
③29連勝の藤井四段の棋力は羽生さんに匹敵するということで精度の粗さを露呈した
プロ棋士の棋力を比較できる精度でものではないのだ
0161◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 07:35:17.86ID:ImR44Ued
>>156
正順解析での一致率はその局面で探索解析した評価値で判定していて、あとで訂正するということがない
逆順解析による一致率は実際に指した手で何手も先まで進めた局面での評価値を参照して判定しているので訂正があるという違いだね
だからと言って本物の悪手や疑問手が逆順解析で消えるということはないよ
当然、評価値で200も違う手が最善手に昇格することもないはず
そのうち、実際の解析キャプチャーで説明するよ
0167◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 12:37:27.91ID:ImR44Ued
最近の例として叡王戦の杉本vs本田の四段戦のキャプチャーから
https://i.imgur.com/tn1KPNU.png

見ての通り、本田の68手目55歩は解析ソフトの最善手55銀打とは異なる手なのに○がついている
候補手を1に設定して逆順解析すると稀にこうしたことがある
キャプチャー内の10手では71手目先手の56歩だけが悪手と認定されている
0168◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 12:39:43.48ID:ImR44Ued
次のキャプチャーは同じ対局の終盤だ
https://i.imgur.com/bFH99L2.png

今度は先手杉本の113手目と117手目が最善手と異なっているが○がついている
115手目の52桂成と121手目の36金打には○がついていないから、勝負がついているからという理由だけで○がついているのではない
粘ばる手があったときに粘りに欠いた手を指したら○はつかないわけだ
この棋譜の解析結果は先手負けの杉本の一致率が56%で、不一致の内訳は｢悪手2｣、｢疑問手3｣、｢？2｣、｢・11｣、計18
後手勝ち本田の一致率が90%で、不一致の内訳は｢悪手1｣、｢疑問手0｣、｢？1｣.｢・2｣、計4となっている
｢・｣は最善手の評価値と100以内か勝勢または敗勢後の不一致の指し手についている
キャプチャーでいうと、115手目と121手目だ
一致率の計算では一致数(○の数)に含まれず、平均悪手の計算では計算の対象外にされている
これを平均悪手の計算に入れたら多数局データの処理に困ることになる
杉本四段の平均悪手がこの1局のこの2手だけで1300になってしまうからだ
53000/41=1300
かといって、頓死や詰み逃しを始め、落手、ポカの類いの大悪手は巷に限りない
これらを平均悪手の計算から除外しても棋士の強さを知ることができるという合理的な根拠はどこにもないのだ

一方、一致率の不備なところは、投了についての判定がないという点だけだ
つまり、ここでの投了が正しいのかどうかも含めて一致率を出してくれるともっとよくなる
ときに、評価値差が1500未満での早すぎる投了や、中には形勢互角や詰まして勝ちの局面なのに勘違いでの投了まであるからね
0169◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 17:50:16.88ID:ImR44Ued
データ数別に調べたEloレートとの重相関R

データ数 平均 棋士数 Elo 一致率 相手 重相関R
>=10 15.8 102 1641 72.2 71.8 0.79
>=15 21.2 46 1727 73.9 72.7 0.81
>=20 27.9 18 1810 75.9 73.8 0.93
>=25 32.3 10 1845 77.6 73.8 0.95

データ数が増えるほど、相関が強くなっている
また、データ数が多い棋士ほど勝率がよくて対局数が多い棋士なので、棋士の平均レート、一致率、相手一致率すべて上昇していくというキレイな相関も確認できる
0170◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 17:52:23.16ID:ImR44Ued
対局相手のレベルをあまり考慮する必要がない同一クラスでの比較なら一致率だけでもEloレートと強い相関がある

　　棋士数　重相関　一致率相関
C2　　52　　0.765　　0.754
C1　　36　　0.781　　0.758
B2　　25　　0.798　　0.789
B1　　13　　0.847　　0.841
A級　 11　　0.975　　0.823

B2-A　49　　0.894　　0.782
B1-A　24　　0.915　　0.849
0171◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 18:08:51.42ID:ImR44Ued
このように、上位棋士ほど対局相手レベルは似てくるので、相手一致率を加えた重回帰式を求めなくとも、一致率からだけでも換算式が作れるようだ
例えば換算式をクラス別に作るといったことが考えられる
なお、クラスが上がるほどEloレートと一致率との相関が強まっていくのは、クラスが上の棋士ほどデータ数が多くなっているというのも理由かもしれない
確認しなかったので今夜もう一度データ起こしをして確認してみたい
ついでに、クラス別の換算式を出してみようかと思っている
0172◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 20:22:25.69ID:ImR44Ued
　　棋士数　　平均局数
C2　　52　　　10.9
C1　　36　　　12.2
B2　　25　　　13.2
B1　　13　　　22.4
A級　 11　　　23.5
0173◆f7OmZ9ucu2
垢版 |
2019/09/04(水) 21:43:39.01ID:ImR44Ued
クラス別換算式
m = 一致率
　　　　　　　　　　　相関係数
A･B1 = 1925m + 366　　0.849
B2･C1 = 1390m + 600　　0.755
C2 = 1544m + 454　　0.750

総数137棋士のEloレートと換算レートの相関係数は 0.867
0199名無し名人
垢版 |
2019/09/05(木) 08:42:32.02ID:Kg1rKNEb
なにやってんのこいつ？
0200◆f7OmZ9ucu2
垢版 |
2019/09/05(木) 09:56:44.24ID:mr/lcVY0
スレ荒し？
板単発ならわざわざリンク貼るかな？
労力からして異常
基本誰でもスレごとに変えてるのは当たり前
他スレで二枚舌吐いたり本性を出しているのがバレてしまったなら面白いだろうけど

俺の場合は、内容から俺の意見と思われてしまう書き込みは敢えてIDを変えずにレスしている
IDが違ってたらそれは俺じゃないよということをアピールしているつもり
理由は、見たことがないスレで自分と同じ主張のレスがされていたりレス繋がりでその他のレスまで俺のレスと誤解されたくないから
0201名無し名人
垢版 |
2019/09/05(木) 10:46:09.52ID:AWjOqpfh
201
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況