0001名無し名人
2019/08/25(日) 13:16:30.70ID:ZVwpQy/4※前スレ
最新ソフトで歴代棋士の指し手一致率を調査した結果
https://mevius.5ch.net/test/read.cgi/bgame/1557753233
探検
最新ソフトで棋士の指し手一致率を調査した結果 2
■ このスレッドは過去ログ倉庫に格納されています
※前スレ
最新ソフトで歴代棋士の指し手一致率を調査した結果
https://mevius.5ch.net/test/read.cgi/bgame/1557753233
これの一番下の研究は山下悪手率を追検証してみようとしたものだが失敗に終わっている
竹内よりあとの2018年のものだが技巧2で評価値1000未満(山下研究の10未満に相当)の局面のほかに<500、<300、<100の局面に分けて平均損失と100刻みのレートとの相関を調べている
いずれも相関係数は0.8前後であった
この程度の相関でプロ棋士の棋力を推定することが可能かというと、今年の1月から10月までの解析データから得られた一致率のキャプチャーと比較するとよくわかる
https://i.imgur.com/b6UW52o.png
このように100刻みのEloレートと一致率の相関は0.98であった
これほど強い相関でも全棋士レーティングとの相関係数を調べると0.78まで下がっている
おそらく平均損失の相関では0.6程度に落ちてしまうであろう
つまり、山下悪手率よりマシになっている技巧2による｢平均損失｣でもプロ棋士の棋力を測定するのは無理なのだ
実験計画の事後報告がないことがすべてを物語っている
実験計画
①技巧2.02で探索深度10手で解析する
②前半40手を除外して評価値の絶対値が300未満の局面に限定して平均損失からレートを推定する
評価値局面は0に近いほどいい
③50局面を解析できればよい
1局で4局面前後になるから14棋譜あればレートがわかる
｢システムを実現したら、本当に少ない対局数で棋力の推定が可能であるかどうか、棋力のわかっている被験者を用いて、本システムの有効性を示していきたい｣
◆投げ捨て、やり逃げの研究が多い
意のままの結果にならなくとも最後まで続けるか途中で打ち切り宣言をすべきだろう
◆プロ棋士の勝敗はほとんどが終盤力で決まる
とくに駒組の優劣で差がないトップ棋士ほど終盤力が勝敗を分けている
ところが、この研究は、差があまりない局面での指し手から棋力がわかると推定している
これは山下論文も同じ
そして、その指し手を評価するのに技巧の探索深度10手で十分と推定している
何から何まで間違っている
そんなので、Eloレーティングと同程度の精度のレートを推定できるわけがない
正確なレートが出せないだけではない
大山＞羽生を大山＜羽生と誤認してしまうことになる
二日制の対局では渡辺＞羽生なのに渡辺＜羽生と誤認してしまうことになる
なぜなら、序盤中盤よくても終盤で自滅あるいは力が逆転してしまうことがこの解析ではわからないからだ
◆ところが、この研究論文はゲーム情報学研究会より若手奨励賞を受賞したようだ
｢本賞は、研究の総合的な完成度よりも、将来性、独創性、また、プレゼンテーションの工夫等、何らかの点で他と比べて大きく優れると評価された発表を積極的に表彰するもの｣ということのようだ
勝敗等の成績と無関係に純粋に棋譜の内容から棋力(Eloレーティング)が推定できることを示すためには、少なくともEloレーティングと勝率の相関係数に近いものが得られなければならない
プロ棋士の場合、100刻みのレートと勝率の相関係数は0.95になっている
プレゼンをみると技巧2で解析した平均損失は100刻みのレートとの相関係数が0.8前後だ
勝率に劣る指標では話にならない
https://i.imgur.com/4v64ilr.png
0539名無し名人
2019/11/22(金) 00:37:57.03ID:YSbACSMiそれ何回か指摘したけどそいつ馬鹿だからわかんねぇぞ
0540名無し名人
2019/11/23(土) 18:10:57.02ID:ghcsgYEQ0541名無し名人
2019/11/23(土) 18:43:49.87ID:nm7IfRmVイロレート以外のもう一つの強さの指標として十分貴重なデータだと思うけどな
0542名無し名人
2019/11/23(土) 20:30:39.76ID:NMK1jw/pイロレーティングで今と昔の棋士の強さを比較するのが難しい（レーティングはインフレしたりするから）ので
イロレーティングを補完する、もしくは置き換える指標が欲しいということじゃないの？
勝ち筋が読みやすいと一致率は高くなる
勝ち筋が読みにくいと一致率は低くなる
局面が複雑難解でどう指したら勝てるかわからないとき、良くなる手がわからないときは一致率は低い
当然、負け将棋の一致率は低い
つまり、楽勝な将棋ほど一致率は高くなりやすいから相手のレベルも判定に不可欠となる
今のところ最高の指標は一致率なので、棋譜解析からだけで相手の棋力情報を入手するとなると頼れるのは相手一致率しかない
そうやってC1級以上の棋士85名の換算レーティング = 2165 × 一致率 + 3612 × 相手一致率 -2536 (R = 0.914) という式が得られた
一番左の表がこのレーティング表になる
https://i.imgur.com/ZkzG5FC.png
C1以上の棋士85名の一致率とEloレーティングとの相関は0.82あるが一致率が高い順に並び替えても違和感がありありになる
換算レーティング = 2493 × 一致率 - 154 (R = 0.82 右側の表)
https://i.imgur.com/vn4kjtz.png
山下論文のように大山と羽生を比較して羽生＞大山と断定してもあちこちで矛盾が隠しきれなくなっていることでわかるように、こうした単一指標では比較しやすい棋士を比べると簡単に反故をきたすことになる
したがって現棋士に一致率の順位を適用しても一致率では誰々が一番というフレーズは意味をなさないことになる
例えば>>543の右側のC1以上の棋士を一致率の順に並べた表では丸山が4位で西尾が7位で、豊島(14位)より強いことになる
一致率だけで棋力を評価することが無謀なことはこの一点だけでもわかる
棋力が高い、あるいは向上している棋士を先入観なしに知るには適しているが、ピンポイント的にＡ棋士はＢ棋士より強いという判定には向いていないことになる
0545名無し名人
2019/11/24(日) 22:34:19.13ID:whzwPkA+丸山、ナベと並ぶトップタイの８連勝中
0546名無し名人
2019/11/26(火) 02:54:43.62ID:O2Z9WBYD一致率と平均悪手をダブルで組み合わせてみたらどうですか？
解析の際に平均悪手の方は記録残してないんでしょうか
0547名無し名人
2019/11/26(火) 03:04:36.90ID:m8LtEBEo大山はゴミだな
解析棋譜は保存しているから平均悪手はわかるが、平均悪手の元にあるのが一致率で一致率が100%なら平均悪手が0になるように、この二つは独立変数ではない
このため説明変数にできるのはどちらか一つだけということになる
そこで、一致率(を採る)か平均悪手(を採る)かという議論になっている
これは、2個以上の説明変数を用いて重回帰分析するときには互いに独立性が高い変数であることが求められ説明変数同士に相関があると回帰式の信頼性が極度に低下するので避けることになっているからだ
一致率を選んだのは平均悪手より一致率のほうが有効と判断できたからで、その理由は何度も言及してきた通り
とは言ってはみたものの、
初手からの前半40手(50手)は平均悪手と相手平均悪手
後半(41手以降または51手以降)は一致率と相手一致率
といったデータを2個以上おそらく全部組み合わせた重回帰分析なら面白い結果が出る可能性は極めて高い
その発想をもてなかったのは悔いるしかない
今からやるとしたら、棋譜を取り直して前半だけの平均悪手を追加してデータベースを再構築してということになる
自分には無理なので誰かの今後に期待したい
0549名無し名人
2019/11/26(火) 09:34:45.26ID:pJv5RnE/有志であれこれ計算式を考え出せるように
その解析結果の生データは公開可能ですか？
これの基になった重回帰分析の概要はこの通り
https://i.imgur.com/XVjMtgL.png
回帰統計の3行目にある「補正R2」(自由度調整済み決定係数)」はデータ数や説明変数の数に依存しない値となることから、予測式の当てはまり度合いを評価する指標として使われている
分散分析表のF値と下段の t 分析のP値はいずれも0.000なので有意差の検定に文句なしに合格している
Ｘ値1は一致率、Ｘ値2は相手一致率で、どの説明変数がどの程度目的変数に影響を与えているかは t の値の大きさでわかる
この場合、一致率が15.391、相手一致率が9.197なので相手一致率より一致率のほうが1.67倍重要視されていることになる
回帰式の係数となる値は一致率より相手一致率のほうが高いが、これは相手一致率のバラツキ(σ1.6%)が一致率のバラツキ(σ4.5%)より少ないためである
つまり、回帰式でEloレーティングに最も影響があるのが一致率であり、不足なところを相手一致率で補っている構図になっている
計算式は最小二乗法がそうであるように一義的に決まるものなので誰がやっても変わらないよ
問題意識や仮説で検証可能なものは提供できるので要望を出してほしい
データは2019年の生データだけで10列 × 3000行近くあるので公開は考えていない
0552名無し名人
2019/11/27(水) 01:11:27.96ID:RdesTJqkシンプルに平均悪手のランキングが知りたいです
一致率とどの程度の乖離が出るのか分かりやすくなるので
2019年は平均悪手のデータは入力していないよ
使えないのは分かっているから今から入れることもしないね
というわけでランキングは作れないけど、生データを一覧にしてみるよ
平均悪手のバラツキを見るだけで使えないデータだと理解できるはずだからね
一応、6月～11月の半年間の数字で渡辺、豊島、広瀬、藤井、永瀬、羽生の一覧表を数日中に上げるからよろしく
0554名無し名人
2019/11/27(水) 17:38:06.03ID:RdesTJqk0555名無し名人
2019/11/27(水) 17:39:01.81ID:RdesTJqk期待しながら待っています
約束だから最後まで仕上げるけど、使えないデータなのはこの3棋士の数値だけでも理解できるだろうから上げておく
28番目の豊島の酷い数値は羽生に入玉を阻止された1局です
残りのアップは明日以降に
https://i.imgur.com/wC0e7SB.png
0557名無し名人
2019/11/27(水) 19:33:33.49ID:RdesTJqk40手目以降という事を差し引いても言いたいことは伝わってくる
まったく正規分布しないデータだからね
2018年の馬場らは局面評価値が互角局面に近いところだけで平均損失の相関を期待していたが結局研究成功の発表がないままになっている
互角局面でも頓死の悪手まであるから正規分布しないことに気付いたんだろうな
もっと前の2015年の竹内が山下論文を結果的に査読したことになっていたんだと思うな
評価値を採用すると根拠がない制限を設定せざるを得なくなる
評価値でなく回数だけなら終盤の指し手も対象に調べることが可能になって強い相関が得られたという竹内研究が正しかったようだね
29局目の藤井聡太の酷い数値は記憶に新しいが広瀬との王将戦
受けを間違えて自玉を詰まされたためだ
羽生の23局目は広瀬との順位戦で自玉の詰みを避けなかった△61飛が大悪手と判定された
候補手は△86飛だったがここは異論もあるところだろう
探索深度を深くすれば、あるいはソフトによってはどう指しても負けだから悪手とは判定しないかもしれない
また、平均悪手が0というのは一致率100%とは限らない
>=1500以上の局面ではソフトの候補手と違う手を指しても平均悪手の対象外になっているからだ
この点も平均悪手がダメなところだ
平均値で比較するとわかるが、1位と7位で極端に違っている
レーティング7位までの棋士ですらこれだけの差が生じてしまうのだから平均悪手のランキングなどとても信頼できるものではない
しかも、大悪手の1局が追加されるだけで大幅に変動してしまうランキングだ
したがって、平均値でなく中央値を採用するのがベストな選択だが、<700なら
永瀬 広瀬 渡辺 藤井 千田 豊島 羽生
<1500なら
永瀬 広瀬 渡辺 千田 豊島 藤井 羽生
の順となる
しかし、中央値を採用すると棋士の差はあまり出ない
全棋士を解析すれば彼らより上位にくる棋士もいるかもしれないし、数値と棋力の相関は安定していない
といったわけで、平均悪手のデータ紹介ははこれで終わりにする
なお、ここまで調べると比較したくなるだろうから95年の羽生と64年の大山も出しておいた
いずれも6月～11月の棋譜
どうしても平均悪手が捨てがたいのなら山下データとは異なり平均悪手でも大山が一番だということは押さえておくべきだろう
https://i.imgur.com/nGunrrE.png
11月の内容なら実力的に豊島を上回っている
竜王防衛も不可能ではない
前年とは違う広瀬であるから王将に続いて棋王も渡辺三冠への挑戦が楽しみになってきた
https://i.imgur.com/i9hLMhz.png
0561名無し名人
2019/12/01(日) 00:25:30.14ID:kv6n9w05棋王戦勝ち進みの本田奎の追跡よろしく
0562名無し名人
2019/12/01(日) 08:05:23.45ID:FUj1Ldu+やっぱり本田奎の追跡依頼は取り消します
図々しく無理を言ってすみませんでした
そんなことはないですよ
今やりかけていたとこなんで
その前に相手一致率データで修正箇所があったので作業中です
明日迎える本戦決勝の相手が広瀬だ
王位戦で深浦、増田にも勝っているので自分よりレートが上の棋士に11勝6敗だ(6敗は勇気、黒沢、大地、八代、橋本、青嶋)
本田自身はレート1633で53位だから自分よりレート上位の棋士でまだ一度も対戦していない棋士が36名いることになる
A級棋士ではまだ天彦としか当たっていない
つまり、本田の強さは実証済みとはまだ言い切れない
今期は下位棋士に多い振り飛車党に苦戦していて(対抗形の戦型では8勝6敗)、順位戦も竜王戦も昇級は来期以降となる
一発が入りやすい力戦形の相居飛車を得意としているが、広瀬のレートは1920なのでまず勝ち目がない相手とみるのが自然だ
しかし、換算レートでは広瀬が1901で本田は1666(31位)なので差は縮まっている
C1以上に適用している換算式をC2レート上位の大地、大橋、高見、三枚堂、八代、高野、光瑠、黒沢、本田にも適用すると本田の換算レートは深浦と同じ1726(25位)となり25歳未満では藤井、近藤、大地、増田に次いで5番手となる
よって、飛び抜けてポテンシャルが高いわけではないが、B1級に成長する実力は秘めているといってよい
広瀬に勝つとしたら意外なようだが後手をもったときかもしれない
0565名無し名人
2019/12/01(日) 18:03:36.60ID:l7vCkoyj分析乙
0566名無し名人
2019/12/01(日) 19:38:40.61ID:3PMB5Knyもう 悪手率や平均悪手を指標にしようと思わなくなったもん
最新ソフトで正確に平均悪手を測定すれば棋力の差が検出できるのでは？
最初はそんな軽い気持ちで取り組んだわけなんだが
まず躓いたのが評価値に納得できないときにどうするのかで解決法がなかったことだね
時間をかけて検討すればソフトの判定も変わるから評価値の誤りは是正したいという誘惑と検討に時間をかけていたら解析は進まないし知っている場合と知らない場合で公平な解析ではなくなる
だからといって平均悪手が20で収まるか100を超えてしまうかは見逃してもよいような誤りでもない
こうした葛藤は救いがたいと思ったね
極端な話、秒読みで詰みを逃してしまったり詰まされたりしてもそれで取り返しがつかない評価値(差)をつけられるのはおかしい
ソフトは秒読みかどうかなどは勘案してくれないし
思案してみるに、ソフトがつける評価値はソフトの読み筋通りに指すことができたときの評価値にすぎない
プロが指せないような手順でその手は敗着ですとソフトに指摘されてもそんな巧妙な手順があるかないかは地雷を踏むか踏まないかと一緒で誰にもわからないのであれば踏んだ人が不運なだけにすぎない
平均悪手は変動が制御不能だし、納得できる数値を得るのが困難だし、プロの棋力を判定するのに適しているわけでもない(竹内論文)
もし、その局面で最善手がわかる人がいたらその人の評価は最善手率でできる
何が最善手かわからなければ最善手率は出せないが強くなった最新ソフトなら最善手率を一致率で代用できる
というわけで、今は平均悪手でなく確実に一致率の時代だね
一致率を調べるときの簡単な注意とコツを守るだけでいい
プロの序盤の手はソフトの手と一致しなくとも棋力とあまり関係しないので除く
MutiPv1で候補手1、逆順解析にすると最善に近い手をかなり最善手にしてくれる
最善に近い手だけを拾うので、評価値が離れていても次善手を含めて評価する広義の一致率とは異なる
候補手を2以上に設定すると最善手と次善手を区別しようとするので最善手で融通がきかなくなる etc.
0570名無し名人
2019/12/02(月) 18:13:39.41ID:oh/yr9z80571名無し名人
2019/12/02(月) 18:35:01.64ID:/sY0KHdX先手相掛かりで広瀬に圧勝したよ
タイトル戦での戦い振りも見たいので応援したいね
その前の大地との若手決戦も実現すればいいね
これまで解析した今年の棋譜1473局の平均手数は112手だったが120手未満と120手以上に分けてみた
120手以下の一致率は72%、120手以上が72.5%
あまり差がなく、どちらかというと120手以上の一致率が高くなっている
手数は先手と後手で一致しないので、まず先手と後手それぞれにデータを勝局と敗局に分けてみたところ景色が一変した
▲先手
<120 >=120
勝局 527 83.6% 246 79.2%
負局 436 60.2% 264 65.4%
合計 963 73.0% 510 72.1%
先手勝率 0.547 0.482
先手は短い手数で勝てたときの一致率が高く、負けたときの一致率は短い手数で負けたときのほうが一致率が低い
手数が長引くと勝ちより負けが多くなる
△後手
<120 >=120
勝局 436 83.5% 264 79.8%
負局 526 60.5% 246 65.7%
合計 962 70.9% 510 73.0%
後手勝率 0.453 0.518
後手も短い手数で勝てたときの一致率が高く、負けたときの一致率は短い手数で負けたときのほうが一致率が低い
先手との違いは短い手数では勝率が悪く長いと負けより勝ちの数が多くなる
つまり、短手数で勝負がつくのは先手の研究がはまったときが多く、手数が長くなるのは先手の研究が外れたときに多いという傾向が一致率のデータに現れている
どうやらEloレーティングとは理由が異なるが一致率もインフレの傾向があるのは確かなようだ
0574名無し名人
2019/12/10(火) 21:55:05.77ID:SKUpZifx0575名無し名人
2019/12/13(金) 20:00:47.34ID:dxG29jFM平均悪手って、例えば後半60手（先後それぞれ30手として）中悪手が何手あるかの割合ってわけじゃないの？
それは悪手率？
一致率は１局中、ソフトと一致した手数÷指した手数×100 でいいの？
0576名無し名人
2019/12/14(土) 00:53:24.72ID:mNQZ6pkB自分でソフト導入して解析してみれば良い
https://i.imgur.com/6OxPYqX.png
0577名無し名人
2019/12/14(土) 04:55:03.75ID:rHvh+CaL平均悪手にせよ一致率にせよ、評価値による制限を行って
不要な局面を排除した上で計算するのが重要ということのようです
実際に多くの研究が、そのようにして行われています
0578名無し名人
2019/12/14(土) 04:56:20.75ID:rHvh+CaL将棋名人のレーティングと棋譜分析
https://i.imgur.com/WeTccCH.png
https://i.imgur.com/GkhWxpL.png
非常に多く引用されている論文で
評価値に制限をつける手法はここで示され、他の論文でも踏襲されたと言ってよいでしょう
0579名無し名人
2019/12/14(土) 04:57:51.74ID:rHvh+CaLhttps://i.imgur.com/j8xeSah.png
https://i.imgur.com/iO5Rjbo.png
評価値の制限の程度と、その影響について考察しています
0580名無し名人
2019/12/14(土) 04:58:35.14ID:rHvh+CaLhttps://i.imgur.com/L7bP4p9.png
２手毎の評価値しか利用できない特殊な条件の下ですが
評価値の制限は（緩和したものの）行っています
0581名無し名人
2019/12/14(土) 05:04:07.85ID:rHvh+CaL以上を見ますと、レーティング推定が目的の場合
将棋GUIの数値は、そのままでは使えないということになるのかと思います
（千田率と言って揶揄されることすらありますので、ご注意を）
(1) 指し手は好手、緩手、疑問手、悪手というふうに分類される
一般に悪手率というのはこのような分け方をしたときの悪手数の割合のこと
1局の30手の中に悪手が3手あれば悪手率10%と計算する
局によってまちまちなので平均を出したのが平均悪手率となる
1局平均の悪手数を指標にする場合もある
この場合は1局平均悪手数2.5(手)といった数値になる
普通はこのように理解されているし、使用されている
(2) ShogiGuiの棋譜解析で表示される悪手や悪手率もこの悪手なんだが、<700や<1500で示される平均悪手の数値は山下方式に則っている別の概念なのでややこしい
山下方式では
GPSfishの候補手より評価値が劣るならすべて悪手となる
そして候補手の評価値との差を集計して平均を出している
山下方式の平均悪手は平均ロスのことなのだ
これだけでは説明十分とはいかない
山下方式は全指し手の平均ロスを計算しているわけではない
前半40手を除外しているが、それだけでなく局面評価値が10未満(今の評価値に直すと1000未満に相当)の局面に限定している
つまり、1局で対象となる指し手は先手後手それぞれ10数手しかない
仮に対象が10手で、その中の5手が悪手で評価値ロスの合計が6の場合、平均悪手は0.6と計算される
GPSfishの頃の評価値は今の百分の一なので今なら平均悪手60と同じだ
そして、この0.6を次の換算式に代入したのが山下方式の換算レートになっている
GPSFish rating = -2560y + 4743
y = 0.6 なら rating = 3207
平均悪手について説明したついでにID:rHvh+CaLのようにトンチンカンな講釈をする輩もいるので、平均悪手の何が疑問、あるいは問題なのか整理してみたい
その１
なぜ強さの指標として一般的に評価されやすい一致率や、(1)の悪手率に着目しなかったのか？
そんなはずはない
GPSfishというソフトでは、一致率や悪手率が強さの指標として思わしい結果が出なかったから採用に至らなかったわけだ
つまり、GPSfishの一致率や悪手率は精度が足りなかったのだ
なのになぜ平均悪手なら有効といえるのか？これは大きな疑問だ
山下は対象とする局面を制限しているが、当然、制限局面の設定を変えれば平均悪手も変わる
その結果、制限局面の設定条件次第で異なる結果が出るので山下研究への疑問となっている
竹内は2015年に山下と同様に対象局面を<10に制限してGPS等4種類のソフトで平均悪手とEloレートの相関を調べたが｢相関はみられなかった｣
そのとき、局面を<10に制限すると終盤の局面のほとんどが対象外になってしまうことに疑問をもった
そこで、評価値ではなく悪手の回数だけに変更して(悪手の定義は山下方式と同じ)<50の局面まで調べたところEloレーティングと強い相関が確認できたという
ここで<10とあるのは当時の評価値の仕様で現在の評価値の置き換えると<1000に相当する
<50は<5000を意味するので竹内は悪手の回数を調べるのに最後の詰の局面以外のほとんどを対象にしたということだ
ShogiGuiでは<700と<1500の両方で平均悪手を出しているから山下の平均悪手<10はこの中間の<1000での平均悪手を調べたことになるわけだ
さらに、山下の先行研究に対して2018年にGikou2で再調査したのが馬場と伊藤両名による論文だ
これを詳しく見ていこう
①局面を<1000に制限した場合
これは、山下の<10と同じ研究なのだが、彼らは｢平均悪手｣は通常の悪手と混同されやすいために｢平均損失｣という用語に変えている
これによるとクエストの棋譜では平均損失は300点台から100点弱までの値となっている
クエストのレーティングの2200あたりまでは平均損失が小さいほどレートが高いという関係が見られるが、それ以上のレートでは比例しなくなり、横這いになっている
つまり、平均損失が100前後あたりまで小さくなると強さの峻別に平均悪手は有効でなくなることを示している
馬場らは局面評価<100での平均損失とレーティングの関係もグラフにしていて、<1000の結果と同様に
｢レーティングが上昇するにつれて平均損失も上昇する傾向が見られることがわかった．また， レーティングが 2000 以上でグラフが単調増加しない場合 があることも観察された｣と記している
要するに見てわかる通り横這い(むしろダウン)しているのだ
ここで、俺が調べたトップ棋士の平均悪手表をもう一度見てくれ
https://i.imgur.com/nGunrrE.png
トップ棋士ですら平均悪手は50前後から100前後までバラついていたはずだ
つまり、平均悪手(平均損失)は100前後以下の値の集団では強さの峻別に有効でなくなるのだ
この論文では局面評価数ごとの相関係数も調べている
これによると対象局面を<1000に制限した場合に(前半40手は除外する)1局平均で10局面が対象となり200局面(つまり20棋譜)のときの0.9超が最大で、それ以上の棋譜を解析しても相関係数は上がらない(むしろ下がる)という結果になった
<300の場合も20棋譜あたりが0.85で最大を示し、50棋譜になると0.6を下回り、100棋譜で0.8まで戻っている
同じようにレート100のプロットごとに調べた一致率の相関係数なら0.98もあった
0.98という強い相関があっても全棋士のレーティングとの相関係数は0.7にしかならなかった
平均悪手(損失)のように、プロットでの相関係数が最大でも0.9がやっとでは個々の棋士の強さまで峻別する精度の指標にはなりえないことが判明したことになる
しかも、アマの棋力との相関ですらこの程度で、プロの棋力との相関はまったく確認できなかった
さらに致命的なのは解析する棋譜を増やしても精度が上がらず、むしろ低下していることだ
これは棋譜数を増やせば増やすほどイレギュラー値が入り込んでしまうからと考えられる
山下は勝敗等の成績と無関係に純粋に棋譜の内容(平均悪手)から棋力(Eloレーティング)が推定できるとしているが、これは辻褄が合っていない
平均悪手で強さが分かるのであれば、勝った側の平均悪手は負けた側の平均悪手より小さいという命題が成立しなければならない
例外はあっても傾向としては必ずそうなる
勝った側と負けた側で平均悪手が違わないのであれば、平均悪手は強さの指標として有効でないことになるからだ
すると、どうなるか？
集めた棋譜に偏りがあれば、勝局が多く集まった棋士の平均悪手は小さくなり、逆なら大きくなる
棋士の勝率に合わせて棋譜を集めた場合でも、勝率は対局相手次第で変わるから相手のレベルが違うときや活躍した時代が違う棋士の平均悪手を調べても用をなさないことになる
平均悪手が勝局と敗局で大きな違いがなく棋士による違いのほうが大きいのであれば指標として有効かもしれないが、その場合はむしろ解析したソフトの精度が怪しいことになる
そこで、これを見ていただきたい
これは先ほどのトップ棋士の平均悪手表を勝局と敗局ごとに分けて平均を出したものだ
抜けていたデータを見直しているので多少違うところがあるが、同じ棋士でも勝局と敗局で平均悪手が全然違うことが確認できる
太字で表示してあるのが敗局の平均悪手データだ
https://i.imgur.com/YcQXjIn.png
0588名無し名人
2019/12/14(土) 10:45:36.49ID:+JyL/6oU申し訳ない
たぶん、データのズレの誤り
すぐに点検できないので訂正は後程でご容赦を
点検誤りではなく8月2日の竜王戦の豊島渡辺戦(先手豊島勝ち)の棋譜です
<700の平均悪手なのでこうした数値でした(豊島は<700が6.75)
<1500は見ての通り渡辺は46.08、豊島が4.50となっています
いずれにしても平均悪手が少ない棋譜かな
一致率は豊島85%(悪手0、疑問手0)、渡辺が66%(悪手1、疑問手2)
機械的に解析に掛けているだけなので、誤差の精査なしのデータと承知されたし
となると当然、今のソフトは強くなりすぎてプロ棋士を評価するのに適していないのではないか？
GPSfishで算出した平均悪手が最も人間(プロ棋士)の棋力判定に適している可能性はないのか？
と思われるかもしれない
とんち問答ではないが、だとしたらGPSfishで平均悪手がもっとも小さかった羽生善治がGPSfishにもっとも棋力が近く、他の棋士はGPSfishより弱いかGPSfishより強い棋士ということになるのではないだろうか
真相は集めた棋譜の勝率がもっともよかったのが羽生というだけかもしれないが
そこで、実は1週間前に実験したものがあるのでお見せしたい
ご判断はおまかせする
実験計画
今年の棋譜から3時間以上の棋戦で81手以上121手以内で先手が勝った棋譜を集める
その中から対局日が新しい棋譜を30局選び41手の局面からllqha3で1手1秒で解析する
棋譜を貼り直してGPSfishで同じく1手1秒で解析する
先手(勝局側)と後手(敗局側)の一致率、<700、<1500それぞれの平均悪手、および1局平均を調べる
一致率は41手目から終局まで
計測したところ、illqha3は1秒でdepth14～19、GPSfishはShogiGui付属のソフトで1秒11～12だった
実験の目的
GPSfishの1手1秒(平均depth11相当)の浅い読みによってプロ棋士の棋力を判定することは不可能であることを証明する
想定したことと結果
①一致率、平均悪手とも先手が良い→◯
②一致率、平均悪手とも先手後手の差がillqha3よりGPSfishが小さい→◯
③GPSfishの評価と illqha3の評価が真逆になる例がある→◯
https://i.imgur.com/hdOZ2Ld.png
見ての通り、先手(勝ち)はillqha3の数値がGPSfishの数値より良く、後手(負け)はillqha3の数値がGPSfishの数値より悪い
それが、解析した30局の一致率を先手と後手で比較した棒グラフだ
上がillqha3によるもの、下がGPSfishによるものだ
https://i.imgur.com/sS0oXj0.png
illqha3の一致率はすべて先手の一致率が高く、その差もハッキリと出ているのに対して、GPSfishのほうは先手(勝ち)より後手(負け)の側の一致率のが高い局が14局もあった
つまり、これらの局ではGPSfishは強い棋士のほうでなく弱い棋士のほうを強い棋士と間違えて評価していることになる
GPSfishの元データは次の通り
太字にしたのが、勝った先手より負けた後手のほうが良いと評価したことを表している
少なくともこれらの局においては、GPSfishはillqha3とは評価値で真逆の評価をしているのだ
こんなソフトで傑出している棋士を評価するなどちゃんちゃらおかしいという結論になるのは当然だろう
https://i.imgur.com/zhej7Qt.png
ランキングは12月13日現在／下位はカット
https://i.imgur.com/1lgIUGe.png
＞ここで<10とあるのは当時の評価値の仕様で現在の評価値の置き換えると<1000に相当する
↓
＞ここで<10とあるのは山下が評価値をなぜか100で割っているからで元の評価値に戻すと<1000になる
0595575
2019/12/15(日) 08:44:46.79ID:RC1kDWTV平均悪手は理解出来たが
そしたら、その数値の平均を計算しているのがおかしいと気付いた
対象局面数による重み付きでなければならない
もし一致率も同じようならば全てがデタラメだ
悲惨過ぎる
重み付けも見識だが、実際上はあまり違うことはない
また、1局平均を採るのでなく全局を通した指し手一致数を解析対象手数の総数で割るべきという考え方もある
しかし、将棋は1局ごとに完結しているので、1局平均のほうが合理的だろう
要は検証に耐えられる数値か否かなので、そのためにデータ解析がある
このスレの｢一致率｣はデータ解析に合格しているわけだから
＞もし一致率も同じようならば全てがデタラメだ
＞悲惨過ぎる
というのはけち付けにもなっていない
0597575
2019/12/15(日) 10:27:36.36ID:RC1kDWTVその２行目の値を求めるのと全く同じことなんだけど…
お話にならない
糞スレにも程がある
こんな質問も聞こえてきそうだが、これも面白くない結果になるのは目に見えている
というのも、一致率なら良いときと悪いときで違いはせいぜい2倍で3倍になることは滅多にない
平均悪手は1000オーバーで足切りしても良いときといともたやすく100倍の違いがある
平均悪手が2.0と800なら400倍の開きだし、平均悪手の良いほうは0まであるがら実質無限大となる
何せよEloレーティングの分布は正規分布に近いが、平均悪手の分布は正規分布とはまったく異なる別物だ
これで平均悪手とEloレーティングに比例関係を見いだそうとすること自体が間違っている
一致率なら一致率単独でもEloレーティングとの強い相関が確認できている
データ数が増えるほど相関が強まっている
平均悪手はデータ数が増えてもそれがイレギュラー値なら逆に相関が弱まり元に戻る保証もなくなってしまう
一致率は対局相手のレベルのバラツキを減らすほど、そして、データ数を増やすほど、一致率単独で強い相関があることを数値で示しておく
B級2組以上の棋士49名のEloレーティングとの相関係数Rのデータ
一致率R = 0.86
相手一致率R = 0.72
重相関R = 0.94
年間勝率R = 0.76
仮に平均悪手のRを求めるならば年間勝率のRよりも劣ることは間違いない
強さの指標として年間勝率を採用するより劣る指標では糞ほどの役にも立たない
https://i.imgur.com/vHLaUuZ.png
藤井聡太ら期待の若手の名前が入っていないのはB2以上の棋士だけのデータなのでガッカリしないように
だから1局平均のほうが合理的と書いている
それに反論してみたまえ
それと、この解析データ>>598を前にしてけち付けにしかなっていないことにいい加減気付けよ
0600名無し名人
2019/12/15(日) 11:16:29.40ID:kCGSp5E3おいお前
>>575は俺なんだが
勝手に他人の名前を名乗るのはやめろ
キャプチャーに局数>=30とあるが、これは前回その他の棋士>=30でランキングしたときの条件のままなので無視されたし
今回はその他の棋士は条件から外しているので49名の棋士の中で解析データ数が最も少ない棋士は飯塚七段の12局(キャプチャーには出ていない)
0602名無し名人
2019/12/15(日) 11:28:02.06ID:YuxE0AR0おいお前
>>575は俺なんだが
勝手に他人の名前を名乗るのはやめろ
全棋士30局以上のデータになればもっと引き締まるかもしれない
https://i.imgur.com/fcCH5Iw.png
0604名無し名人
2019/12/15(日) 11:54:16.96ID:kCGSp5E3頭おかしい人か痴呆症かな
可哀想に
お大事にね
自分は平均悪手の出し方が分かってなかったので
スレ主さんに回答いただいて納得できたよ
ありがとう、解析頑張ってください
0605名無し名人
2019/12/15(日) 12:12:44.39ID:YuxE0AR0ただのバカかよ
ツマンネ
羽生信者はこれだからと言うつもりはないが、科学論争と宗教は切り離してほしいね
｢科学｣に｢宗教｣を持ち込んでよかったためしはないからね
0607名無し名人
2019/12/15(日) 13:09:35.83ID:kCGSp5E30608名無し名人
2019/12/15(日) 13:41:10.39ID:HBHZBfoe目障り
将棋板の資源の無駄！
別スレでも山下レーティングを持ち出しておきながら、理路整然と反論するとスルーしてたからね
議論する自信もなくて、ただ大山より羽生が強いという印象操作にろくに精査もしていない論文を利用しているだけ
0610名無し名人
2019/12/17(火) 22:28:31.56ID:J65np/6U0611名無し名人
2019/12/20(金) 08:51:09.30ID:Y6xbc/X/当初の期待以上の成果を得ることができたことに満足している
とくに相手一致率がわかれば、極めて高い精度(R=0.92)で換算レーティングを出せることが証明できた
同時に棋士の強さは平均悪手より一致率のほうが有力な指標になることがわかった
また、相手一致率に頼らずとも一致率だけで現棋士とのEloレーティングとの相関が0.8(0.79)、C級1組以上の棋士なら0.84(0.77)、B2以上の棋士なら0.86(0.76)という強い正の相関があることもわかった
括弧に入れた数値は勝率を指標にした場合の相関なので勝率より一致率のほうが強さの指標として信頼できることを示している
また、この相関の強さは種々の指標をプロ棋士の強さの指標として使うことが有力かどうかを判定するときの基準、目安になるであろう
換算レートの利点は条件を付与した棋士ランキングを出せる点にあるので以下のようなランキングを発表して1年間の締め括りにしたい
ただし、全棋士のランキングでなくそれぞれの条件局でデータ数が多い上位40名前後の中から換算レート一が高い順に30位までを30日に発表する
①総合ランキング
②持ち時間3時間以上ランキング
③早指しランキング
④相居飛車ランキング
⑤対抗形ランキング
0613名無し名人
2019/12/24(火) 20:55:16.98ID:mUayFvxP将棋・チェス板で最も有能な男
大山、羽生、渡辺、藤井聡太みたいに時代が違っても強さを可視化したのは凄い
0614名無し名人
2019/12/24(火) 23:01:23.14ID:iyljVUT1研究将棋がハマった時は強いけど未知の局面での対応力は低いってことだよね？
そうした解釈も成り立つでしょうね
斎藤慎太郎の敗局一致率は62.8%
平均手数117手
勝局一致率は87.0%
平均手数101手
全体では一致率76.4%
平均手数108手
20勝15敗(0.571)
先手11勝5敗(0.687)
後手9勝10敗(0.473)
あくまでも収録データの内訳ですが
0616名無し名人
2019/12/26(木) 10:27:26.26ID:LeAQClRDソフトで一致率調べて誰が強いか分析してるの？
対局結果で強さ決めるんじゃ駄目なの？
大山と羽生とどっちが強いかみたいな話ならまだ分かるけど分析してる棋士みんな現役なんだから一致率調べるまでもないと思うんだけど
現棋士の強さは誰でもわかっている
誰でもわかっているからこそ、その強さと密接に関係している指標を手に入れることができれば、その指標で過去の棋士を比較することが可能になるわけだ
大山か羽生かの議論は遅いようでもそれが早道だ
というより他に手段はない
これまで同時期の現棋士全員を対象にした調査は一度もなされていなかった
こうした現状では真に有力な指標が見つかるわけがない
漸く1年分のストックができる
本格的な分析はここからはじまるわけだ
過去の棋士との比較が容易にできる方法も提案できるかもしれない
0618名無し名人
2019/12/26(木) 21:59:37.22ID:RyKfTxfr最終目標は過去の棋士まで含めてソフトで分析して棋力を計算すること
そのためにはソフトを使った信頼性の高い指標を確立しないといけない
なので現役棋士の成績と相関関係の高いソフト指標を作っているのが現状
という感じだと思う
0619名無し名人
2019/12/27(金) 23:40:50.55ID:QTVrPxjiとりあえず基礎データを貼っとくのでじっくり見ていただきたい
公式戦だけでも全部で1594局、棋士ごとのデータとしてはその倍の3188個のデータになった
プロ棋士平均と比較できるように奨励会三段、女流トップ、アマトップの公式戦での平均も出してみた
女流トップの一致率が意外に高いのは里見や西山の局が多いためで、女流トップは奨励会三段やアマトップと実力的に互角といってよい
これらと女流棋戦の一致率が遜色ないのは対局相手がプロ棋士か同じ女流棋士かの違いによる
当然女流棋戦の勝率は50%になるが、プロ棋士相手の公式戦の勝率は40%とか37%になっている
また、プロ棋士の公式戦と非公式戦で一致率に大きな差が生じていないのは、非公式戦の対局がトップ棋士中心になっているからで、実際には数字以上に非公式戦(超早指し戦が多い)の数字は厳しい
非公式戦60(30局)のうち藤井聡太が12局(一致率82.8%)で平均を押し上げていて、藤井聡太を除くと一致率は70.1%(データ数60)から66.9%(データ数48)に落ちる
なお、棋士平均より全公式戦の一致率が高いのは、強い棋士ほどデータ数が多くなっているからである(対局数が多いので)
https://i.imgur.com/sGre7n2.png
0621名無し名人
2019/12/30(月) 11:47:55.12ID:oh7udNhZお疲れ様です
しかし超早指しの多い非公式戦で一致率82%というのは
ちょっと異常なぐらいですね
今夜中に全棋士の換算レーティング表とカテゴリー別のランキング一覧表を公開する
簡単な分析もしてみたいが、その前に個々の棋士の一致率の差異がデータ数的に有意といえるかどうかのいわゆる有意性検定もやってみたい
本格的な分析は明日以降に持ち越すことになる
2019年の棋士データは、そのリスト自体がレーティングの基準表となりえる
解析した棋士データをこれと照合することで過去のいつの棋士でもレーティングを推定することが可能になるのではないだろうか
藤井七段はあまり深読みしないほうがいい手を指せるのと、超早指しでは相手も捻った難しい変化球でなく簡単な悪手を指してしまうことが多くなるからかもね
0625名無し名人
2019/12/30(月) 12:46:30.20ID:Rb7K6Fx1論文とか本出したらいいのに
0626名無し名人
2019/12/30(月) 15:05:19.08ID:4nw2p6gX30局指しているので算出可能でしょうか？
0627名無し名人
2019/12/30(月) 15:06:03.83ID:4nw2p6gX6局は解析してあるけど目出度くプロになれたら析出してみたいね
今回最終データを出すにあたって相手一致率の算出方法に策を講じた
Eloレーティングの計算ではレートに400以上の差があるときはレートを計算しないことになっている
同じ原理を適用して一致率が極端に低い棋士の一致率は相手一致率の平均を出すときに除くことにした
こうした棋士との対局は高一致率を出して勝っても換算レーティングが下がることもあり得る
データ数が増えれば緩和されるが、対局がつくかつかないかは棋士毎に不均衡なので取り除くに越したことはない
棋士名は伏せるが対象にした棋士は一致率が63%未満の棋士で全棋士の11%に相当する
これを相手一致率の計算に算入させない場合と算入させた場合の違いは換算レートの相関が0.923→0.932に、相手一致率の相関は0.589→0.599に変わる程度の違いでしかない
しかし、個々の棋士では大違いになることも十分あり得るので余計な批判を避けるために対策を講じた
算入していないのは相手一致率への算入だけなので、こうした対局の解析結果は、どっちが勝っても負けても勝局一致率の平均と敗局一致率の平均には算入されるし、それをもとに年間勝率等で割り出している一致率(採用一致率)の計算には入っている
レート換算式
◆C級1組からA級棋士まで
Rate = 2156 × 一致率 + 3873 × 相手一致率 - 2727 (R=0.928)
◆C級2組の棋士
Rate = 610 × 勝率 + 1246 (R=0.916)
https://i.imgur.com/AZp2iyR.png
https://i.imgur.com/8Dodoy8.png
https://i.imgur.com/58EG4yD.png
https://i.imgur.com/8JObomK.png
https://i.imgur.com/GDGcnSY.png
早指し戦と対抗形はデータ数7局以上と少ないため参考程度となる
永瀬は早指し戦は2局のみのデータなのでランキングに入っていないし、同様に豊島は対抗形が4局のみなのでランキングに入っていない
どのカテゴリーも順位より換算レートのほうを重視すると比較しやすい
渡辺はどのカテゴリーでも1位と安定していて、予期した通りの結果になっているが、とくに注目すべきなのは早指し戦でも棋力が落ちていないことだろう
豊島が銀河戦優勝という実績があるわりに早指しレートが下がっているのとは好対象といえる
もっとも銀河戦の棋譜解析は少なく豊島も3局しかなかったので、もっとデータを集める必要があろう
広瀬と羽生は持ち時間が少ないと実力がハッキリと半減してしまっている
羽生は持ち時間が短い対局でリードしてきた棋士なので、ここに年齢的な衰えが集約されているようだ
藤井は対抗形が相居飛車より100近くレートが下がっていて久保や菅井と同格になっている
これも渡辺が特別に強いだけで、対抗形では相居飛車のときほどの力を出せない棋士が多数である
そこに振り飛車党の生存根拠もあるわけだ
ただし、鈴木大介や佐藤和俊が意外とレートが下のほうであったり、石井が2位にランキングされたことでわかるように居飛車党の対抗形の将棋は絶対数が少ないので振り飛車党のデータより信頼性に欠けている
主な棋士を一瞥してみたが、他の棋士も個々につぶさに見ていくと面白い発見があるかもしれない
https://i.imgur.com/BsdPg1J.png
なので一致率のデータで比較するわけだが、ここでは原点に立ち返って一致率のデータのみから棋力がどの程度にわかるものなのか考察しようと思う
1995年の主要棋士の解析も完了しているので過去の棋士との比較も課題として取り上げることになる
大変な作業になるのと、ここまでタップリと情報提供したのでこの先は明日ということで
唐突ながら年始替わりに
https://i.imgur.com/VFNzouI.png
https://i.imgur.com/d6011Nr.png
https://i.imgur.com/QR7SD3k.png
どのようにやったのか魔法のテクニックを伝授しよう
(1)棋譜の解析
現棋士は全棋士の1年分の解析が必要だ
必要なデータは
一致率(年間勝率で是正した一致率を採用する)
勝局一致率
敗局一致率
基本はこれだけなので、解析は一致率だけでよい
過去の棋士は調べたい棋士の暦年の棋譜と同暦年のレート上位の棋士の棋譜が必要になる
(2)過去の棋士の選別
当時のレート上位(12月末時)からレート100差までの棋士を選別する
最強棋士(あるいは最強棋士グループ)と二番手グループが離れているならば、二番手グループだけをレート100差まで選別する
その100近グループのレート及び一致率(3種)の平均値を出す
(3)現棋士のレーティングと照合する
解析した現棋士のデータのランキング表をEloレーティング順に並び替えてレート差が100ほどのグループを選ぶ
スライドさしてグループを替えながら(1)で選んだグループと近似しているグループを探す
(4)3種の一致率が近似した現棋士グループの平均レートと(2)で選別した過去の棋士の平均レートの差を計算する
そのレート差を足すか引くかして過去の棋士のレートを現棋士のレートに転換する
(5)転換したレートで過去の上位棋士を入れて並び替えればレーティング表が完成する
検証に問題がなければ定式化できることになる
ちなみに1995年のレートは次の転換式で現レートに転換できる
1995年Rate － 80 = 現Rate
※※1995年Rateは1953年起点サイトのGlickoレーティングの数値
※※現Rateは2001年起点サイトのEloレーティングの数値
1964年Rate + 30 = 現Rate
その結果、1964年棋士を含めたレーティング表は下記のようになった
渡辺三冠のレートは歴代1位になった可能性が高い
明日は先後の手番でのランキングに挑戦する予定で、今日はこれまでの結果の説明や検証の時間に当てようかと考えている
正月気分が抜けたらの話なので作業は遅れるかもしれない
https://i.imgur.com/gsTR4JW.png
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【立憲民主党】蓮舫氏が東京都知事選に出馬へ 27日にも表明 6月20日告示、7月7日投開票 ★9 [おっさん友の会★]
- 墜ちた漁業大国・ニッポン。魚の獲りすぎをやめないと、日本の魚は枯渇=ゼロになる [HAIKI★]
- 共産、東京都知事選で蓮舫氏「支援」を表明 [少考さん★]
- 万博トイレガス爆発事故 『けしからん 気の緩みがあるんじゃないか』と関西経済界トップが苦言 [少考さん★]
- 「結婚にメリット感じない」 未婚率は増加傾向、なぜ「結婚」変わらない？ ★17 [ぐれ★]
- 「結婚にメリット感じない」 未婚率は増加傾向、なぜ「結婚」変わらない？ ★18 [ぐれ★]
- 【実況】博衣こよりのえちえちマリオ4🧪
- 【実況】博衣こよりのえちえちマリオ5🧪
- 【実況】博衣こよりのえちえちマリオ3🧪
- 雪民さんのお🏡
- なんか嫌儲で蓮舫が当確する流れになってることに不安を感じてるの俺だけか？ [983769605]
- 年に3回しか二連休ないんだが 明日明後日がその二連休