X



トップページ将棋・チェス
1002コメント732KB
最新ソフトで棋士の指し手一致率を調査した結果 2
■ このスレッドは過去ログ倉庫に格納されています
0473◆f7OmZ9ucu2
垢版 |
2019/11/13(水) 10:01:03.70ID:MpYP7260
羽生は25歳のときよりは30代のほうが強かった
で、44歳まで安定して強かった
輝きを失う前がもっとも輝くといわれるように40代前半がもっとも強かったかも知れない
今弱くなったというのはその頃に比べると弱くなっただけで25歳の頃より弱くなったわけではない
25歳の羽生も他の棋士より少ないが悪手は今と同じか今以上にあった
今の羽生は的確に悪手をとがめることができる相手との対局が多いせいで勝率が落ちている
25歳のときには今の渡辺、豊島、広瀬、藤井聡太といった強い棋士がいなかった
ソフトの影響も大きい
ソフトで解析するとトップ棋士にも悪手があることが分かって神通力が落ちてしまった
ハッタリ手に負けないように意識して終盤に時間を残すようになった
そのため、羽生独特の逆転術が空振ってしまうことがあるし、優勢でも粘られて逆転を許すことも増えたようだ
それでも時間がない中での直感勝負で羽生の右に出る者は今もいない
だから衰えたというほどのことではない
今でもレーティング6位以内に入っているのが何よりの証拠だ

25歳の頃より強くなった30代に七冠制覇できていないのも理由がある
同年代のライバルも成長して強くなってきたし、渡辺が出てきたからだ
25歳で七冠制覇したときは容易に挑戦者になれたが、30代は挑戦者になることすら容易でなくなった
ライバルのレベルが上がってきたからだ
全タイトルを獲るどころか全タイトル戦に出ることすらできないから25歳の頃より弱くなったとファンが勝手に錯覚しているだけだ
また、30代以降のほうが強いと認定してしまうと、絶対王者と呼べるほどの棋士でなかったことを認めることになってしまうので、「あの頃(七冠制覇時)が一番強かった」ということにしないと都合が悪いことになる
そうした理由も錯覚を作り出している
0474◆f7OmZ9ucu2
垢版 |
2019/11/13(水) 10:02:37.97ID:MpYP7260
2013年ソフトの限界は今だから言えることで、当時はかなり信頼されていた
だが今では当時のソフトの評価値でプロ棋士の指し手を評論したら笑い者にされるようになった
探索深度11手(100万ノード)で評価するのは無謀にもほどがあることは観る将ですら常識になった
質が悪ければどれだけデータを集めても糞の役にも立たないのだ
だからといって今のソフトもいずれ無価値になるかというとそれは違う
プロ棋士とソフトのどちらか一方でも最善手が見えていなければ当然一致率は高くならない
毎回偶然に一致率が高くなることは不可能だ
その結果が2013年の一致率が低い理由だ
それは、プロ棋士に最善手が見えていないからではなく、1手1秒解析の2013年ソフトに最善手が見えていないことが原因だったことがソフトの進化でわかってきた

一致率はプロ棋士とソフトの両方が最善手を見えていないと高くならない
お互いに最善手でない手を最善手と勘違いすることはあるが、勘違いした手が一致するということは稀にしか起こらないからだ
最善手という「神の手」に導かれるからこそ一致率が高くなる
したがって、現在一致率が90%以上に、時に100%になることもあるのはプロ棋士の最善手率が高いということであり、ソフトの進化が最高のレベルに近くなったからでもあるのだ
いわば、ソフトとの数パーセントの違いが決定的でどうしても埋めることができない棋力差であることがわかるところまできてしまった
したがって、プロ棋士の才能は人間の限界点に到達しているし、ソフトの進化もこれ以上多く望めるものではなくなっている
現状で一致率=最善手率と見なして不都合がないところまできているのだ
0475◆f7OmZ9ucu2
垢版 |
2019/11/13(水) 10:04:18.57ID:MpYP7260
近頃は5ちゃんねるの棋戦スレでライブ鑑賞しているファンにはソフトの推奨手と棋士の指し手が見事に一致する率が高いことがよく知られるようになった
たとえば、昨日の王将戦の広瀬の中盤以降の一致率は33/34 実に97%だった
何と開戦の41手目▲45桂が一致しなかっただけであとは全部一致していた
これば逆順解析の効果もあると思うが、広瀬が逆転されるような手を一手も指さずに完勝したことを意味している
いわば読み切った会心の一局だったに違いない
広瀬は一つ前の棋王戦でも23/23で一致率100%の将棋を指している

このように最近のトップ棋士の一致率の高さには眼を見張るものがある
これは次善手を含めた広義の一致率の話をしているのではない
ソフトの最善手との一致率を話しているのだ

以上。転載終了
0476◆f7OmZ9ucu2
垢版 |
2019/11/13(水) 10:45:05.77ID:MpYP7260
>>475
このなかで昨日の王将戦というのは11月1日の先手広瀬vs後手羽生戦のこと
キャプチャーを見ると広瀬にも悪手1と疑問手2があるじゃないかと思うだろうが、これは解析の浅さ(depth17)のせいで評価値が動いてしまっているからだ
指し手自体はソフトの候補手と一致している
生観戦した人なら広瀬が97玉と指したときに「悪手がきた」と騒ぎになったのを記憶しているだろうが、ソフトに深く読ませると悪手でなく最善手といってよいことがわかったはず
これも、depth17の浅い解析でも逆順解析なら評価値は悪手判定のままだが推奨手はしっかりと97玉になっている
そのため一致率は97% [33/34|と正しい評価が出ている

https://i.imgur.com/j0pJ7UA.png
0477名無し名人
垢版 |
2019/11/13(水) 16:41:34.33ID:S11dPiGO
2013年時点のソフトってどのくらいの強さだったんだっけ?
今のプロ中間レベルと同じくらい?
まあいずれにしろ山下って人はさ、ソフトが強くなれば検証結果も変わるってことを
知ってるはずなんだよ。だから毎年検証を重ねるべき。
ソフトが今後さらに強くなれば、やっぱり羽生の方が上、って結論になるかもしれないし。
多分山下って人は羽生信者で、大山の方が上って結果が出るのが怖いんじゃないのか?
0478◆f7OmZ9ucu2
垢版 |
2019/11/13(水) 18:46:10.22ID:MpYP7260
将棋ソフトのレートに合わせるとトップ棋士のレートは3000〜3100
今の最強ソフトのレートは4300以上
レート差1300は勝率99.9%になる
それが今のソフトとプロ棋士の差だ

しかし、2013年ソフトのGPSFishはレート2916で、Bonanza6は2770だった
棋力をdepth12に抑えたGikou2 D12のレートが3028と計測されていて、これが最もトップ棋士のレートに近い
GPSFishはトップ棋士よりレート100は弱いので、期待勝率に変換するとトップ棋士に勝率36%になる棋力だ
この棋力でトップ棋士の棋譜を解析して平均悪手を評価しても信頼できる数値は出てこないが、depth11となるとさらに100弱いと考えられる
プロ棋士に期待勝率25%くらいのソフトだった可能性が高い
0479名無し名人
垢版 |
2019/11/13(水) 19:08:21.53ID:zC80R+9r
>>477
あれ、加藤の方が大山より強いって結果なんだよな
現実を説明できない計算結果は、過程に誤りがある。
科学のこんな基礎すら忘れてる論文だよ。
0480◆f7OmZ9ucu2
垢版 |
2019/11/13(水) 19:13:05.70ID:MpYP7260
ソフトの使用法が違うだけでどれほど解析が異なるかを実感できるキャプチャーを保存してあるので見てほしい
棋譜は11月1日の王位戦からで先手が渡辺明三冠、後手が渡辺大夢五段だった
解析に使用したのはdolphin1.01/illqha3で
左がdepth12で解析したもの
右がdepth17で解析してある
https://i.imgur.com/gzDEptN.png
https://i.imgur.com/bfZAxpf.png
一致率、悪手、疑問手の数、平均悪手がまったく違う結果になっているのを確認していただきたい
渡辺三冠の平均悪手はけた違いだ
実はこれで終わりでなく続きの説明があるのだが、それは夕食後に
0481◆f7OmZ9ucu2
垢版 |
2019/11/13(水) 19:45:52.80ID:MpYP7260
さて、先のキャプチャーは探索エンジンdolphin1.01の設定でConsiderationModeをFalseにして解析したものだ
Falseは初期値になっているが逆順で解析するときはこのConsiderationModeをTrueに変更すると精度が上がるのだ
どれだけ違うか、次のキャプチャーを見ればわかる
左はTrueの設定で探索深度12での解析、右がTrueの設定で探索深度17での解析だ

https://i.imgur.com/aKCAbPh.png
https://i.imgur.com/vhh9gwH.png
0482◆f7OmZ9ucu2
垢版 |
2019/11/13(水) 20:03:30.91ID:MpYP7260
>>479
学者でない人に学者の良心は期待できないからね
0483◆f7OmZ9ucu2
垢版 |
2019/11/16(土) 13:32:53.02ID:eT14WFTZ
補正一致率の計算に不具合が見つかったので換算レートの算出式を見直した
これまで、勝局一致率×実際の勝率+敗局一致率×(1-実際の勝率)で補正一致率を出していたわけだが、勝局データがない棋士の場合は逆に増悪した一致率になってしまう
そのため、勝局データがない棋士の補正をやめて再度データの相関を確認した
データが7局以上の棋士は138名(A級11名、B1級13名、B2級25名、C1級36名、C2級52名、F級1名)で、実際上の最小局は9局となった
F級で7局以上の棋士は森内九段のみだった
以上の棋士のEloレートとの相関の強さは年間勝率と一致率が同じ0.77で相手一致率との相関は0.51だった

(1) C2棋士に限定して相関の強さを見ると年間勝率との相関が0.91、一致率との相関が0.80、相手一致率との相関は0.20だった
C1棋士のEloレートの説明変数に年間勝率を用いた換算レートは
610 × 年間勝率 + 1246 (R = 0.906)となった

(2) 相手一致率との相関が弱いC2棋士を除外したC1級以上の棋士で相関の強さを見ると勝率が0.75、一致率が0.82、相手一致率が0.60だった
換算レーティング = 2165 × 一致率 + 3612 × 相手一致率 -2536 (R = 0.914) という式が得られた

以上(1)(2)式を採用した換算レーティングは次のようになった
なお、竜王戦ランキングを含めた換算式にすると0.94の相関が得られることを確認しているが、組の入れ替えが煩雑となるので今回は見送った
https://i.imgur.com/a6ICzfc.png

面倒なので、上位37位までにしてある
年間勝率の欄が太字になっているのは年間勝率で換算レートを出した棋士(C2棋士)であることを示している
見ての通り、C2棋士ではどんなに強くともなかなか上位に食い込めない点が課題で改善の余地があるところかもしれない
もっとも本当に強ければC1に昇級すればいいだけのことで、あるいは勝率を上げればいいだけの話でもある
たとえば、藤井四段のC2勝率0.855を換算レートにすると1768になるので現棋士のレベルで11位(久保と糸谷の間)に入っていたことになる
0484名無し名人
垢版 |
2019/11/16(土) 14:10:11.32ID:RzrR1pwq
はえ〜すっごいデータ量…
0486◆f7OmZ9ucu2
垢版 |
2019/11/16(土) 23:52:59.03ID:eT14WFTZ
ついでに、気になる王将戦挑決の結末だが換算レートでも甲乙つけがたいことになっている
先手藤井七段vs後手広瀬竜王の解析結果は藤井七段に先手の利があるのだが、相居飛車に限定するとほとんど互角の見立てになる
https://i.imgur.com/cJqjEUw.png

一致率データはどの棋士よりも藤井七段が優っている
しかし、自分より下位の棋士を相手にできたために高い一致率が維持できている可能性が払拭されたわけではない
もし、ここでも強い勝ち方ができたら、次に豊島名人と当たるときにも互角以上の戦いが期待できるし、もちろん渡辺三冠との王将戦も楽しみになってくる
0487◆f7OmZ9ucu2
垢版 |
2019/11/17(日) 07:32:21.06ID:HvmoY/LQ
>>483
(1)の項で
>C1棋士のEloレートの説明変数に年間勝率を用いた換算レートは
とあるのは
C2棋士のEloレートの説明変数に年間勝率を用いた換算レートは
に訂正
0488名無し名人
垢版 |
2019/11/17(日) 17:09:15.66ID:UZFnGQ8E
悪手率の勉強をしに来ました
0489名無し名人
垢版 |
2019/11/17(日) 17:10:22.06ID:UZFnGQ8E
一致率だけで換算出来るとの事ですが
過去の棋士の棋譜(例えば七冠時代の羽生善治など)でも
相関関係は強いのでしょうか?
0490名無し名人
垢版 |
2019/11/17(日) 17:20:16.84ID:UZFnGQ8E
あと逆に序盤40手のデータから何か分かる事もないですかね?
例えば阿部光瑠六段の分析結果と実際のレーティングの差は
恐らくは序盤40手までの一致率もしくは悪手率から算出可能な気がするのですが
序盤のデータも対局相手との相対比較なら捨てずに組み込んでも良い気がします
0491◆f7OmZ9ucu2
垢版 |
2019/11/17(日) 17:52:33.37ID:HvmoY/LQ
>>489
一致率だけでは棋力判定はできない
平均悪手や悪手率だけでも判定できない
大事なのは最善手率
相手が悪手を指してくれてもその手を的確に咎める最善手を指せなければ勝てないからだ
ところが、最善手を指せるかどうかというのは局面が難しいか易しいかでも違ってくる
自分より棋力が低くて最善手を指せない相手と対局すれば自分のほうは最善手を指せやすくなる
したがって、棋力の判定には対局相手のレベルの判定もどうしても必要になる
その点はEloレーティングと変わらない
評価値差を見る、いわゆる平均悪手は最強ソフトでもバラツキがありすぎて終盤力が大事なプロ棋士のレーティングには適していない
2013年ソフトとのdepth11ぐらいとの一致率では最善手率は出せない
いろいろ、試した結果、最善手率は最新ソフトのdepth17ぐらいとの一致率で十分代用でき、最新ソフトで棋士の一致率と対局相手の一致率を知ることができれば強い相関(0.9以上)でレーティングに換算できることがわかった
このレーティングは理論上1995年の棋士にも適用できる

そうしたことが、このスレでは様々な議論を整理し検証しつつ明るみになってきた
そんなわけで、大概の意見や疑問は一度提出されているはずなので、ワード検索で当たるか、最初から読んだらいいと思う
0492◆f7OmZ9ucu2
垢版 |
2019/11/17(日) 18:01:31.74ID:HvmoY/LQ
>>490
前半40手を除外した一致率と相手一致率を説明変数にした回帰式でEloレーティングとの強い相関が得られているので、いわゆる証明終了の段階にきてると思うよ
つまり、前半40手の一致率を分析しなくとも支障なく棋士の棋力の判定ができるということが証明されたわけです
むしろ、前半40手を無視したから成功したことになるんじゃないかな
0493名無し名人
垢版 |
2019/11/17(日) 18:09:33.38ID:UZFnGQ8E
なるほど
参考までに2013年の論文で書かれていた
昔の名人と加藤一二三九段のレーティングも知りたいです
0494◆f7OmZ9ucu2
垢版 |
2019/11/17(日) 18:19:44.25ID:HvmoY/LQ
蛇足だが、序盤戦の巧拙が棋力と関係ないというわけではないけど、ソフトとの序盤一致率と棋力との相関は弱いね
というのも序盤はどんなに研究が進んでも指し手Aと指し手Bで大きな違いはないからね
つまり、棋力との相関の有無は、ソフトとの一致率が50%でも形勢互角の局面がよくあるのが序盤戦で、最善手か次善手かで天と地の開きが生じるのが終盤戦という違いだね
0495◆f7OmZ9ucu2
垢版 |
2019/11/17(日) 19:01:42.28ID:HvmoY/LQ
>>493
結論からいうと、
いわゆる山下レーティングについては極めて否定的な見解にならざるを得ないが、それの替わりとなる歴代棋士レーティングを大上段に出す予定はない
推定はしているが定説になりうるとは考えていないので

というのも、残念なことに大山や加藤一二三が全盛期だった頃の棋譜は一部の棋士を除いてほんの僅かな棋譜しか入手できないんだな
仮に入手できても年間単位で棋譜を解析するのは大変な労力だからね
つまり、大山、升田、中原、羽生、谷川らの特定年の一致率は調べることができたけど、相手一致率を正確に知ることができないのよ
換算レーティングで互いに比較したり現棋士と比較したりする推定材料は出しているつもりだけどね
0496名無し名人
垢版 |
2019/11/17(日) 19:32:56.84ID:OQz7ANH6
ん?相手一致率って棋譜からの一致率じゃなくて
対戦相手の棋士の普段の対局の一致率なの?
計測対象の棋士の棋譜だけからレーティングを推測する方法はまだ未発見だったのか
0497◆f7OmZ9ucu2
垢版 |
2019/11/17(日) 20:11:42.89ID:HvmoY/LQ
>>496
一致率にしても悪手率にしても、平均悪手にしても対局相手の棋力(指し手)で異なるから特定棋士の棋譜20局から測定できるという説はすべて偽物の指標のはず
勝率だって対局相手次第だからEloレーティングというものが考案されている
勝った側が一致率が高く平均悪手が小さくなるわけだから対局相手と無縁なわけがない(参照>>6)
0498名無し名人
垢版 |
2019/11/18(月) 01:34:57.58ID:aPkIXptl
与えられた棋譜のみから判断可能な山下論文の方が手法として汎用性が高いね
1人の棋士を分析するのにも必要な解析棋譜の量が膨大になりすぎる
0500◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 06:32:11.87ID:bhD9Fc9X
>>499
こういう袋小路に入っている研究を見ると、一致率を調べるときに「前半40手を除外して候補手1で逆順で解析する」という手法は画期的というか革命的とすら言えるね
0501◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 08:10:01.93ID:bhD9Fc9X
>>499
>藤井は 2017 年の 8 月は 6 局中 2 局,9 月は 8 局中 3 局負けている.しかし,藤井が負けた対局の一致率 をみると,9 月の 3 局は,8 月の 2 局よりも一致率が 高くなっていた.
>ここから,藤井が短期間で形勢が悪 い局面で最善手を指す力を身に着けたと考えられ, 成長の早さがうかがえる.

たった2局(8月)の一致率と3局(9月)の一致率を比較して「云々」する研究者(複数)がいることに驚いてしまった
しかも、8月の負けは菅井(王将戦)と豊島(棋王戦)なのに対して、9月の負けは井出(加古川戦)、大地(新人王戦)、大橋(棋聖戦)
こうした違いへの考察がまったくなされていない
かなり恥ずかしいレベルの研究だね
0502◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 08:28:49.65ID:bhD9Fc9X
>>501追記
初手から一致率を調べているなら8月と9月で一致率の違いがどこからきているのか、序盤か中盤か終盤かも当然調べなければいけないのにやっていない
まあ、2〜3局で結論を引き出す安直さには脱帽するしかないわけだが

月毎に一致率の推移を出しているのも理解が足りない現れだね
棋戦(持ち時間や対局相手)の違いが念頭にあればこんな愚は犯さないよ
違いが相殺される年間で推移を見るか、持ち時間や対局相手で区分して見ることをするもんだよ
0503◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 12:37:31.34ID:bhD9Fc9X
>>498
>与えられた棋譜のみから

調べたい棋士の棋譜解析だけで棋力を判定するという不可能なことをやっているから正しい結果を導きなかったのが山下論文
平均悪手や一致率だけで棋力がわかるのなら1年前の16歳の藤井は25歳のときの羽生より強いということになる
藤井のほうが強いだけでなく、今の千田、増田、大橋、丸山、大地、永瀬らは25歳の羽生と同等に強いことになる
なぜなら、彼らの一致率は1995年の羽生と変わらないから


>解析棋譜の量が膨大になりすぎる

そもそもレーティングは全棋士を調べないと作れないから全棋士の棋譜を解析する必要があるのは瑕疵とはいえない
C1以上棋士に限定するなら一致率を指標にするだけで強い相関(0.82)が得られている
相手一致率も指標に加えると精度が上がる(相関が0.91になる)というだけのこと

相手一致率でなく相手レートを調べるという方法もある
これなら、棋譜の解析は棋力を調べたい棋士だけで済む
Eloレートとの相関も0.94まで強まる
これの欠陥は時代が異なる棋士間での比較に使えないというだけのことで、現棋士を比較するならこれのほうがいい
もっとも現棋士の比較だけならEloレーティングでいい
相手一致率という指標を導入した意義は20年後の棋士も同じように同一ソフトで棋譜解析すれば比較できることを示したことにある
つまり、換算レートで17歳の藤井と37歳の藤井を比較することが可能になる
0504名無し名人
垢版 |
2019/11/18(月) 17:04:52.63ID:Scz9EJfk
>>503
>彼らの一致率は1995年の羽生と変わらないから

山下論文は一致率ではなく悪手率だよ
0505◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 17:21:34.56ID:bhD9Fc9X
>>504
一致率が同じ78%だから平均悪手も悪手率もあまり変わらないよ
ちなみに山下師が藤井四段と羽生七冠の平均悪手がほぼ同じと紹介したときの藤井四段の一致率は80%だった
それが16歳のときには86%だよ

https://i.imgur.com/9OQu90z.png
0506◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 21:56:37.39ID:bhD9Fc9X
>>498,504
平均悪手が重要という主張をしたいなら反論してくれ
(1) 平均悪手は計測するソフトの違いや探索深度の違いや解析を打ち切る0.1秒の時間差でも数値は同じでない
(2) 弱いソフトだと平均悪手の信頼度も低くなる
(3) 悪手の尻切りをどこでするかでも平均悪手が異なる
山下方式は評価値が1000以内の局面での悪手(ここで言われている悪手はソフトの候補手と異なる手)に限定しているため、終盤で優勢なときの悪手や劣勢なときに逆転の好機を見逃してしまう悪手は対象にされていない
(4) 最善手を指せないのは棋力の問題だが、最善手と指し手との評価値の違いは棋力と相関していない
評価値は結果論にすぎないしソフトによって違うし探索深度によっても違うから絶対的な数値ではない
棋力に関係しているのは最善手を指せなかったという事実だけだ
(5) 藤井七段は2018年のときの一致率が86%であったが、2019年は83%台(11月現在)に落ちている
当然、平均悪手も膨らんでいるから平均悪手=棋力論でいくと棋力が低下したことになる
実際の藤井七段の棋力は向上しているわけだから理論が破綻している
0507名無し名人
垢版 |
2019/11/18(月) 22:07:08.61ID:Scz9EJfk
(1) 一致率も局面次第ではソフトによって同じではない
  悪手率なら均される
(2)これは一致率の方が当てはまる話、弱いソフトでも露骨な悪手は発見できる
(3)一致率では頓死の手も次善手も同じ扱いになってしまう
(4)山下論文で相関関係が出てる
(5)一致率と平均悪手は別だから計測しないと分からん
  現実に勝率が落ちているのだから棋力が上がっているとも言えない
0508◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 22:18:03.65ID:bhD9Fc9X
>>507
>(4)山下論文で相関関係が出てる

プロ棋士との相関関係は確認されていない
検証もされていない
将棋倶楽部24の平均悪手とレートの相関式をそのまま代用しただけ
0509◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 22:19:51.71ID:bhD9Fc9X
>>507
本気で(5)の主張が通ると思っているのかな?
0510名無し名人
垢版 |
2019/11/18(月) 22:23:17.88ID:mXPFAl/E
>>507
(5)はありえないw
対戦相手のRの変化を一切考慮していないw
0511◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 22:37:50.49ID:bhD9Fc9X
>>507
(3)頓死での逆転や詰みを逃しての逆転はどの棋士にでも起こり得る
問題なのはそうした悪手は評価値差が1手で3000以上になること
そうした悪手があると平均悪手が桁違いに跳ね上がってしまう
つまり、棋力と相関していない
最新ソフトとの一致率ならほぼ最善手率と同義だが、最善手を指す率が高い棋士は悪手率が低いという関係にある
大悪手になるか否かは大したことではない
最善手を指す率が低い棋士は当然大悪手を指す割合も高くなる
プロ棋士の場合、大悪手になるか否かは棋力と相関していない
棋力と相関しているのは最善手率(一致率)のほうだ
現プロ棋士のEloレーティングと一致率は強い正の相関があるが、平均悪手とプロ棋士のEloレーティングの相関を確認できた研究者は一人も現れていない
0512◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 22:52:33.08ID:bhD9Fc9X
>>507
(1)一致率の違いはデジタル値でいうと0か1だけなので極めて扱いやすい
平均悪手はそうはいかない
-30000〜+30000の幅がある数値になっている
一致率なら最善手を大悪手と誤判定しても1が一つ減るだけだが、平均悪手だと誤判定で30000も違ってくる
どちらがデータ処理しやすいか明白だ
0513名無し名人
垢版 |
2019/11/18(月) 23:04:47.27ID:Scz9EJfk
とりあえず一個論破しておくと
実際に藤井聡太のレーティングは前期の方が高い
https://bitsend.jp/download/49912d6471a12ffb9ea106d7d8e437b1.html

前期の勝敗から計算したレーティングが1959〜1960
今期の勝敗から計算したレーティングは1922〜1923

こんな簡単な計算も出来ないようでは話にならないよ
0514◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 23:20:34.91ID:bhD9Fc9X
>>507
最後に一致率と相手一致率を指標にした換算レートの威力>>483に何の疑問もないことをもう一度確認してくれ
丸山九段は現在B2棋士だがEloレーティングでは12位にきている
ビックリするような上位だが、換算レートでも12位で、その差もわずか9しかない
このように極めて合致している
丸山だけではない
その上の菅井、木村、久保もほとんど計ったように合致していることがわかる
これが平均悪手では実現不能な一致率の威力だよ

https://i.imgur.com/a6ICzfc.png
0516◆f7OmZ9ucu2
垢版 |
2019/11/18(月) 23:58:29.63ID:bhD9Fc9X
前スレから一貫して実証主義を通してきた
ミスティークや勘違いもあったが訂正しながら今も完成形を目指している
プロ棋士の棋力を比較する上で一致率の有効性はもはや疑いようもない
これだけ、実証されてきている一致率に>>507のように抽象的な疑問や哲学論争に終始する態度はとうてい誠実とは言えないし、科学的態度とはまったく相容れないと言える
≪一致率か平均悪手か≫という抽象的な議論の段階はとっく終わっているのに気付いていないか、どうしても指標としての一致率を認めたくない別の理由が隠されているにちがいない
0517名無し名人
垢版 |
2019/11/19(火) 15:23:11.05ID:MH8LEdtf
517
0519◆f7OmZ9ucu2
垢版 |
2019/11/19(火) 17:11:53.69ID:0jRILW+p
ミステークだね

@前スレになるが、最初は敗局時の一致率もしくは勝局時の一致率が鍵になるとアタリを付けていたが見当違いだったこと
→データ数が多い一致率が指標として一番適していることがわかった
A相手一致率も無視できないということから対局時の相手一致率が指標に使えるという算段だったが、一致率とペアになる相手一致率だけでは役に立たないことに気付いて方向転換したこと
→指標として必要な相手一致率は対局時の相手の一致率ではなく相手棋士の一致率だから
B当初は解析した棋譜の一致率を指標に使えばよいという考えだったが、データの偏りを無視できないことから年間勝率で補正した一致率を指標に使うようにしたこと
C勝局データがない棋士の一致率は補正が不可能なことをうっかりして放置したこと
→このため、C1棋士以下の一致率の相関係数が低くなっていた
Cデータ入力の誤りがあった
先後の棋士名が逆になったり、勝敗や一致率データを逆にしたり
→まれにしかないが、全部リサーチして訂正している
0520名無し名人
垢版 |
2019/11/19(火) 19:37:53.31ID:SRCpkPAc
>>515
全然計算の意味分かってないでしょ
前期の成績が妥当なレーティングを逆算すると1959〜1960になるんだよ、計算で簡単に出せる。
1局で上昇するレーティングには制限があるから強さを反映するのにタイムラグが出て
前期の戦績から算出した実質的なレーティングに合わないから
棋譜解析のデータは少なくとも藤井七段に対しては信憑性がイマイチだよ。
0521◆f7OmZ9ucu2
垢版 |
2019/11/19(火) 20:09:12.95ID:0jRILW+p
>>520
Eloレーティングのことを言っているのなら勝率からだけでは計算できないよ
対局相手とのレート差をその都度点数にしていかないと無理だから

藤井七段は勝率は低下したけど四段時から順調に棋力を上げてきているんだよ
これじゃないレーティングの推移があるのなら資料を貼ってみなよ

http://kishibetsu.com/rankingP/1307.html
0522名無し名人
垢版 |
2019/11/20(水) 06:51:29.65ID:8WMpzdMZ
>>520
横だがそんな計算意味ないだろ
それなら藤井聡太が一番強かったのは29連勝のときになってしまう
あの29人に100%の勝率をあげるレーティングとかとんでもない数字になるけどそんなレーティングだったわけがない
0523名無し名人
垢版 |
2019/11/21(木) 00:34:44.81ID:VE5gbf48
>>522
2017年度の藤井聡太のレーティングは1911〜1912
https://bitsend.jp/download/2361b8e7b64eaa5fab1101c40d5ee751.html
勝ち星がどこに偏るかは別として
レーティング1911以上の棋士なら同等の戦績は残せる計算

【藤井聡太 2017】1911〜1912
【藤井聡太 2018】1959〜1960
【藤井聡太 2019】1907〜1908(現在)

今期の藤井聡太は現時点ではここ三年間で一番弱い
0524名無し名人
垢版 |
2019/11/21(木) 02:10:02.88ID:54Z+WAEe
>>523

> 今期の藤井聡太は現時点ではここ三年間で一番弱い

こんな結論が出るんじゃ全く意味がないと言われても仕方ないな…
0525◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 06:10:11.71ID:zrCDU763
>>523
計算だけして分析ができない御仁のようだね
ここに少し前に分析した表があるのでこれで説明しよう
https://i.imgur.com/OOm27b4.png

上段の表が藤井聡太の暦年の全データで年間勝率は2019年が下がっている
それは当たりがキツくなったのが原因だ
それでも相手レートから計算した換算レートは2018年より下がったことになる
結論がおかしくなるのは全対局相手の平均レートという分散値が大きすぎる平均を根拠にしているからだ

そこで、レーティング30位以内の棋士(≧1700)との対局を除外して成績を比較したのが中段の表で、すると順調に棋力を上げてきていることがわかる
下段は持ち時間1時間以下の早指し戦を除外したデータだ
このデータからも棋力の向上が見てとれる

さて、2019年は棋力が向上したが一致率が低下した
これは一致率が当てにならないという意味ではない
2017年と2018年の一致率の変化は飛躍的に棋力の向上があったと了解できるように藤井棋士の一致率の高さは十分に棋力の高さを現している
相手レートの代わりに相手一致率を代用できるのも一致率と棋力に相関があるからにほかならない
同時にこのデータは、対局相手を考慮しない一致率だけでは棋力の評価は十分でないことも読み取れるようになっている
0526◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 06:14:11.84ID:zrCDU763
そこで、一致率の替わりに引き合いに出される平均悪手はどうか
対局相手に関係なく平均悪手だけで棋力がわかるのだろうか
しかも、最新のソフトよりレートが1500も低いというのに、2013年ソフトでの解析でプロ棋士の平均悪手を云々してよいのだろうか

山下氏もその点は今後の課題として上げていたが何一つ実行することなく5年経過してしまった
ソフトが著しく進化して解析時間も大幅に短縮できるようになったのに実行しない理由がわからない
実行してみたが思わしい結果がでなかったということすら考えられる
反論したいならやるしかないだろう
今からでも現プロ棋士の棋譜を解析して平均悪手とEloレーティングの相関を証明すべきではないだろうか

山下氏が上げていた課題
(1) より予測が正確な指標の発見
平均悪手と好手率、複雑さの組み合わせなど
(2) より正確で、多くの棋譜の入手
将棋倶楽部24のレーティングが正しいか検証 持ち時間を統一して調べる
(3) より深い探索での解析 より多くのプログラムでの解析
0527◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 06:20:49.57ID:zrCDU763
>>525
誤解する人はいないと思うが、この表の換算レートは回帰式から計算したものではない
勝率をレート差に変換して相手レート(平均)に加えただけです
0528◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 06:33:29.99ID:zrCDU763
平均悪手より一致率のほうが棋力判定に適しているという研究はすでに2015年に発表例があるので紹介しよう

竹内聖悟
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&;item_id=113667&file_id=1&file_no=1
「単純な悪手率または好手率」
◆山下の手法では評価値の変動の絶対値を加えているが、これは余り直感的ではない。そこで、単純な悪手率や好手率を定義する。すなわち、悪手率では評価値の変動の絶対値を用いず、単純に回数だけで計算を行う。
このことの利点として、局面の評価値の絶対値が 10 未満という条件の緩和が容易になることが挙げられる。
回数ならばこの範囲を拡大しても率の取り得る範囲は変わらないが、変動の絶対値を加える場合には局面の絶対値の制限によって大きく 変わってしまう。
◆局面の評価値の絶対値が 50 未満の局面を対象として、単純な回数による好手率と悪手率とを計算し、GPS 将棋毎、レーティング毎にプロットした。
悪手率は低いほどにレーティングが高く、好手率は高いほどにレーティングが高くなる傾向が見られる。
相関の高いものについて、最小二乗法を行い、gps normal では
レーティング = −30200.71 × 悪手率 + 11227.23 (R2 = 0.632) ,
レーティング = −40575.69 × 好手率 + 6091.58 (R2 = 0.866)
gps l では レーティング = −38529.26 × 悪手率+ 11540.86 (R2 = 0.619) という式が得られた。
◆まとめ
従来は評価値の変動を考慮した悪手率や好手率を使っていたが、単純な回数からの悪手率と好手率の方が良いという結果を得た。
0529名無し名人
垢版 |
2019/11/21(木) 07:24:35.69ID:VE5gbf48
>>527
あー理解
そっちも完全に誤解しているようだが
>>523はその換算レートを更に精度を高めて計算した結果だぞ
https://i.imgur.com/hpsTqmm.png
https://i.imgur.com/cflSsCF.png
https://i.imgur.com/uj5VHAG.png

対戦相手の平均レートという大雑把な数字ではなく
同じ相手に同じ戦績を上げるのに適したレーティングを
個別の対局結果から具体的に算出した数値が>>523
0530◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 07:47:03.41ID:zrCDU763
このように竹内は、山下の評価値の変動を考慮した悪手率(平均悪手)より単純な回数からの悪手率(一致率)のほうが良いという結論を出している
なお、竹内定義の悪手率はソフトの候補手と違う手で評価値が悪い手、好手率はソフトの候補手と違う手でソフトの評価値より良い手の意味なので、
仮に悪手率30%、好手率25%とすると
gpsでの一致率=45(100-30-25)%
最新ソフトでの一致率≒70(45+25)%
となる
このように、竹内の研究は平均悪手より一致率が良いというものだった
しかも、この竹内研究では山下の悪手率(平均悪手)はレーティングが高いほど悪手率が高いというトンでもない結果も出ていた(gps500の場合)
これでは平均悪手による棋士のレーティング付けが信頼できないのも当然だ

他にも重要な指摘がなされている
◆山下悪手率(平均悪手)は評価値10未満(最新ソフトの1000に相当)の局面に制限しているが根拠に欠けているし、これではほとんど終盤の局面は現れない
◆回数なら制限を緩和しても値が取りうる範囲は0から1の範囲内に限られるから局面の範囲を拡大できる
実際に竹内悪手率と好手率(最新ソフトでの一致率と指標的に同等)は局面の評価値の絶対値が 50 未満の局面(最新ソフトでの5000に相当)を対象にしている
0531◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 08:07:04.20ID:zrCDU763
>>529
>換算レートを更に精度を高めて計算した結果
>同じ相手に同じ戦績を上げるのに適したレーティング

そんな計算で精度を高められるわけがないぞ
精度が保証されるためにはデータの分散に見合った必要なデータ数というものがある
常識に反する結果が出たときは計算の誤りを疑うべし
そのために分析があるんだよ
0532名無し名人
垢版 |
2019/11/21(木) 08:12:03.95ID:KfRGtO2W
>>523
それさあ
結局単に勝率を異なる数値に置き換えてるだけに過ぎないんだよ
だから「勝率が下がったから藤井聡太は弱くなった」って言ってるのと変わらない
それが君の主張ならそれでいいけど、常識的に考えたらおかしいと思う人の方が多いと思うよ
0533◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 12:11:40.36ID:zrCDU763
>>529
範囲の取り方で結論が違ったりすることを理解すべきだね
例えば分散を小さくするにはデータの範囲を狭くすればいい
そうなるとデータ数が少なくなるのでそれはそれで問題なんだが、見本をだしてみた

換算レートは総じて2017<2018<2019となった
高レートの対局相手の比率も2017<2018<2019になっている

表は換算レートが高い順
https://i.imgur.com/tqlhJoJ.png
0534◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 12:32:00.92ID:zrCDU763
キャプチャーは竹内2015が検証した山下悪手率の図面なんだが、見ての通りgps500(◆マーク)ではレーティングが高いほど山下悪手率も高いという結果が出てしまった
皮肉にも山下悪手率はこのプロット相関がもっとも強い相関だった(R2乗=0.813、すなわちR=0.9)

gps500だけではない
gpsfish(×マーク)でも逆相関が見られ、他の2つのソフトでは相関が確認できないという惨憺たる結果になっている
https://i.imgur.com/T0KZLPt.png

なお、この竹内の事例は「一致率>平均悪手」を実証する都合のいいものを選別したものではない
次のレスで知った事例であることを表明しておく

羽生善治は大山康晴を超えることができるのか? 18
705 名無し名人 sage 2019/11/02(土) 13:14:17.98 ID:sUdv0sxL
以下のように、「一致率」が使えないことは皆初めから理解しているのだ
山下宏 (東北大)
「平均悪手」

竹内聖悟 (東大)
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&;item_id=113667&file_id=1&file_no=1
「単純な悪手率または好手率」

馬場匠、伊藤毅志 (電気通瑞M大)
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&;item_id=192073&file_id=1&file_no=1
「平均損失」
0535◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 13:49:11.04ID:zrCDU763
>>534
付け加えることでもないが、一致率研究など誰もしていないとしてあげた研究が、読んでみると評価値重視の山下悪手率より回数のみの単純な悪手率や好手率のほうが良かったという内容で2015年のものだった
つまり、2019年最新のソフトだと好手が最善手(推奨手)にかわるから一致率は(1-悪手率-好手率)+好手率=(1-悪手率)となる
竹内測定の悪手率30%は最新ソフトの一致率70%とほぼ同値となり、悪手率25%は最新ソフトの一致率75%とほぼ同値となる
何のことはない
竹内悪手率の相関判定は最新ソフトの一致率を指標にした場合と同じことをやっていたわけだ
0536◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 14:46:28.25ID:zrCDU763
>>534
これの一番下の研究は山下悪手率を追検証してみようとしたものだが失敗に終わっている
竹内よりあとの2018年のものだが技巧2で評価値1000未満(山下研究の10未満に相当)の局面のほかに<500、<300、<100の局面に分けて平均損失と100刻みのレートとの相関を調べている
いずれも相関係数は0.8前後であった
この程度の相関でプロ棋士の棋力を推定することが可能かというと、今年の1月から10月までの解析データから得られた一致率のキャプチャーと比較するとよくわかる
https://i.imgur.com/b6UW52o.png

このように100刻みのEloレートと一致率の相関は0.98であった
これほど強い相関でも全棋士レーティングとの相関係数を調べると0.78まで下がっている
おそらく平均損失の相関では0.6程度に落ちてしまうであろう
つまり、山下悪手率よりマシになっている技巧2による「平均損失」でもプロ棋士の棋力を測定するのは無理なのだ
実験計画の事後報告がないことがすべてを物語っている
実験計画
@技巧2.02で探索深度10手で解析する
A前半40手を除外して評価値の絶対値が300未満の局面に限定して平均損失からレートを推定する
評価値局面は0に近いほどいい
B50局面を解析できればよい
1局で4局面前後になるから14棋譜あればレートがわかる
「システムを実現したら、本当に少ない対局数で棋力の推定が可能であるかどうか、棋力のわかっている被験者を用いて、本システムの有効性を示していきたい」
0537◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 14:46:58.59ID:zrCDU763
感想
◆投げ捨て、やり逃げの研究が多い
意のままの結果にならなくとも最後まで続けるか途中で打ち切り宣言をすべきだろう
◆プロ棋士の勝敗はほとんどが終盤力で決まる
とくに駒組の優劣で差がないトップ棋士ほど終盤力が勝敗を分けている
ところが、この研究は、差があまりない局面での指し手から棋力がわかると推定している
これは山下論文も同じ
そして、その指し手を評価するのに技巧の探索深度10手で十分と推定している
何から何まで間違っている
そんなので、Eloレーティングと同程度の精度のレートを推定できるわけがない
正確なレートが出せないだけではない
大山>羽生を大山<羽生と誤認してしまうことになる
二日制の対局では渡辺>羽生なのに渡辺<羽生と誤認してしまうことになる
なぜなら、序盤中盤よくても終盤で自滅あるいは力が逆転してしまうことがこの解析ではわからないからだ
◆ところが、この研究論文はゲーム情報学研究会より若手奨励賞を受賞したようだ
「本賞は、研究の総合的な完成度よりも、将来性、独創性、また、プレゼンテーションの工夫等、何らかの点で他と比べて大きく優れると評価された発表を積極的に表彰するもの」ということのようだ
0538◆f7OmZ9ucu2
垢版 |
2019/11/21(木) 17:11:11.09ID:zrCDU763
受賞した研究を辛口批評してお前は何様だと言われようがこれについて妥協の余地はない
勝敗等の成績と無関係に純粋に棋譜の内容から棋力(Eloレーティング)が推定できることを示すためには、少なくともEloレーティングと勝率の相関係数に近いものが得られなければならない
プロ棋士の場合、100刻みのレートと勝率の相関係数は0.95になっている
プレゼンをみると技巧2で解析した平均損失は100刻みのレートとの相関係数が0.8前後だ
勝率に劣る指標では話にならない

https://i.imgur.com/4v64ilr.png
0539名無し名人
垢版 |
2019/11/22(金) 00:37:57.03ID:YSbACSMi
>>532
それ何回か指摘したけどそいつ馬鹿だからわかんねぇぞ
0540名無し名人
垢版 |
2019/11/23(土) 18:10:57.02ID:ghcsgYEQ
540
0541名無し名人
垢版 |
2019/11/23(土) 18:43:49.87ID:nm7IfRmV
スレ主さんはソフトの一致率だけじゃ満足できないの?
イロレート以外のもう一つの強さの指標として十分貴重なデータだと思うけどな
0542名無し名人
垢版 |
2019/11/23(土) 20:30:39.76ID:NMK1jw/p
>>541
イロレーティングで今と昔の棋士の強さを比較するのが難しい(レーティングはインフレしたりするから)ので
イロレーティングを補完する、もしくは置き換える指標が欲しいということじゃないの?
0543◆f7OmZ9ucu2
垢版 |
2019/11/24(日) 12:01:00.79ID:WjimAwEq
>>541
勝ち筋が読みやすいと一致率は高くなる
勝ち筋が読みにくいと一致率は低くなる
局面が複雑難解でどう指したら勝てるかわからないとき、良くなる手がわからないときは一致率は低い
当然、負け将棋の一致率は低い
つまり、楽勝な将棋ほど一致率は高くなりやすいから相手のレベルも判定に不可欠となる
今のところ最高の指標は一致率なので、棋譜解析からだけで相手の棋力情報を入手するとなると頼れるのは相手一致率しかない
そうやってC1級以上の棋士85名の換算レーティング = 2165 × 一致率 + 3612 × 相手一致率 -2536 (R = 0.914) という式が得られた
一番左の表がこのレーティング表になる
https://i.imgur.com/ZkzG5FC.png

C1以上の棋士85名の一致率とEloレーティングとの相関は0.82あるが一致率が高い順に並び替えても違和感がありありになる
換算レーティング = 2493 × 一致率 - 154 (R = 0.82 右側の表)
https://i.imgur.com/vn4kjtz.png
0544◆f7OmZ9ucu2
垢版 |
2019/11/24(日) 12:04:16.02ID:WjimAwEq
>>541
山下論文のように大山と羽生を比較して羽生>大山と断定してもあちこちで矛盾が隠しきれなくなっていることでわかるように、こうした単一指標では比較しやすい棋士を比べると簡単に反故をきたすことになる
したがって現棋士に一致率の順位を適用しても一致率では誰々が一番というフレーズは意味をなさないことになる
例えば>>543の右側のC1以上の棋士を一致率の順に並べた表では丸山が4位で西尾が7位で、豊島(14位)より強いことになる
一致率だけで棋力を評価することが無謀なことはこの一点だけでもわかる
棋力が高い、あるいは向上している棋士を先入観なしに知るには適しているが、ピンポイント的にA棋士はB棋士より強いという判定には向いていないことになる
0545名無し名人
垢版 |
2019/11/24(日) 22:34:19.13ID:whzwPkA+
>>544
丸山、ナベと並ぶトップタイの8連勝中
0546名無し名人
垢版 |
2019/11/26(火) 02:54:43.62ID:O2Z9WBYD
>>543
一致率と平均悪手をダブルで組み合わせてみたらどうですか?
解析の際に平均悪手の方は記録残してないんでしょうか
0547名無し名人
垢版 |
2019/11/26(火) 03:04:36.90ID:m8LtEBEo
やっぱ藤井君すげえわ

大山はゴミだな
0548◆f7OmZ9ucu2
垢版 |
2019/11/26(火) 08:32:12.28ID:QeYXPk6k
>>546
解析棋譜は保存しているから平均悪手はわかるが、平均悪手の元にあるのが一致率で一致率が100%なら平均悪手が0になるように、この二つは独立変数ではない
このため説明変数にできるのはどちらか一つだけということになる
そこで、一致率(を採る)か平均悪手(を採る)かという議論になっている
これは、2個以上の説明変数を用いて重回帰分析するときには互いに独立性が高い変数であることが求められ説明変数同士に相関があると回帰式の信頼性が極度に低下するので避けることになっているからだ
一致率を選んだのは平均悪手より一致率のほうが有効と判断できたからで、その理由は何度も言及してきた通り

とは言ってはみたものの、
初手からの前半40手(50手)は平均悪手と相手平均悪手
後半(41手以降または51手以降)は一致率と相手一致率
といったデータを2個以上おそらく全部組み合わせた重回帰分析なら面白い結果が出る可能性は極めて高い
その発想をもてなかったのは悔いるしかない
今からやるとしたら、棋譜を取り直して前半だけの平均悪手を追加してデータベースを再構築してということになる
自分には無理なので誰かの今後に期待したい
0549名無し名人
垢版 |
2019/11/26(火) 09:34:45.26ID:pJv5RnE/
>>548
有志であれこれ計算式を考え出せるように
その解析結果の生データは公開可能ですか?
0550◆f7OmZ9ucu2
垢版 |
2019/11/26(火) 10:18:12.99ID:QeYXPk6k
C1以上の棋士85名の換算レーティング(>>543の左の表)
これの基になった重回帰分析の概要はこの通り
https://i.imgur.com/XVjMtgL.png

回帰統計の3行目にある「補正R2」(自由度調整済み決定係数)」はデータ数や説明変数の数に依存しない値となることから、予測式の当てはまり度合いを評価する指標として使われている

分散分析表のF値と下段の t 分析のP値はいずれも0.000なので有意差の検定に文句なしに合格している

X値1は一致率、X値2は相手一致率で、どの説明変数がどの程度目的変数に影響を与えているかは t の値の大きさでわかる
この場合、一致率が15.391、相手一致率が9.197なので相手一致率より一致率のほうが1.67倍重要視されていることになる
回帰式の係数となる値は一致率より相手一致率のほうが高いが、これは相手一致率のバラツキ(σ1.6%)が一致率のバラツキ(σ4.5%)より少ないためである
つまり、回帰式でEloレーティングに最も影響があるのが一致率であり、不足なところを相手一致率で補っている構図になっている
0551◆f7OmZ9ucu2
垢版 |
2019/11/26(火) 10:46:19.56ID:QeYXPk6k
>>549
計算式は最小二乗法がそうであるように一義的に決まるものなので誰がやっても変わらないよ
問題意識や仮説で検証可能なものは提供できるので要望を出してほしい
データは2019年の生データだけで10列 × 3000行近くあるので公開は考えていない
0552名無し名人
垢版 |
2019/11/27(水) 01:11:27.96ID:RdesTJqk
>>551
シンプルに平均悪手のランキングが知りたいです
一致率とどの程度の乖離が出るのか分かりやすくなるので
0553◆f7OmZ9ucu2
垢版 |
2019/11/27(水) 17:21:55.98ID:PONhj55w
>>552
2019年は平均悪手のデータは入力していないよ
使えないのは分かっているから今から入れることもしないね

というわけでランキングは作れないけど、生データを一覧にしてみるよ
平均悪手のバラツキを見るだけで使えないデータだと理解できるはずだからね
一応、6月〜11月の半年間の数字で渡辺、豊島、広瀬、藤井、永瀬、羽生の一覧表を数日中に上げるからよろしく
0554名無し名人
垢版 |
2019/11/27(水) 17:38:06.03ID:RdesTJqk
平均悪手を入力していないとかもったいなさすぎる
0555名無し名人
垢版 |
2019/11/27(水) 17:39:01.81ID:RdesTJqk
とりあえず実際に使えないデータなのかを示してくれるとの事なので
期待しながら待っています
0556◆f7OmZ9ucu2
垢版 |
2019/11/27(水) 19:28:39.52ID:PONhj55w
とりあえず、渡辺、豊島、広瀬まで終わった
約束だから最後まで仕上げるけど、使えないデータなのはこの3棋士の数値だけでも理解できるだろうから上げておく
28番目の豊島の酷い数値は羽生に入玉を阻止された1局です
残りのアップは明日以降に

https://i.imgur.com/wC0e7SB.png
0557名無し名人
垢版 |
2019/11/27(水) 19:33:33.49ID:RdesTJqk
こうしてデータを見せられると納得せざるを得ない
40手目以降という事を差し引いても言いたいことは伝わってくる
0558◆f7OmZ9ucu2
垢版 |
2019/11/27(水) 19:58:47.75ID:PONhj55w
>>557
まったく正規分布しないデータだからね
2018年の馬場らは局面評価値が互角局面に近いところだけで平均損失の相関を期待していたが結局研究成功の発表がないままになっている
互角局面でも頓死の悪手まであるから正規分布しないことに気付いたんだろうな

もっと前の2015年の竹内が山下論文を結果的に査読したことになっていたんだと思うな
評価値を採用すると根拠がない制限を設定せざるを得なくなる
評価値でなく回数だけなら終盤の指し手も対象に調べることが可能になって強い相関が得られたという竹内研究が正しかったようだね
0559◆f7OmZ9ucu2
垢版 |
2019/11/30(土) 00:10:28.05ID:/lyQffwr
千田を追加してEloレーティング7位までの平均悪手の一覧表が完成した
29局目の藤井聡太の酷い数値は記憶に新しいが広瀬との王将戦
受けを間違えて自玉を詰まされたためだ
羽生の23局目は広瀬との順位戦で自玉の詰みを避けなかった△61飛が大悪手と判定された
候補手は△86飛だったがここは異論もあるところだろう
探索深度を深くすれば、あるいはソフトによってはどう指しても負けだから悪手とは判定しないかもしれない
また、平均悪手が0というのは一致率100%とは限らない
>=1500以上の局面ではソフトの候補手と違う手を指しても平均悪手の対象外になっているからだ
この点も平均悪手がダメなところだ

平均値で比較するとわかるが、1位と7位で極端に違っている
レーティング7位までの棋士ですらこれだけの差が生じてしまうのだから平均悪手のランキングなどとても信頼できるものではない
しかも、大悪手の1局が追加されるだけで大幅に変動してしまうランキングだ

したがって、平均値でなく中央値を採用するのがベストな選択だが、<700なら
永瀬 広瀬 渡辺 藤井 千田 豊島 羽生
<1500なら
永瀬 広瀬 渡辺 千田 豊島 藤井 羽生
の順となる
しかし、中央値を採用すると棋士の差はあまり出ない
全棋士を解析すれば彼らより上位にくる棋士もいるかもしれないし、数値と棋力の相関は安定していない
といったわけで、平均悪手のデータ紹介ははこれで終わりにする
なお、ここまで調べると比較したくなるだろうから95年の羽生と64年の大山も出しておいた
いずれも6月〜11月の棋譜
どうしても平均悪手が捨てがたいのなら山下データとは異なり平均悪手でも大山が一番だということは押さえておくべきだろう

https://i.imgur.com/nGunrrE.png
0560◆f7OmZ9ucu2
垢版 |
2019/11/30(土) 23:52:07.71ID:/lyQffwr
11月末時点の一致率をベースにした換算レーティングで遂に広瀬竜王が2位に上がってきた
11月の内容なら実力的に豊島を上回っている
竜王防衛も不可能ではない
前年とは違う広瀬であるから王将に続いて棋王も渡辺三冠への挑戦が楽しみになってきた

https://i.imgur.com/i9hLMhz.png
0561名無し名人
垢版 |
2019/12/01(日) 00:25:30.14ID:kv6n9w05
>>560
棋王戦勝ち進みの本田奎の追跡よろしく
0562名無し名人
垢版 |
2019/12/01(日) 08:05:23.45ID:FUj1Ldu+
IDは変わっていると思いますが561です
やっぱり本田奎の追跡依頼は取り消します
図々しく無理を言ってすみませんでした
0563◆f7OmZ9ucu2
垢版 |
2019/12/01(日) 11:28:46.01ID:2WVY3SeP
>>562
そんなことはないですよ
今やりかけていたとこなんで
その前に相手一致率データで修正箇所があったので作業中です
0564◆f7OmZ9ucu2
垢版 |
2019/12/01(日) 17:52:29.33ID:2WVY3SeP
本田は棋王戦予選3回戦で光瑠.準決勝で永瀬.決勝で増田に勝ち.本戦でも行方、天彦、村山、丸山に勝ち9連勝中
明日迎える本戦決勝の相手が広瀬だ

王位戦で深浦、増田にも勝っているので自分よりレートが上の棋士に11勝6敗だ(6敗は勇気、黒沢、大地、八代、橋本、青嶋)
本田自身はレート1633で53位だから自分よりレート上位の棋士でまだ一度も対戦していない棋士が36名いることになる
A級棋士ではまだ天彦としか当たっていない
つまり、本田の強さは実証済みとはまだ言い切れない
今期は下位棋士に多い振り飛車党に苦戦していて(対抗形の戦型では8勝6敗)、順位戦も竜王戦も昇級は来期以降となる
一発が入りやすい力戦形の相居飛車を得意としているが、広瀬のレートは1920なのでまず勝ち目がない相手とみるのが自然だ

しかし、換算レートでは広瀬が1901で本田は1666(31位)なので差は縮まっている
C1以上に適用している換算式をC2レート上位の大地、大橋、高見、三枚堂、八代、高野、光瑠、黒沢、本田にも適用すると本田の換算レートは深浦と同じ1726(25位)となり25歳未満では藤井、近藤、大地、増田に次いで5番手となる
よって、飛び抜けてポテンシャルが高いわけではないが、B1級に成長する実力は秘めているといってよい
広瀬に勝つとしたら意外なようだが後手をもったときかもしれない
0566名無し名人
垢版 |
2019/12/01(日) 19:38:40.61ID:3PMB5Kny
やっぱりデータで反論して貰えると納得出来る
もう 悪手率や平均悪手を指標にしようと思わなくなったもん
0567◆f7OmZ9ucu2
垢版 |
2019/12/01(日) 21:28:53.65ID:2WVY3SeP
同志が増えると嬉しいね
0568◆f7OmZ9ucu2
垢版 |
2019/12/01(日) 22:25:40.43ID:2WVY3SeP
振り返ると
最新ソフトで正確に平均悪手を測定すれば棋力の差が検出できるのでは?
最初はそんな軽い気持ちで取り組んだわけなんだが
まず躓いたのが評価値に納得できないときにどうするのかで解決法がなかったことだね
時間をかけて検討すればソフトの判定も変わるから評価値の誤りは是正したいという誘惑と検討に時間をかけていたら解析は進まないし知っている場合と知らない場合で公平な解析ではなくなる
だからといって平均悪手が20で収まるか100を超えてしまうかは見逃してもよいような誤りでもない
こうした葛藤は救いがたいと思ったね
0569◆f7OmZ9ucu2
垢版 |
2019/12/01(日) 22:55:46.83ID:2WVY3SeP
それとソフトの候補手と違う指し手を評価値で区別する意味があるのかという根本的な疑問も生じてきた
極端な話、秒読みで詰みを逃してしまったり詰まされたりしてもそれで取り返しがつかない評価値(差)をつけられるのはおかしい
ソフトは秒読みかどうかなどは勘案してくれないし

思案してみるに、ソフトがつける評価値はソフトの読み筋通りに指すことができたときの評価値にすぎない
プロが指せないような手順でその手は敗着ですとソフトに指摘されてもそんな巧妙な手順があるかないかは地雷を踏むか踏まないかと一緒で誰にもわからないのであれば踏んだ人が不運なだけにすぎない
平均悪手は変動が制御不能だし、納得できる数値を得るのが困難だし、プロの棋力を判定するのに適しているわけでもない(竹内論文)
もし、その局面で最善手がわかる人がいたらその人の評価は最善手率でできる
何が最善手かわからなければ最善手率は出せないが強くなった最新ソフトなら最善手率を一致率で代用できる
というわけで、今は平均悪手でなく確実に一致率の時代だね

一致率を調べるときの簡単な注意とコツを守るだけでいい

プロの序盤の手はソフトの手と一致しなくとも棋力とあまり関係しないので除く
MutiPv1で候補手1、逆順解析にすると最善に近い手をかなり最善手にしてくれる
最善に近い手だけを拾うので、評価値が離れていても次善手を含めて評価する広義の一致率とは異なる
候補手を2以上に設定すると最善手と次善手を区別しようとするので最善手で融通がきかなくなる etc.
0570名無し名人
垢版 |
2019/12/02(月) 18:13:39.41ID:oh/yr9z8
570
0572◆f7OmZ9ucu2
垢版 |
2019/12/02(月) 18:44:53.92ID:BUHBysuL
今日の広瀬に勝ったのは驚きでない
タイトル戦での戦い振りも見たいので応援したいね
その前の大地との若手決戦も実現すればいいね
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況