コンピュータ将棋スレッド 148

2019/02/26(火) 03:34:46.06

!extend:checked:vvvvv:1000:512
↑スレ立て時は1行目と2行目に「!extend:checked:vvvvv:1000:512」をコピペして立てて下さい
荒らし対策のために強制コテハン（ワッチョイ）を表示するコマンドです

第28回世界コンピュータ将棋選手権参加チーム
https://www.apply.computer-shogi.org/wcsc28/team.html
詰将棋メモコンピュータ将棋２０１８
http://toybox.tea-nifty.com/memo/2018/01/post-0205.html
世界コンピュータ将棋選手権参加ソフトリンク集
http://www.ne.jp/asahi/tetsu/toybox/soft/softlink.htm
floodgate 最新２週間レーティング
http://wdoor.c.u-tokyo.ac.jp/shogi/LATEST/players-floodgate14.html
コンピュータ将棋協会
http://www.computer-shogi.org/
コンピュータ将棋
http://ja.wikipedia.org/wiki/コンピュータ将棋
コンピュータ将棋まとめサイト(コンピュータ将棋レーティング)
https://www.qhapaq.org/shogi/

前スレ
コンピュータ将棋スレッド 147
http://mevius.5ch.net/test/read.cgi/bgame/1549428551/

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

**名無し名人** (ﾜｯﾁｮｲ cf68-Tgy8) · 2019/03/19(火) 20:58:18.64

>>720は厳密には正しくないな
すまん >>720は撤回しとく

**名無し名人** (ﾜｯﾁｮｲ 73e6-E+DK) · 2019/03/19(火) 20:59:04.11

>>713
俺もこれと同じこと思ってたけどなんか間違ってたら恥ずかしいから書けなかった
これおかしいこと言ってないよな？

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/19(火) 21:00:43.12

>>720
お前は本当の馬鹿だな
人間により選別された完全ではない互角局面を先手後手入れ替えなしで必ず５割になる保証はない
先手後手入れ替えなしで1000局やってどっちかが勝率51%や53％とか偏る可能性もあるからな、
実際に計測してもないのに偉そうにいうな

**名無し名人** (ﾜｯﾁｮｲ cf68-Tgy8) · 2019/03/19(火) 21:02:17.56

>>721
> 先後を持って条件を対等になるよう予め定めておくか

同じ局面で先後入れ替えで対局させるのが対等な条件だというのが違うって言ってんだよ
その戦型が得意なほうが2連勝しやすい　対等なように思えるのは勘違い　偏りを作るだけ

先後入れ替えるより別の戦型・別の局面で対局させるほうが情報的な価値が高い

**名無し名人** (ﾜｯﾁｮｲ cf68-Tgy8) · 2019/03/19(火) 21:05:11.62

>>724
お前の言う先後入れ替えって、局面集のある局面に対して先後入れ替えで2局ずつ対局させることだよな？

> 人間により選別された完全ではない互角局面を先手後手入れ替えなしで必ず５割になる保証はない

お前には、同じ局面に対して先後入れ替えたところでその戦型得意なほうが2連勝しやすいだけだということがわからんのか？

**名無し名人** (ｱｳｱｳｳｰ Sae7-gzwi) · 2019/03/19(火) 21:07:01.10

そもそも、回数が多けりゃ
局面が互角である必要全くなし！
これが結論だな？

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/19(火) 21:08:10.00

お前さっきから勘違いしていないか
互角局面の連続対局で定跡なしと同じように先手後手を１局ごとに入れ替えるのがなぜ同じ局面を
2局対局することになるんだよ

**名無し名人** (ﾜｯﾁｮｲ cf68-Tgy8) · 2019/03/19(火) 21:12:39.86

>>728
> お前さっきから勘違いしていないか

俺が勘違いしているのではない　お前が流れを勘違いしているんだ
このスレの>>646 >>657を読め　これが話の発端なわけだよ
こいつらは同じ局面に対して先後入れ替えて(2局ずつ)対局させるのが公平だと
言う主張だよ　全く狂ってるとしか言いようがない

おそらく俺とお前は同じ考えだよ
俺はアホではないしお前も馬鹿ではない >>646と>>657が馬鹿なんだよ

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/19(火) 21:17:12.15

>>729
なるほど、さっきからどうも先手後手入れ替えの件で同じ局面を先手後手を１回ずつ合計２回対局する
ことが自分の中ではありえないことなので話がかみ合わなかった訳か、自分の考えは先手後手同じ局面
では対局しないことが前提の話なのでそりゃ話がかみ合わない訳だ

**名無し名人** (ｱｳｱｳｳｰ Sae7-gzwi) · 2019/03/19(火) 21:19:12.26

回数多けりゃ互角局面である必要ないなら、
もっと極端に非互角局面を取り入れるべきなんだよ。
なぜ人間の予断に左右されなくちゃならん。
あらたな戦法は、そういうところから生まれる。

**名無し名人** (ﾜｯﾁｮｲ ff9a-kdx8) · 2019/03/19(火) 21:32:33.56

棋譜見れば大体分かるからどうでもいいわ、勝率出したら棋譜upよろしこ

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/19(火) 21:36:18.79

>>704
チェスはドローが多いから対局数を多くしないと差が出ない。
将棋も互角局面集が精度よければ初期局面より有意差がでる対局数はずっと少なくなるはず。

**名無し名人** (ﾜｯﾁｮｲ 83ad-E+DK) · 2019/03/19(火) 21:45:40.56

>>725
なるほど確かに特定戦型に偏るという事はあるだろう。対局数が少なければ。

だがそれは、対局数を二倍にすれば（つまり局面数を元に戻せば）確実に取り返せる程度の偏りだ。
ここで重要なのは、概ねではなくて確実に偏りが無くなること。

先後のバイアス除去の為に対局数を二倍にして、どの程度の効果があるか？
確実にゼロにすることだけは「絶対に」ない。四倍でも八倍でもゼロにはならない。
しかし先後を持ってやれば構造の対称性から、確実に局面評価値のバイアスは除去できる。

ということ。そういう定量的な話が出来ずに漫然と収束するしか言えないからアンポンタンなんだ

**名無し名人** (ﾜｯﾁｮｲ ff9a-kdx8) · 2019/03/19(火) 21:48:50.06

互角局面って盤面40個の駒をランダムに配置して評価値が0に近いのを探す方法もあるな
絶対にありえない局面も出てきて面白そうな気はする

**名無し名人** (ﾜｯﾁｮｲ 4301-B7Il) · 2019/03/19(火) 21:52:24.18

絶対にありえない局面を評価する能力を上げるくらいなら初期局面から強くなったほうが嬉しい気がするが

**名無し名人** (ﾜｯﾁｮｲ cf68-Tgy8) · 2019/03/19(火) 21:53:03.43

>>734
> 対局数を二倍にすれば

対局数を二倍にする前提で話を進めないでくれ　同一対局数で比較して考えろよ
同じ局面を先後入れ替えで2局ずつやるのと、やらないのとの比較をな

てか、>>730、お前は俺が見込んだ男だから、この>>734と議論してくれ

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/19(火) 21:53:38.96

統計詳しくないけどレート差を定量的にちゃんと測定するのに必要な対局数と
どっちが強いかだけわかればいいっていうのに必要な対局数って同じなん？全然違う？

**名無し名人** (ﾜｯﾁｮｲ e302-gzwi) · 2019/03/19(火) 21:55:33.48

だから、先後入れ替えることにして、
互角かどうか気にせず、ランダム局面取り入れるべきなんだよ。
でないと、人間の予断を排除できない。

**名無し名人** (ﾜｯﾁｮｲ 4301-B7Il) · 2019/03/19(火) 21:57:09.92

>>738
後者なら信頼区間によるけど10局でもわかる
レートを確定させるには膨大な量の対局が必要

**名無し名人** (ﾜｯﾁｮｲ 2301-AeBG) · 2019/03/19(火) 22:15:40.61

どちらもメリットデメリットあるという話をどちらか一方が絶対的に正しいとしてこじれてるような

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/19(火) 22:20:20.11

>>710
>互角局面集から1局面ずつランダムにとってきて先後ランダムで対局させてる
>わけだから、「棋力差がなければ勝率は5割」じゃん

ここで5割と言っているのは、
たくさんやれば大数の法則でいずれ5割に収束する、という話ではなくて、
二項検定では一度の試行ごと5割であると仮定して帰無仮説の実現確率を計算しているので、
たとえば先手勝率6割、後手勝率6割の局面が半分ずつ混ざっているような「互角局面集」だったら、
本来よりも有意差が出やすくなってしまう、という話をしているのですよ

自分の互角局面集に自信があるとか、有意水準低めにしているから多少棋力差を過大評価しても安全だと思っているとかなら、
それに何かを言うつもりはないのでご自由に

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/19(火) 22:35:11.09

>>712
対戦成績を評価するのに使われているのは二項検定ですが、
二項検定に出てくるのは二項分布で、正規分布ではありません

**名無し名人** (ﾜｯﾁｮｲ 7361-QTaE) · 2019/03/19(火) 22:45:36.90

しかしTCECではなんで同一定跡を先後でセットにするんだろう？
なんか根拠はあるよね？

**名無し名人** (ﾜｯﾁｮｲ 2301-AeBG) · 2019/03/19(火) 22:51:18.19

どのエンジンがこういう局面が得意でこういう局面が苦手というのも有用な情報だと思うけどね

**名無し名人** (ﾜｯﾁｮｲ 2301-AeBG) · 2019/03/19(火) 22:54:46.91

先後でセットでも2倍手間をかければいいという考え？

**名無し名人** (ｽｯﾌﾟ Sd1f-DFM6) · 2019/03/19(火) 22:54:49.33

>>737
同一局面で先後入れ替えしないと微差のレート差は分からないよ
互角局面をランダムに選出したってそれが例えば9割先手必勝の局面集だったら勝率5割に収束するわけない

**名無し名人** (ﾜｯﾁｮｲ 2301-AeBG) · 2019/03/19(火) 23:02:12.03

流れをまとめると、
「互角局面は互角とは限らないから先後入れ替えないとダメ派」
と
「それぞれのエンジンは局面ごとに得手不得手があるから同じ対局数で考えたら偏りが生じる派」
が戦ってるところ？

**名無し名人** (ﾜｯﾁｮｲ e301-kdx8) · 2019/03/19(火) 23:16:31.38

互角局面の対局は必ず先後入れ替えてやるってのと、
数多く対局すれば先後入れ替える必要なんてないってのは、
結局、目的としてるところは同じなんじゃないの？

それなら先後セットで、数多く対局するんじゃダメなのか

理屈じゃなくて、現実に測定する視点が欠けてる気がするな

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/19(火) 23:21:15.92

検討用にはいろいろな戦型が強い方がいいっていう人も
特定の戦法に強い方がいいっていう人も両方いるだろうから
これもあんまり決めつけん方がいいような。そのソフトの特徴が公開されていればいいだけの話

**名無し名人** (ﾌﾞｰｲﾓ MMa7-4RBA) · 2019/03/19(火) 23:37:48.17

分かりやすく説明しよう

頭金局面集
→先後入れ替えたら俺と将棋の神様でも勝率5割で安定
→ランダムなら頭金局面の先後の偏りと同じ勝率に落ち着く
→棋力は全く関係なし

長手数Mate局面集
→先後入れ替えたら俺と将棋の神様で勝率1割くらい？(並べ詰めを引ける確率)
→ランダムでも似たようなもの
→本来勝率0%の相手にも1割勝てるデータが出る

評価値5000局面集
→先後入れ替えて俺と最強ソフトが指したら勝率2割くらい？

(略)

互角局面集(実際には100〜200差)
→微妙に棋力差のあるソフト同士でも結果が5割に近くなる

これで分かるかな？

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/19(火) 23:44:27.01

自分が火をつけてしまったっぽいんですが、
自分は「先後入れ換えるべきだ」とまで言うつもりはなくて、互角局面が互角である保証がないと二項検定の理論的前提が成り立たない、という話しか終始していません
言い換えると、互角である保証がない「互角局面」をランダムに選んで対局した結果で、二項検定で有意差が出たとか出ないとか言うのはおかしいと思っています
その現実的解決策として先後入れ換えが考えられるでしょう、とは言っています

まあ実際には上位エンジン・評価関数は数百対局で有意差が出るか出ないか微妙なくらい拮抗しており、戦型の得手不得手があるとしても微差で、
各自フィーリングで選べばいい、というよりフィーリングくらいしか選びようがない、とは思います

**名無し名人** (ｽｯﾌﾟ Sd1f-DFM6) · 2019/03/19(火) 23:57:49.73

646さんは良く分かってらっしゃる

**名無し名人** (ﾜｯﾁｮｲ cf68-Tgy8) · 2019/03/20(水) 00:27:12.92

>>752
> 互角である保証がない「互角局面」をランダムに選んで対局した結果で、二項検定で有意差が出たとか出ないとか言うのはおかしいと思っています

それを言うなら、互角局面集は互角でないので、同様の理由で二項検定使えないけどな
てか、あの界隈、二項検定で有意差がどうのって主張してる人、一人でもおる？

> 戦型の得手不得手があるとしても微差で、

NNUEは戦型に対して強い学習能力があるから、得意・不得意な戦型が存在するけどな

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/20(水) 02:16:59.34

>>754
>それを言うなら、互角局面集は互角でないので、同様の理由で二項検定使えないけどな
私「AはBだと思う」
あなた「それを言うならAはBだけどな」
に聞こえる
あなたと私同じこと言ってません？

>てか、あの界隈、二項検定で有意差がどうのって主張してる人、一人でもおる？
どの界隈を指しているのかわかりませんが、
このスレは対戦結果と有意差だらけですよね
検定しないで勝ち越した結果だけで何かを主張する人もいますが、「その結果は偶然の産物では？」という疑問を持たれても仕方ないですよね
その疑問に対抗するために検定があるわけですが、先述のとおり「互角局面」からのランダム対戦では二項検定の前提が崩れているので、
さてどうしたらいいんだろうね、というのが出発点で、>>646に書いたことです

>> 戦型の得手不得手があるとしても微差で、
>NNUEは戦型に対して強い学習能力があるから、得意・不得意な戦型が存在するけどな

ニューラルネットなので非線形関数も近似できるから、これまでの3駒とかに比べより過学習の心配をしなければいけない、という主張ならそのとおりでしょうが、
得手不得手といってもやっぱり微差じゃないですか？
ソフトAがBにある戦型では6割勝っているけど別の戦型になると途端に8割負ける、とかではないでしょう、たぶん
（これは検証したわけではなく、個人的な推測であることは認めます）
だとするとやはり有意差でるかどうか微妙なあたりなので、
互角局面使っても検定の根拠がないからそれが本当に意味のある結果かどうかわからなくて、
でもソフトAもBもプロよりははるかに強くて、
AとBの意見が割れる局面（が出現することも珍しいが）でどちらが正しいかは半々に近い確率で、
となったらもうフィーリングで選ぶしかないじゃないですか

**名無し名人** (ﾜｯﾁｮｲ 8f02-PSno) · 2019/03/20(水) 03:02:04.59

意味わからんから動物将棋で例えてくれ
動物将棋は初期局面の評価値は-1だが
互角局面って引き分けが最善の評価値0の局面のことなの？
それとも初期局面から最善で進んだ評価値-1を保った局面のこと？

TCEC S15始まったな
LC0の新ネットワークはSFと争ったやつよりもう既に強くなってるらしいから楽しみだ

**名無し名人** (ﾜｯﾁｮｲ ff02-geq4) · 2019/03/20(水) 04:47:15.85

お前らなんでそんなに微妙な差にこだわるの？
レート50くらい違ってもだいたい同じでいいじゃんｗ
開発者にとってはレート50の違いは大きなものだけど、使用者にとっては大して変わらんだろ。
使ってて強さが違うなぁと思うのはレート200とか300とか離れてるやつだろ？
で、そんだけ離れてたらざっくりとした互角局面でもきっちり差が出るだろうよ。

**名無し名人** (ｽｯﾌﾟ Sd1f-DFM6) · 2019/03/20(水) 05:25:29.28

646さんは天才で人間性の良さが分かる文章だな。どっかの頭だけいいデブとは大違いだ。

**名無し名人** (ﾜｯﾁｮｲ cf81-Rxfk) · 2019/03/20(水) 08:06:13.33

どうでもいいけど4枚落とされても全然勝てないような強いソフトの市販化を望む。
Mac版もよろしく。

**名無し名人** (ﾜｯﾁｮｲ ff68-td6u) · 2019/03/20(水) 08:27:13.54

orqhaでええやん

**名無し名人** (ﾜｯﾁｮｲ cf68-Tgy8) · 2019/03/20(水) 08:32:27.54

>>755
> 二項検定の前提が崩れているので、
> さてどうしたらいいんだろうね、というのが出発点で、>>646に書いたことです

話が噛み合ってなかった　失礼した

互角局面集、仮にすべての局面が評価値が+100だとする
ここから期待勝率が算出できる期待勝率は54.157%
http://lfics81.techblog.jp/archives/11425250.html

安全側に倒すなら、ワーストケースで片側のプレイヤーだけが対局時にこの有利な
手番側のみを持つとき、互角のプレイヤーであるなら、54.157%の勝率になると
仮定して二項検定すればいい

例) つねに評価値+100有利な手番側を持つプレイヤーが100局やって勝ちが63局以上ある場合
=1-BINOMDIST(63-1,100,0.54157,TRUE) // 1 - 勝ちが62局以下である確率
=4.6275%
有意水準を0.05とするなら有意に大きいといえる

**名無し名人** (ﾜｯﾁｮｲ ff4b-Dn7S) · 2019/03/20(水) 08:34:41.56

>>760
illpha3でええで

**名無し名人** (ﾜｯﾁｮｲ 4301-B7Il) · 2019/03/20(水) 09:03:29.11

>>756
どうぶつしょうぎなら-1ではなくmate 78だよ

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/20(水) 09:27:17.32

>>761
「互角局面」が互角でない可能性をふまえて安全側にマージンをとる、というのはひとつの選択肢でしょうね
問題はどれくらいマージンをとればいいかについて理論的な裏付けができないことなんですよね
その例の場合、例えば勝率54.157%を誰がどう保証してくれているのか。
「互角局面」を生成したソフトもそれなりの強さであること、有利不利があってもランダムに割り振られることから、それくらいのマージンでじゅうぶんだと直感的には思いますけどね

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/20(水) 09:28:39.64

互角局面集って±１００付近以内の局面が均等に大量にあるんだよね？
どっちかが有利な方を持ち続けるってのは杞憂じゃない？

**名無し名人** (ｻｻｸｯﾃﾛ Sp07-igSV) · 2019/03/20(水) 09:34:42.81

>>765みたいに思う人が多いからややこしくなる
互角局面には評価値300近い局面も含まれているし、先後で均等なわけでもない
今の互角局面を3年後に解析したら評価値500超えの局面だってそれなりに入っているだろう

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/20(水) 09:49:20.03

もしも評価値の符号が逆の局面がまったく違っているなら多い方を削っって半々にしとけばいいだけじゃん。
評価値が最新ソフトとずれるといっても片方側だけに大量にずれることは考えづらい

**名無し名人** (ﾜｯﾁｮｲ 4301-B7Il) · 2019/03/20(水) 09:51:22.99

> 評価値の符号が逆の局面がまったく違っている

日本語でおｋ

**名無し名人** (ﾜｯﾁｮｲ bf32-iGub) · 2019/03/20(水) 11:12:09.02

>>759
市販ソフトで良いなら将棋神やねうら王2が早ければ
夏のボーナス頃にも出ると思う　おそらくMacでも動く
と思われる　先延ばしになっている外部USIエンジンの
登録や棋譜解析機能が搭載されてるかも
もちろん新しいやねうら王や新しいtanuki-等のエンジンも

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/20(水) 12:33:03.81

>>767
「片側にずれることは考えづらい」という主観では自分だけが納得して終わってしまうので、
他人を説得するために「どの程度考えづらいのか」客観的な確率という数値を算出して議論しましょう、というのが仮説検定なのですがね

で、その確率を計算するのに、
「この勝敗だったときに棋力差がこれくらいある確率」を計算するのは難しい（これを力づくで求めるものもありますが）ので、
計算しやすい「勝敗に差があったかもしれないがそれは偶然であって、実際には棋力差がない確率」を求め、
その確率が低いことをもって言いたいこと「棋力差がある」を言うのが二項検定で使われているトリックです

ところが局面が互角でない可能性があると、「勝敗に差があったかもしれないがそれは偶然かもしくは局面を偏って引いたせいであって、実際には棋力差がない確率」を計算しなければならなくなる
この計算は大変です
局面の偏りがわからないと計算できないのはもちろんですが、わかったとしても数値計算になるでしょう

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/20(水) 12:42:32.66

言いたいのは例えば評価値３０が最新ソフトでは評価値３００になる局面があったら
同様に評価値-３０が最新ソフトでは評価値-３００になる局面もあるだろうから、
全体の局面数が十分多いならたいして問題ないんじゃないのって程度の話

**名無し名人** (ﾜｯﾁｮｲ 83ad-E+DK) · 2019/03/20(水) 12:46:10.28

>>771
どれくらい多ければどれくらい充分なの？
それを数値的に評価するには？
って話

**名無し名人** (ｻｻｸｯﾃﾛ Sp07-igSV) · 2019/03/20(水) 12:56:51.12

仮に100万局面くらいあれば十分だったとしても100万局面すら集めるの大変だろ
さすがに1万とかで十分なわけはないのはわかると思うけど

**名無し名人** (ﾜｯﾁｮｲ 7f7e-7IcV) · 2019/03/20(水) 13:10:51.55

互角局面なんかより初手から対戦させて
戦型別に勝率を出した方がいい

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/20(水) 13:26:15.18

互角局面集が互角じゃない！って問題になるのがよく理解できんけど
互角じゃない局面がプラスマイナス均等に増えたら、
それだけ有意差が出にくくなるから、むしろ安全なんじゃないのか？
プラスだけ異常に増えるとかなら問題だが

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/20(水) 13:29:03.94

プロ棋士の棋譜の検討用に互角局面って話なので初期局面ではorqha1018のように
角換わりや相掛かりがほとんどなので検討用に適しているか分からないだろう
最新の互角局面集を使い300局もやればオールラウンダーでどっちが強いのかが分かる

**名無し名人** (ﾜｯﾁｮｲ ffad-Wzz7) · 2019/03/20(水) 13:30:34.33

もういい。
なにをやっても、すべて誤差の範囲なんだから、
計算なんてするな。
すべてサイコロで決めろ。

**名無し名人** (ｻｻｸｯﾃﾛ Sp07-igSV) · 2019/03/20(水) 13:57:16.36

>>774
これが良さそうだよね

**名無し名人** (ｱｳｱｳｶｰ Sa47-DCJ9) · 2019/03/20(水) 14:32:28.49

強さの違いなんて理解できないんだから検討用なら好きなの使えよ
どうせ何使ってもお前らは強くなれないから大丈夫だ��‍♂

**名無し名人** (ｱｳｱｳｶｰ Sa47-linS) · 2019/03/20(水) 14:34:15.09

検討用じゃなくてドヤり用だから死活問題ｗ

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/20(水) 14:41:19.63

>>775
毎回ランダムに局面を選んでいれば、たまたま局面の引きが良かったほうが、棋力差以上の勝ち星を上げる可能性が高まり、
本来棋力差は無い、とすべき場面で、有る、としてしまう誤りが起こり得ます

各局面について先後入れ換えで2局やるだけで、偶数対局ごとに局面選択の偏りがゼロになるので、
「互角局面」の互角からのずれで棋力差を過大評価することはない（過小評価はあり得る）、二項検定もp値の下限の算出に使える、と、
手間の割にメリットの大きい良い方法だと思うんですけどね

**名無し名人** (ﾜｯﾁｮｲ 8392-n3gN) · 2019/03/20(水) 14:42:30.83

>>764
レート差がほぼゼロである二つのソフトAとBがあって、Aの方がBよりaだけ高いと仮説を立てるとする
さらに互角局面をランダムに選ぶとして、Aが持った局面の評価値がyだとする
yは期待値0、分散σ^2の正規分布に従う確率変数とする
このときのAの期待勝率pは1/(1+10^-((a+y)/400))だがa+yが0に近い場合、一次近似すると、
≒1/(1+(1-(a+y)ln10/400)=1/2/(1-(a+y)ln10)/800)≒1/2*(1+(a+y)ln10)/800)=1/2+(a+y)ln10)/1600

AとBの勝ち負けを表す確率変数をxとすると、zを標準正規分布に従う変数として、x=p+z√(p(1-p))
≒p+z√(1/2+(a+y)ln10)/800)*(1/2-(a+y)ln10)/1600))≒p+z√(1/4)≒1/2+(a+y)ln10/1600+z*1/2

n局対局した場合のAの勝数の合計をXと書けば、Xの期待値はn/2+na*ln10/1600、
分散はnσ^2(ln10/1600)^2+n/4だから、Xを測定することで正規近似によりaについて検定できんじゃね

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/20(水) 14:57:37.89

>>782
yの分布がわかっているなら、ご提案の方法とかいろいろ手はあるでしょうね
yの分布がわかっている、という仮定は成り立たないものとしてここまで議論しています
実際わからないんじゃないですか？
ましてや正規分布とはとうてい思えないですが

**名無し名人** (ﾜｯﾁｮｲ 8392-n3gN) · 2019/03/20(水) 15:10:24.00

>>783
まずランダムに選ぶならyの期待値はゼロと言える
そしてランダムに採取したサンプルの合計の分布は母集団のそれではなく正規分布に近づくのさ
ベルヌーイ分布（二項分布の試行回数が1の場合）は正規分布とは似ても似つかないが
それですら試行回数を重ねることで二項分布となりどんどん正規分布に近づくんだよ

あと
＞分散はnσ^2(ln10/1600)^2+n/4
σ^2が100程度ならばy=0のケースの分散であるn/4とほとんど違いがない気がする

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/20(水) 17:05:18.85

>>784
つっこみたいところはいくつかあるけど、まあいいや

自分は>>657の(2)で、使用した各局面の期待勝率がわかっているならば互角局面が互角でなくても棋力差の検出が可能なことは認めています
もう少し緩和して、「互角局面集全体の期待勝率分布がわかれば」でもいいです
期待勝率そのものでもよいし、何らかの式によって対応付けられている評価値でもよいです

それで、互角局面集の真の評価値分布は誰が用意してくれるのですか？
「あるソフトが出す評価値を基準にこういう分布になるよう局面を選んだからこの分布なんだ」という答えを用意しているなら、
「その評価値は信用できるのか＝互角局面は本当に互角なのか」というさんざん繰り返された問いをまたせざるを得ず、不毛なのでこれ以上は続けません

**名無し名人** (ﾜｯﾁｮｲ 13f9-zTy/) · 2019/03/20(水) 17:40:29.32

他のソフトと違う手,独特な指し方するソフトってなにかありますか？
対振りのelmo囲いなど、、

**名無し名人** (ﾜｯﾁｮｲ 8392-n3gN) · 2019/03/20(水) 17:50:40.26

>>785
＞それで、互角局面集の真の評価値分布は誰が用意してくれるのですか？
サンプルを採取し実測してくれる親切な人だよ
「真の評価値」の定義は不明だが

ただね、実際には検定において母集団分布が不明でもそれほど困らない
なぜなら有利不利があったとしてもどちらを引くかランダムである以上は期待値はゼロだし
多数回引くことでその和の分布は正規近似できるのだから

あと評価値の分散は実測により推定するしかないが
サンプルをn個取って平方和を母分散で割ったものが自由度nのカイ二乗に従うので
平方和をカイ二乗のパーセント点で割ることで母分散を区間推定できる
このとき分散が常識外にでかくなければ検定においてyの影響は無視できるレベルと思う
>>784でも書いたがyを考慮すれば分散が大きくなることで勝数のバラツキは大きくはなるが
yを考慮しないケースと比べてわずかしか大きくならないので

**646** (ﾜｯﾁｮｲ b302-99IZ) · 2019/03/20(水) 18:28:07.80

>>787
ああごめんなさい、>>782の
>Aが持った局面の評価値がyだとする
を読み飛ばしていて、yが互角局面集の評価値と思い込んでしまいました
>>783>>785は忘れてください

>>782の方法で良い気がします
分散は同じエンジンで対局させて(a=0)実測するんですかね
母集団の分散が大きいほどaの検出感度は低くなるので、「互角局面集」の質はやはり相変わらず要求されるとは思います

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/20(水) 18:50:24.34

やねうら互角局面集っての見てみたら評価値の情報はついてないのね。
あとざっと振り飛車（相振り含）をの棋譜数をカウントしてみたら半分くらいあった

**名無し名人** (ｱｳｱｳｳｰ Sae7-YxN5) · 2019/03/20(水) 19:14:28.03

オールラウンドの評価関数を探してるなら、
互角局面集を使った勝率だけじゃなく戦型別に勝率を見なきゃだめだと思う。

極端な話、互角局面集の6割の局面についてはメチャクチャ強いけど他はからきしダメな評価関数があった場合

**名無し名人** (ﾜｯﾁｮｲ ff4b-Dn7S) · 2019/03/20(水) 19:18:55.36

やはり戦型別のRか。

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/20(水) 19:29:10.59

>>790
互角局面以外では現実的に個人がやるには手間がかかりすぎる
実際、誰も戦型別でやる人はめんどくさいのでしないだろう

**名無し名人** (ﾜｯﾁｮｲ 8392-n3gN) · 2019/03/20(水) 19:29:12.83

>>782は間違い
yは局面の評価値そのものじゃなくて評価値からの換算レートだ

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/20(水) 19:35:05.02

定跡なしや互角局面だけの計測でも300局やるのがめんどくさいのに
一つ一つ戦型別にセットして３つ４つのソフトをそれぞれ計測するのは
普通に考えて誰もやらないだろう

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/20(水) 19:38:09.53

結局、長続きする方法は互角局面を使うのがよい
戦型別はめんどくさいし時間がかかるので長続きはしないだろう

**名無し名人** (ﾜｯﾁｮｲ 4301-B7Il) · 2019/03/20(水) 19:48:05.60

互角局面使うのはべつにいいと思うけどかなり対局数増やさないと結果が信用ならないのが問題
評価値偏った局面から対局するわけだから300どころかその10倍以上は欲しい

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/20(水) 19:53:24.57

>>796
３つ４つのソフトを戦型別は面倒すぎてダメ
互角局面も3000局以上はほしい→1500万ノードでは誰もやらない
君の主張は誰も実行できないが

**名無し名人** (ﾜｯﾁｮｲ 4301-B7Il) · 2019/03/20(水) 19:56:58.48

>>797
だから結局互角局面使わない今の方式くらいが落としどころになっているんだろう

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/20(水) 19:57:11.40

評価値が偏るというが連続対局で定跡なしと同じように一局ごとに先手後手を入れ替えランダムに局面を受け持つので
３００局もやれば公平にばらついてくる、片方にだけ有利不利になることはそれほど考える必要はないだろう

**名無し名人** (ﾜｯﾁｮｲ 83ad-E+DK) · 2019/03/20(水) 20:47:26.29

戦型別も、人間の手を入れずに自動化する前提ならアリかもしれないが。
結局手間を掛けるのはダメだね

**名無し名人** (ｱｳｱｳｳｰ Sae7-YxN5) · 2019/03/20(水) 21:03:13.11

戦型別に対局するっていうか
定跡で戦型をバラつかせておいて棋譜管理ソフトで戦型別勝率も見る
相当対局数を稼がないと戦型別の勝率まで正確にはでないだろうから
お気に入りソフトを選ぶ際の参考程度だけど

**名無し名人** (ﾜｯﾁｮｲ ff01-kdx8) · 2019/03/20(水) 21:20:47.19

このスレの人達は一般家庭用PC(i3~i7)またはスマホが大半だろうから互角局面ですら1500万ノード300局を
計測する人はほとんどいないのが現実なのでより計測数がいる戦型別なんか誰もやらないし
やっても長続きはしないだろう、互角局面を使うのが現実的で長続きする

**名無し名人** (ﾜｯﾁｮｲ 233d-LxEe) · 2019/03/20(水) 22:37:53.41

>>720
中心極限定理はまさに極限しか言及しておらず、勝率5割への収束の過程がいつまでにどこまで行くかはﾜｶﾗﾝのでは…

ていうか異なるエンジンA、Bが同じ棋力のプレイヤーとみなせるかどうかは計測しないとわからないし、→ふりだしに戻る

**名無し名人** (ﾜｯﾁｮｲ 233d-LxEe) · 2019/03/20(水) 23:05:18.62

ていうか局面毎の勝敗は本当は確定事項なので勝つための指し回しを確定情報として把握しているか否かが勝敗を決する
プレイヤーAが具体的開始局面Sについて知識がありすぎて100%勝ってしまうプレイヤーだと
A、Bで先後入れ替えたとたんに負けてしまって計測にならないかも…

**名無し名人** (ﾜｯﾁｮｲ 233d-LxEe) · 2019/03/20(水) 23:11:33.87

というわけで真の公平性なるものはこの場合確率で語られる物語の中にしか存在しないフィクションである説を推す
やっぱ平手局面から計測してこそ漢

**名無し名人** (ﾜｯﾁｮｲ 4301-B7Il) · 2019/03/20(水) 23:15:20.85

20手くらいまで定跡でばらけさせて普通に先後入れ替えで計測はだめなのか？

**名無し名人** (ｱｳｱｳｳｰ Sae7-Y7km) · 2019/03/20(水) 23:21:13.32

>>786
優秀とは限らん

**名無し名人** (ﾜｯﾁｮｲ 233d-LxEe) · 2019/03/20(水) 23:21:16.29

平手局面からの必勝手順（だけ）に通暁しているプレイヤーが
ランダム局面から開始して強いとは限らないから公平とは言えない

**名無し名人** (ﾜｯﾁｮｲ 233d-LxEe) · 2019/03/20(水) 23:24:57.66

と思ったが同じエンジンが先手で当たったときと後手で当たったときで勝率に大差があったら何が起きているかわかってしまうか…

**名無し名人** (ﾜｯﾁｮｲ ff68-td6u) · 2019/03/20(水) 23:27:07.38

>>807
アスペ

**名無し名人** (ｱｳｱｳｳｰ Sae7-Y7km) · 2019/03/20(水) 23:30:24.82

>>810
まあまあ落ち着け、現実では大人しいのにネットだと攻撃的になるのはお前さんの悪い癖だぞ？

**名無し名人** (ﾜｯﾁｮｲ ff4b-Dn7S) · 2019/03/20(水) 23:30:49.07

>>807
後手四間飛車は非優秀
△7四歩取らせ戦法は非優秀

**名無し名人** (ﾜｯﾁｮｲ ff35-kdx8) · 2019/03/20(水) 23:49:07.37

mafu互角局面集は評価値が書いてあったんで平均計算してみた

評価値プラス　　36649局面　平均 23.0 標準偏差5.3
評価値マイナス　33214局面平均-18.5 標準偏差6.7

**名無し名人** (ﾜｯﾁｮｲ ff68-td6u) · 2019/03/20(水) 23:50:24.69

>>811
アスペイライラ

**名無し名人** (ﾜｯﾁｮｲ ff7e-kBCH) · 2019/03/20(水) 23:51:03.05

流れぶった切りだけど、GPU依存のNN型将棋エンジンができたとして、
GoogleのSTADIAに置いてGPU弱いPCでもみなさん検討等にお使いください、
みたいな使い方とかSTADIAでできるんだろうか

相当いいGPUを割り当てるらしいし、将棋なら遅延もほとんど関係ないだろうし

**名無し名人** (ｱｳｱｳｳｰ Sae7-Y7km) · 2019/03/20(水) 23:52:03.38

急に攻撃してきてどうしたんだろ…
会話にも応じない様子、何か辛い出来事でもあったのだろうか

**名無し名人** (ﾜｯﾁｮｲ 4301-B7Il) · 2019/03/20(水) 23:56:55.17

>>813
評価値書いてあるって大昔の評価値じゃなくて？
試しにいくつかの局面をillqha3あたりでdepth32とかで読ませてみるとなんと

**名無し名人** (ﾜｯﾁｮｲ 6b01-ieHE) · 2019/03/21(木) 00:12:08.43

原始右四間飛車はまだ生き残ってるというか、名前すら聞かない

**名無し名人** (ﾜｯﾁｮｲ 4a68-SFJA) · 2019/03/21(木) 00:13:15.80

>>816
会話はちゃんとした方がいいよ
現実でもね

**名無し名人** (ﾜｯﾁｮｲ ca01-luLL) · 2019/03/21(木) 00:26:27.98

どんな情報にもノイズは含まれるだろう
互角局面集の中にも不適切なものがまじっているのはある意味当然といえる
それがどの程度影響があるか考察せずにそのまま使って
こんな結果出ました、ではまっとうな実験とはいえない

**名無し名人** (ﾜｯﾁｮｲ 8a01-0zLl) · 2019/03/21(木) 00:35:47.83

互角局面はソフト開発者も以前からオールラウンダー検証用に利用している
互角局面を否定するものはソフト開発者のやり方を否定しているのと同じで浅はかだろう