▲コンピュータ将棋スレッド141
■ このスレッドは過去ログ倉庫に格納されています
>>130
> 今度はGW5.0.5 QQRとの対戦を開始しました。
> 同様にノードリミット100万で対戦するように設定しました。
>
> まだ10局程度ですがKai4との対戦では見られなかった
> 逆転勝ちが早くも生じています。
> 60勝40敗ペースを達成しそうですね。
>
> https://i.imgur.com/cRkZ0s0.png
もうやめようかなと思うけど再び
マイナス評価からの逆転パターンが生じてました。
https://i.imgur.com/ur7qSFm.png
247局 142勝 105敗
勝率: 0.5748987854251012
標準誤差: 0.03155121733698077
95% 信頼区間 [0.5141700404858299, 0.6356275303643725]
相対イロレーティング: 52.439618125247335
標準誤差: 22.427284170889855
95% 信頼区間 [9.848989963332782, 96.66285718796355] >>158
早期打ち切りの判断は厳しめでいいと思う >>158
すまん。また訂正
誤：99.99%
正：99.9%
m(_ _;)m。 切り捨て目的ならともかく
欲しい結論に対してのデータなら、途中打切りはありえない >>162
切り捨て目的ってなんですか？おっしゃる意味がわからない。
自分の欲しい結論とは、自分のPC環境で最強のソフトが知りたい。
だから最大で1000局を目標としていても、途中で統計的に有意な差が出たら、
その時点で対局を打ち切る。
何が問題ですか？ >>163
途中で打ち切るってことは多重検定してるのに近いから >>164
ごめん。多重検定とか意味わからないので、もうちょっと詳しく説明してくれるとありがたいです。
では、最初から対局数を例えば100とか、500とか決めてその対局数を完遂した結果で判断すれば
問題ないことですか？
対局数を1000と決めて、途中の100とか500で有意差が出たら、そこで打ち切るのとどう違うのかよくわかりません。
例えば、途中で100とか500で打ち切ったとしても、それが最初から100とか500とか決めていたのと、どう違うのですか？
無知で申し訳ないけど。 >>165 ごめん。書き間違い。
誤：例えば、途中で100とか500で打ち切ったとしても、
正：例えば、対局数を1000と決めていたとして、途中で100とか500で打ち切ったとしても、
m(_ _;)m >>164
では、もうひとつお尋ねします。
＞自分の欲しい結論とは、自分のPC環境で最強のソフトが知りたい。
どういう対局をすれば、「統計的に」私の求める結果が得られますか？
指し手２秒、対局数1000でも自分の環境では重すぎる検証です。 はぁ、ShogiGUIに保存してた棋譜バグってて使い物にならなくなっててワロタ... 横レスだけど、こういう事じゃない？
http://www.igaku-shoin.co.jp/paperDetail.do?id=PA02941_06
途中で気に入った結果が出たところで打ち切ったデータ群を、いくつも収集する
って事になるなら、５％の間違いがあるデータを効率的に集めてしまう事になる
ので注意が必要。 >>171
ありがとうございます。
リンクを熟読しましたが、統計学に無知な私にはほとんど理解できませんでした。
自分の検証で言えることは、対局するどちらのソフトにも肩入れしないこと、
信頼区間99.9%の有意差で打ち切りを判断していることです。
1000局対戦しても統計的な有意差が出ない場合は、
単純に勝数の多さ(プラマイ13〜14%ぐらい？)という主観的な判断になります。 学習棋譜の質に直結するから
低ノードでの正確な棋力は今では超重要情報だぞ
短時間で強いソフトを喉から手が出るほど欲しい層が存在する >>172
あ、
＞プラマイ13〜14%ぐらい？
というのは変ですね。m(_ _;)m 藤井七段の振り駒の後手番の多さは統計学的には有意に多そうだからな
先後が決まっている順位戦入れてもかなり後手が多いくらいだから >>159
とりあえずQQRとの相対レーティング差が判明しそうな雰囲気になってきたので
今晩まで続けることにしました。
https://i.imgur.com/q5e2fO2.png
339局 202勝 137敗 引き分け6 （対局数から取り除く）
勝率: 0.5958702064896755
標準誤差: 0.026711567948078614
99.9% 信頼区間 [0.5073746312684366, 0.6814159292035398]
相対イロレーティング: 67.45232091608678
標準誤差: 19.269530974741368
99.9% 信頼区間 [5.124790303986275, 132.0752897620778] ふと思ったが、
バイナリを配布するなら、NetworkDelayの初期値は0にした方がいいと思う >>165
有意差ってのは確率的にしか判定できない
5%とか1%とかは、差がなくても差があると判定されてしまう
仮に有意水準95%で10回同じ検定を繰り返せば、40%は差があると判定されてしまう
打切りって手法の場合は、前の結果を引き継いでいくからそこまでの影響はないだろうけど(99.9%ならなおさら)、
「統計的には有意水準◯◯%です」ってのは間違ってるので、得られた結論は統計的な後ろ盾が得られない
統計に基づいた有意差あるデータが欲しいなら、それこそ有意水準甘くして、試行回数も数百回くらいに落とせばいいんでは？ 論文に使うデータでもあるまいし、200局以上で有意水準99.9％を軽く超えてるようなものは打ち切っても構わないと思うが ちゃんとしたレート差を知りたいのか、それともレーティングが少しでも上かどうかを知りたいだけなのかで
必要な対戦数は全然違う >>170
他の棋譜ソフトは？
テキストで見るとどうなってる？ 両方dolphin,illqha1.1-kai4だと互角で両方dolphin2,illqha2-kai4だとkai4のほうが強いらしい
1500万と3000万で200局の合計400局 kai4側が55％ ロタさんはGW+QQRとdolphin2+illqha2の計測はやらないのかな
結構ロタさんの計測いつも楽しみにしてるんだけど スレの流れ変えるけど
https://i.imgur.com/tAJ3XuM.jpg
MyShogiにこれに近い機能搭載できないかな？
例えば棋譜のフォルダを指定すると解析してこのような感じに表示する（指された手の割合などもあると尚いい）
使い道として、
・24などで自分の棋力に近い人の棋譜を集めて定跡の末端局面でどのように指すかを調べ研究に活かす
・大会で当たる対戦相手の棋譜をぶちこんで人対策
製品版限定でもいいから搭載してくれたら将棋神やねうら王買います 話を戻すけど、相性問題があるからやはり複数とやらないと正確なレートが出せんな >>186
やねさんはまともな意見だったら結構実現させてくれるイメージあるから直接お願いしてみたら？ シャイだから直接お願いするのは照れるv(*^-^*)v
誰か、いい考えだと思ったら代わりにお願いしてきてくれ！ illqha2とkai4がほぼ互角くらいのレートだとするとやっぱり開発環境の差でkaiシリーズのほうが有利なのかな
illqha3が出る頃にはkai6が出てそうなペースだし >>190
kai5強くなってると作者の方の書き込みありましたね
ペーストしてはkaiのがペース早いですからね 貧弱環境でも健気に頑張るillqhaはすごいがそろそろ差がつき始めてもおかしくないわな やねさんは何とかちゃんねる見てるからね
iPhone版、音声認識対応も頼みますよ あとillqhaは色々公開してるのが不利っちゃ不利なのかな >>195
ソフト全体が強くなるように公開してくれているので illqhaはdolphin探索開発にも手を出してるから大変そう
kai4がレート高かったとしても劣るって事は全くない
2990WXがシネベン5000程度らしいので1950Xとの比較からnps算出すると7980xよりnps出そう 今のgithubに入ってるMyShogi
コンパイルの仕方わかってる人だったらもうこれ使えるの？ スリッパもすごいけど来年5月には16コアのCPUが5万円弱で買えるという予想のほうがすごいよな このスレの住民でCore i9-7960X使いでfloodgate1位の人 7960Xってシネベン余裕で3000オーバーの化け物だよな、16コアの3800X(?)はどこまで迫れるか >>186
ShogiGUIの定跡機能で似たようなことできるよ >>203
棋譜上で表示してるか盤上で表示してるかの違いだと思うけど、
盤上のほうがパッと見わかりやすい。
編集は棋譜上のほうがやりやすいからできれば両方欲しいけどなー。 yaselmoの頃のように
SDT6ではkaiシリーズやillqhaよりも強い評価関数は
1〜2個だけという展開になったりして suiseihuman強いな
Dolphin6950Xに勝ってるな Dolphin6950Xに勝てる人間とか完全にニュータイプだろ これを正しく評価できたのが今のとこillqha2だけなんだが
後手の持駒：角二 金 銀 歩三
９ ８ ７ ６ ５ ４ ３ ２ １
+---------------------------+
|v香v桂v銀 ・ ・ ・ ・ ・v香|一
| ・ ・v玉 ・v金 と ・ ・ ・|二
| ・v歩v歩v歩v歩 ・ ・ ・v歩|三
|v歩 ・ ・ ・ ・ ・ ・ ・ ・|四
| ・ ・ ・ ・ ・ ・v歩 ・ ・|五
| 歩 ・ ・ ・ ・ ・ ・ ・ ・|六
| ・ 歩 桂 歩 歩vと ・ 飛 歩|七
| ・ ・ 玉 銀 ・ ・ 金 ・ ・|八
| 香 ・ ・ ・ ・ ・ ・ ・ 香|九
+---------------------------+
先手の持駒：飛 金 銀 桂二 歩
後手番 先手有利？って事なら別にQQRでもillqha1でも正しく評価するがそういう事ではなくて？ みたいなもんだな
音楽そのものには興味なくて
機器の性能だけに関心がある レーティング測定で、1手何秒で固定とか、ノード数を固定したりするけど
持ち時間制にしたらどうなるか気になる。
というか、持ち時間10分切れたら1手10秒で測定してみてるけど、
時間かかっちゃって大変。 そらオーディオマニアにも音楽そのものが好きな人もいれば音響機器が好きな人もいる
楽器好きもいるしね 自分の場合、
将棋の棋士や、戦ってる姿が好きだったり、
コンピュータ将棋なら、同じように、開発者の考えとか人柄とかが好きですね。
将棋自体は超弱かったりするけども。 やっぱり探索部をdolphin2に統一すると、illqha と illqha2で差がないみたいね。 illqha1.1が異常なレベルでdolphin2と相性いいのかillqha2がそれほど強くないのかが気になるところ めきっとさん気にしてるけど弱いんじゃなくてillqha1.1が長時間向けなのかもしれない
どちらにせよ凄い強いんだから気にする事はないと思うけど 厳しい意見を言う人も多いから気にしてしまうんだろうなあ、かわいそうに ある特定のソフトにやや強いのが出来ても、相性問題で他のソフト全般に強くなるとは限らないので開発するのも大変だな 探索は強さではなく相性の時代だから調査が難しい。
色々な組み合わせを試してみないと何が最強かは判断出来ないね。 >>213
鉄オタなんてもっと細分化されているぞｗ テスト対局させてみました
定跡はオフです
illqha1.1+dolphin2とGW+QQR
293-22-185（ノード5〜600万）
illqha1.1+dolphin2とkai4+dolphin2
223-56-221（ノード4〜500万）
テストしたノード数だとdolphin2との相性はillqha1.1やkai4のほうが良いのかもしれません
次はノード数を少し上げてテスト対局させてみます illqhaの人はいつ頃、次出すなんて必要ないと思うんだ
気長にしこしこやって、これはだいぶ伸びたかもってなったら出してみたらいい
口だけで強いのできたって言ってるだけの人とは違うので、応援してます そういうモチベの保ち方なんだろ
俺らが口出しする事でもないと思う なんとなく締め切りないとやる気出ない気持ちはわからんでもない もう少し続けてみることにした・・・
https://i.imgur.com/JyO4Wlj.png
502局 299勝 203敗 11引き分け
勝率: 0.5956175298804781
標準誤差: 0.021937031308189702
99.9% 信頼区間 [0.5239043824701195, 0.6673306772908366]
相対イロレーティング: 67.2700601644867
標準誤差: 15.822035905833712
99.9% 信頼区間 [16.623139016648043, 120.93133435570473] やっぱりillqha2短時間だと普通に強いよな
偶然丁度1500万ノードらへんが苦手な仕上がりになっちゃったのかな 短時間で強いなら学習の棋譜作りに向いているから良いんじゃないかな NNUEの力ならひたすら根気よく振り飛車しか学習させなければめちゃくちゃ強い振り飛車評価関数ができるのかな？ 飛車の位置が２八限定なのが居飛車
飛車の位置を３八〜８八まで６か所から選ぶのが振り飛車
つまり、少なくとも居飛車の６倍学習させないといけない。 対抗形になってからの中終盤はそれほど大きな違いはなくなってくるだろうし6倍はないんじゃないかな ハニーワッフルは名前がダサい
誰かかっこいい振り飛車ソフト作って 振り飛車のBURRは序盤から評価値が悪いな、やはりソフト間では振り飛車は勝率が低くなる
居飛車が王道なのをBURRが証明してくれている >>246
最序盤はそうだね。
ただ、展開によっては振り飛車いける展開になるときもあるし、明らかにダメパターンもあるね。
ダイレクト向かい飛車とかもやっててまだ可能性があるんだなと でも中盤の評価値をみると結構振り飛車側を良く評価しててそのまま勝ったりしてるから、うまく学習すれば強いのかも？ ただし人間同士ではソフトほど深く読まないし、悪手疑問手も普通に指すのでソフトほど差が付かないから
振り飛車も十分戦えるのは間違いない そうだね
プロ間で振り飛車がなくなることはないだろう suimon=名無し名人 (ｽｯﾌﾟ Sd8a-bhxm) NNなら居飛車も振り飛車も強い評価関数は可能そうだよな >>253
可能に思える
結局、明らかにダメな序盤を取り除けば決勝ラウンドには振り飛車党ソフトでもいけそう
その前に将棋電王トーナメントがあるかどうかだが 現在入手出来る最強の振り飛車評価関数はtttakさんのnn_furibisha2(R4118) だと思うが
R4118はあくまでロタ氏計測QQR-GW505との対局だけの勝率からレート換算したもので、
この評価関数は定跡なしでも９割方あらゆる場所に飛車を振るので振り飛車党の練習には良いかも 気のせいかも知れないけどillqha2やNNUEkai4の序盤を見ていると矢倉が多くなり雁木が減った気がする godwhale_child5.05のNNUE評価関数版をベースに
NPSを落とさずDitto化する事に成功したので投下
https://i.imgur.com/9xvh4io.jpg
https://1.bitsend.jp/download/bf8c56350f3c25bd3948dbb51161dcfb.html
やねうら王の最新の変更も取り込んでいるから
エンジンと同じフォルダにengine_options.txtを置けば設定をまとめて適用できるようになってる
NPSは殆ど落ちないから、良さげなパラメータがあったらengine_options.txtだけ入れ替えればOK
Dolphin2のパラメータを再現できるengine_options.txtも同梱済み
上記の測定結果は付属のengine_options.txtを適用した状態での計測
NPSを落とさせない都合上設定項目が少し減っていて
NNUE-whaleのバージョンの選択肢が3,6,7だけで0は選べなくなっているので注意
7は超短時間でほんのり強いかな？程度で有意差までは出し切れていないので
検討用途なら実績のある6か3が無難かと
一番上のスクショは一応NNUE-whale7に設定しての対局結果 ■ このスレッドは過去ログ倉庫に格納されています
