▲コンピュータ将棋スレッド141
■ このスレッドは過去ログ倉庫に格納されています
nnueもそろそろ頭打ちかな
つらい停滞期がまた始まるね これの本体誰だよ？
コンピュータ将棋ファン@t3Jki1WDMTcZaRn
コンピュータ将棋の情報収集垢です。
https://twitter.com/t3Jki1WDMTcZaRn
https://twitter.com/5chan_nel (5ch newer account) kai5も実際にはillqha2から見てR+15くらいなんだろうけど
2週間という期間を考えると結構な進歩だと思う そろそろ厳しそうだけど今後R5000とか行くのかね 誰かが今年中にNNUEは今よりR200は上がるって言ってたが >>441
uuunuuunさんのレート表復活してるよ 既に初期からR200近く上げてるから伸びしろ小さいやん NNUEはAWSとかに100万課金する気があればR4700くらいはすぐ行くと思う >>444
スレのデータは探索部込みだったか、失礼
illqhaも1.1の方が強い説が出ているし
どうやら本格的に天井が近付いていそう >>447
探索部もあるけど超短時間だから結構結果が変わってきてるんじゃないかな Yssの山下さんがR4600くらいが限度みたいなこと言ってなかったか NNUEの容量大きくして限界まで学習するの繰り返すとどこで速度低下の影響のほうが上回るの？ >>450
T.N.K.チームがあまり大きなNNを採用していないということはあまり大きくしても弱くなるってことなんじゃないかな？
せいぜい隠れ層のニューロンを増やすかもう一層増やすくらいじゃない？
それも速度低下以前に大きくなったNNをうまく学習出来ればの話になりそうだし 野良が各々学習や検証の為に消費してるリソースを一カ所に集めたら、
もっと強い評価関数ができるのにって常々思うんだよなぁ >>449
30年くらい前は、数学者でも「プロ棋士の4段クラスのソフトはこの世の終わりまで登場しないかもしれない」と書いていた
20年前でも四枚落ちでプロ棋士に負けていた
それが次々と壁を打ち破る手法が登場して、10年くらい前にプロ棋士の4段クラスのソフトが登場した
4600の壁はあっさり敗れると思う elmo絞り→一回でR200上がるすげえ！→何回回しても全然強くなんねぇ
NNUEもいっしょや！
ところでNNUEで作った教師局面でKPPTを絞ったら強くなる？ 透。さん、illqhaの人やkaiの人の計測結果からある結論に至った
鵺は作成者を親だと思い、親の環境だと力を発揮する
オカルトです 久しぶりにこのスレ見に来たんだけど、
もしかして技巧もAperyもすでに息すらしてないの？ 技巧は開発者が多忙により休止
Aperyは開発者が株式上場でがっぽりだからダントツ一位になれる可能性があるぞ >>403
Kai5のGW7版でillqha2のGW7版で試したらKai5に軍配が上がった。
ところがillqha1.1/dolphin2が強いというレスがあったので今試した。
まだ始まったばかりだがillqha1.1/dolphin2は期待できるかもしれない。
なお全てノードリミット100万で対戦して調査してます。
https://i.imgur.com/RkC6cPt.png
Kai5/GW7 vs illqha2/GW7
https://i.imgur.com/1ZYOqSm.png やねうら王とGodwhaleではNPSが微妙に違うから
ノードリミットではなく持ち時間制限にしないと駄目じゃないか？
そのNPSならNetworkDelay2を500にして秒読み2秒にしたらだいたい100万ノードになるはず >>453
そんな希望的観測じゃなくもうちょっと合理的な理論を持ってきてくれ 対局数至上主義の人はどのノード数以上までなら有意なの？
1万？50万？100万？500万？1000万？1500万？
何か曖昧なので 有意かどうかは対局数でしか決まらないから
例えばR差20を計測したいなら
ノードが1500万だろうが10億だろうが800局程度までは打ち切ってはダメだし
それが無理ならノード数を減らすべきという単純な話
ノード数を維持する為に対局数を減らすのは優先順位が逆 ノード数多いと計測は大変だけど、少なくとも500万くらいはほしい気がするかな
100万くらいだと勝率がuuunさん基準の測定と離れすぎる気がするし、そもそも超短時間で検討とかしないからそんな時間での強さ測ってもなあ どっちが強いか単純に測りたいならノード数なんてどうでもいいでしょ
対局数が多ければ多いほど信頼性のあるデータになる 短時間長時間なんて定量的なもんでもないし、どのノード帯で検討するかなんて人それぞれでしょ
一つの局面延々読ませる人もいれば、多くの棋譜の解析を一手数秒で流す人もいる
統計的な評価とノード数問題は別物で、まずは少なくとも統計的に価値のあるデータ数を確保しなさいよというだけの話
で、ノード数については現状一般化された理論がないので、◯◯ノードで測定しなければいけないなんてことは言えない 超短時間すぎると統計以前にそもそも対局データとしての価値は下がる
数十万ノードと数千万ノードで勝ち越すほうが逆になるなんてことはよくある
数十万ノードで使うことなどないので数十万ノードで強くてもあまり価値がない >>471
>数十万ノードと数千万ノードで勝ち越すほうが逆になる
そんなのあったっけ？
数十万ノードなら手元ですぐに再現実験が可能だから
具体的にどの組み合わせを数十万ノードで対局させると
レーティング表とは逆の結果になるのか知りたいんだけど 逆にそちら側が任意のノードで勝率が変わらないことを証明しないといけないと思うけど >>471
対局データとしての価値とは？
単にハイレベルな棋譜が欲しいなら、
時間を際限なく伸ばして一局やればいいだけ
>>473
任意のノード数で勝率が変わらないんじゃなくて、
◯◯ノードで測定したから大丈夫(何が？)保証はどのノード帯にもない >>472
例えばkai5とillqha1.1
4スレ0.1秒300局だとkai5が53%だったがロタさんの計測ではillqha1.1が勝ち越し
対局数少ないから誤差の範囲内といえばそうだがノード数によって強さが変わるのは間違いないと思うよ
ロタさんのillqha1.1とQQRの検証を見るべし ノード数で結果が逆転する実例を見つけているなら凄いけど
長時間厨は統計が分かってないから
彼らの書き込む「よくある」は全くあてにならないのが問題だな
0回でもよくあると思ってしまうフシがある >>474
検討で使うとき0.1秒しか読ませないなんてことはないから超短時間で強いよりはそこそこのノード数で強いほうが有用じゃない？
つまり両方十分な対局数をこなしていた場合ノード数が多い計測データのほうが価値があると思うんだけど >>475
それ全部誤差じゃん
言っておくけど300局で53%も誤差だぞ
1500万ノード側が有意差が出るレベルで計測されていないと話にならない >>478
誤差の範囲内と書いてあるんだが・・・
とりあえずロタさんの検証見てきなよ elmoが１手5秒以上だと勝ち越す相手に2秒以下だと
負け越すと昨年よく聞いた >>480
elmo絞りすると超短時間だとそれほど強くなくて、そこから計測が大変になったんだよな たしか初代elmoって1スレ0.1秒とかだと技巧2に負け越すんじゃなかったか？ >>472
NNUEkai5は以下自分の計測では一手0.1秒のような超短時間ではillqha2にもillqha1.1にも勝率53%程度で強いけど、
uuunuuun氏の対局ログ(1500万ー2000万ノード)ではNNUEkai5がillqha1.1に勝率46%で逆の結果になっている
だから極端な低ノードでは、いくら対局数をこなそうが数千万ノードとは逆の結果になることが多いのでやっても参考にならないと思う
NNUEkai5-dolphin1 256-15-229 illqha2-dolphin1 対局数500 勝率52.7%
4スレ 一手0.1秒 定跡なし Hash1024 投了値2000
NNUEkai5-dolphin1 262-9-229 illqha1.1-dolphin1 対局数500 勝率53.3%
4スレ 一手0.1秒 定跡なし Hash1024 投了値2000
uuunuuun氏の対局ログ(1500万ー2000万ノード) 引き分け0.5勝換算
dolphin1/NNUEkai5 284-323 dolphin1/illqha1.1 勝率46% 散発的に持ち時間長くすると逆転したと言ってるだけで
ノード変化によるレート変化の網羅的なデータは無いしなあ しょぼいコンピュータで時間もかけないならば
持ち時間を少なくすれば統計的に正確でも実用上意味のないデータができて
持ち時間を多くすれば実用上意味があっても統計的に不正確なデータができて
どちらにしろ役に立たない
という当たり前の話じゃないの
なんの苦労もなく承認欲求を満たせるようなうまいはなしがあるわけない ハイスペック長時間の統計がどれだけ一般ユーザにとって有用なのか謎だけどね
そもそもマニアしか興味のないジャンルかもしれないけど ノード問題の戦犯？はelmoだわな
そういう結論になるわけではないのに、長時間計測が正義みたいな風潮を一部に作ってしまった >>485
まあそういうことだよね結局
自分含め一般ユーザーも検討のときはそれなりのノード数ないし深さを読ませるものじゃない？
uuunuuunさん基準の1500万ノードがハイスペック過ぎる条件だとは全く思わないかな
1手100万ノードでソフトの思考を終了させることなんてあまりないと思う、100万NPSの低スペックPCですら1秒なわけだし 1手0.1秒で対局させている人がいまだにいるみたいだが、棋譜のログ見れば分かるが探索深さバラバラだよ。
1スレッドで試してみたが深さ9〜14位で物凄く不安定だ。こんなんで正確な強さが測れるわけない。
思考時間が増えるほどどちらも同じような深さで安定しているから結果の信頼性高くなる 中盤や終盤で複雑な局面を検討させると最善手が変わるよね
100万ノードや数千万ノードでの最善手ももっと読ませると悪手だということが分かったりすることが多い印象がある
で、実戦で勝敗が決まるのもそうした局面で最善手を指せるかによるんだよ
だから、100万ノードでの結果が逆転しないとしても、検討に使うソフトは難解な局面で最善手を見つけることができるかなんだよな 結局何ノードなら有意？
1ノードもあり？
できれば根拠も添えてもらえればみんな納得しやすいかなと
ちなみに自分でもelmo以降のKPPTは何千回と計測してきたが、個人的には1500万は最低ラインかなと
むしろ足りない気もする
nnueはまた違って当たり前なので、有意な最低ノードが知りたかった
統計的に有意な最低ノードがあったほうが不必要な計測をやらなくて済むし、考慮しなくて済む
100万より少ないかもしれないし、多いかもしれない
100万というのは人間が思う切りの良い数字なだけかもしれない
ただ、KPPTとnnueの対戦なら秒数計測で1500万ノード分以上は必要だと思う >>492
それを知るには例えば１局１０秒、100秒、1000秒、とたとえばFGの持ち時間の対局で
勝率の相関がどれくらいあるかを数組か数十組か数百組かどれくらいかしらないけど
統計的に十分な量の対戦カードの組み合わせについて調べないといけないんじゃない？
統計わかんないけど 統計はコスパも大切
コストかけても正確さが微増なら意味がない 「100万ノードだとA＞Bだけど1000万ノードならA＜Bである。
よって長時間ならBが強い」なんて結論出すのは相当頭悪い話だけどな。 >>494
ということで一手1500万ノードに決めたのがuuunuuunさんのレーティングサイトってことかな >>492
そもそもレーティング測るなら
測定環境、条件は揃えるべき >>323
258 配布のソースですが、MSYS2のビルドもエラーで上手くいきませんでした。
search.cppの3313行で、YaneuraOu2017GOKUが呼ばれてるのが原因っぽいです。 >>493
そう
なので今までは1500万ということになっているけど、それ以下に減らすと統計的にどうなのかな、という
>>495
どのソフトでも、ノード数が増えればその分勝率が高くなるが、勝率の伸び方が違うかもしれない
1000万や1500万が長時間と言えないかもしれないが、それ以下では長時間で強いとは更に言えない
実利用は検討用途が多い事も考えないといけない
>>497
そう
完全に同じ条件というのは難しいので、できるだけ揃えたほうが良くね？と思って 結局1500万ノードでは肝心の対局数が全然足りないから測定誤差での議論になる
対局数が足りないことが理解できない人ほど1500万ノード信者になるから議論の質も低い 信者だとか厨とかいってるレスよりは十分質が高いと思うけどね ノード数増加による棋力向上の変化は理論は何も手がかりは無いし
経験則と言えるほどのデータも集まってない。
1500万ノードで調査した結果からは1500万ノードの棋力がわかるだけで特に一般則は無い。 100万ノードではA＞B、1500万ノードではA＜Bの結果なら一手１０億ノードで強いのはBの可能性が高いと思う
だから検討用に使うなら1500万ノードで割り切ってもいいのでは、理想は一手5000万、１億、２億とノード数を
変えて計測するのが理想だが有効な統計数を取るには個人では時間的に無理なので、この手の話をしても意味がない >>499
>>500
>>503
そもそも同一ハードでソフトによってNPS違うのにノード数で縛る意味とは？ >>503
単調変化だと確信が無いのに二点測って結論出そうとする
頭の悪いことをここで言い出す人が現れるとは思わなかったわ >>500
そもそも２ちゃんねるの書き込みの信頼性が見積もれないと思うんだけど
対局条件がきちんとしているならば、それだけでは価値のない１０局の結果は
価値のある１０００局の一部になれる可能性がある
>>504
違うハードで条件を揃えやすい
レーティングの相性問題に目をつぶれるならば、ノード数の違う自己対戦の結果を
つかってレーティングを補正できる >>505
頭が悪いのはお前だろうが、計測はどこかで妥協しないとキリがないだろうが、強いのか弱いのか分からない一つのソフトの計測にお前のような理想ばっかり
述べても時間を取られるだけで実用性がないからな 何にもしねぇ、声だけデカイ馬鹿はどこにもいるからな
妄想カタカタしてる暇あったら、お前の好きな方法で計測してこい
誰にも必要とされてねえよ 理想とかじゃなく、◯◯ノードはダメだけど△△ノードは価値があるって判断そのものが
現状ナンセンスなんだって気づけよ >>507
単調変化すると仮定するなら1万ノードと10万ノードでの比較でもいい事になるんだけど理解してる？ というかノード数変えてどこから統計的に有意とか、恥ずかしい発言だと思わんのか。
このスレで有意って単語見たからって知らん言葉使っとるんか
ある実験条件（ノード数なり思考時間なり）で無限に対局を重ねれば、ある勝率に収束する
その確からしさが欲しいならそれぞれ対局数を重ねるしかない。
短時間対局で対局数を重ねれば、短時間対局でのあるべき結果に収束する
実験条件を変えた時に異なる勝率に収束するかは別の問題
それは統計の問題ではない illqhaの作者は学習時にLAMBDAを0.05にしているようだけど、それ自体は悪いことじゃないだけども、
それだとせっかくdepth12で作った教師の評価値があまり意味がなくなっていると思う。
LAMBDA混合絞りで序盤の評価値のLAMBDAは大きくした方が深い探索が生きると思う TCECの同点のときの順位決定法ってSB優先じゃなかったんだな
１．クラッシュ数（少ないほうが勝ち抜け）
２．直接対決の成績上位
３．勝ち数の上位
４．後手番での勝ち数の上位
５．SBの上位
６．主催者の判断
TCEC 13の3部リーグは8エンジンによる4回戦総当たり全28回戦が終了し
Etherealが17勝0敗11分の22.5ptsで無敗優勝を飾った。
2位はArasanが9勝5敗14分、LeeraChessZeroが7勝3敗18分の16ptsで並んだが
直接対決で1勝3分と上回ったArasanが1期で2部への復帰を決めた
なお、3部リーグはずっとGPUの熱トラブルが続きLeeraChessZeroは実力を発揮
できなかったもよう。冷却と電力消費の問題を克服した20回戦から猛烈な追い上げを
開始したが、Arasanとの直接対決差に涙を飲んだ
やっぱNN勢を大会に出すってのはなかなか大変みたいね 今やってる議論とは別だけど、
高ノードだろうが、低ノードだろうが、
そもそもノードを固定して測定するってのが疑問
それが平等な条件なの？ ノード数固定という意味ではなく大体どのくらいのノード数になるように秒数で固定という意味合が多いと思うのだけれど いつものテスト対局です
ノード5〜600万
対局数500 先手勝ち243(54%) 後手勝ち204(45%) 引き分け53
dolphin2+kai4
勝ち247(55%) 先手勝ち135(59%) 後手勝ち112(50%)
dolphin2+kai5
勝ち200(44%) 先手勝ち108(49%) 後手勝ち92(40%)
ノード2000〜2500万
対局数100 先手勝ち48(55%) 後手勝ち38(44%) 引き分け14
dolphin2+kai4
勝ち58(67%) 先手勝ち30(75%) 後手勝ち28(60%)
dolphin2+kai5
勝ち28(32%) 先手勝ち18(39%) 後手勝ち10(25%)
ということで、私の環境ではdolphin2+kai5はあまり良い結果は得られませんでした >>514
1500万ノードって記載があるのは全て大体1500万ー2000万ノードの範囲に収まるように秒数を固定したものでノード数固定ではない
そのため違うエンジンで対局する場合秒読みなのでノード数が違ってくるのは当然で、このスレでのノード数固定計測の話は100万ノードの人くらい
じゃないだろうか >>518
あそうなのね、勘違いしてたわ
ところで、kai5やdolphin2illqha2が自身の前バージョンよりも
強くなってるかどうか確認できないんだけど、
スレ全体的な評判としては、どうなってる感じなんでしょうか？ dolphin1.1/illqha1.1とdolphin2/illqha2は僅差な気がするわ >>517
むしろdolphin2+kai4 が結構強いということ言えない？
dolphin2+illqha1.1もなかなかということだから、
「dolphin2が優秀＆１つ前の評価関数と好相性」じゃないだろうか めきっと＠鵺日々成長中@_illqha
illqha2、もしかしてほとんど強くなってないですかね？
あまりに微妙そうだった場合、修正版として来週末くらいにillqha2.1を出すかもしれません。（illqha2の詳細な計測等はちょっと様子見していてもらったほうがいいかもしれないです）
illqha2弱いぞという方はどんどん教えてください。
めきっと＠鵺日々成長中@_illqha
返信先: @Rota_JPさん
はじめまして。いつも計測してくださってありがとうございます。
QQR+GWに対してさすがに少し勝率が低すぎますね。
過学習している感じではなかったので原因を突き止めるまで時間がかかりそうです。
おそらく修正版のillqha2.1を作成すると思いますが、その際は対QQR+GWの勝率をやや重要視してみます。 >>522
私の環境ではdolphin2とGW7を直接対決させると
GW7が勝ち越すけどねillqhaでもkaiでも GWシリーズは短時間に強いように調整してるはず
そのせいでは >>199
ど来年5月には16コアのCPUが5万円弱で買えるという予想ってのは誰の予想？ ほんとAMDが頑張ってくれて良かった
Ryzen登場以前のコア数の鈍化は今思えば異常 >>525
私もGW7は優秀な気がする。
同じ結果が出た。 >>525
>>531
ちなみにノード数はどんなもん？ 短距離走者と長距離走者みたいに得意な思考時間があるんだろうね 夏休みか何か知らんけど
基本的なアルゴリズム知らない中高生が増えたのかな
古い本で良いから基本的木探索勉強したら？ 30すぎたオッサンだけど一週間前からAtCoder登録してみて絶望したわｗ
開発者はこんな奴と戦っていたのか・・・
単なるミニマックスのゲーム木探索だとビギナーコンテストのCの過去問だと今日気づいてさらに絶望した >>536
ある意味こういう競技性的なものが出来る事によって、上にいる奴はさらなる上を目指すけれども
それより中よりも下にいる奴はもうはなから諦めてそもそもプログラミング自体辞めるという事態とかもありえそう。
格ゲーの世界がまさにそんな感じだからな＾＾； >>532
>>525の場合 ノードはチェックしていないが i7-8700kで１手１０秒 ■ このスレッドは過去ログ倉庫に格納されています
