▲コンピュータ将棋スレッド141
■ このスレッドは過去ログ倉庫に格納されています
日本将棋連盟は棋士の先生方が将棋ソフトを利用して棋力向上に役立って恩恵を受けているはすなので、
恐らく資金問題で開催が危ぶまれるドワンゴがSDT開催できるように資金をもっと援助してあげてほしい TCEC 13は4部リーグ全28回戦が終了して、優勝が14勝2敗12分のLeelaChessZero、
2位が13勝4敗11分のDeusXで、NN勢2エンジンが3部昇格
ただ、3位のWaspも11勝3敗14分で2位とは0.5点差と、そこまで差はなかった。 >>54
激指14と対戦させたが普通に激指が負けた
24の5段レベルじゃないわ 持ち時間12時間対決を
10試合行ったよ。
面白い棋譜かどうかも良く分からないし、多分もうやんないと思う。
興味があったらダウンロードしてみてね。
https://www.axfc.net/u/3928210 >>60
腐っても鯛というからaperypaqぐらいの強さはあるだろう >>58
藤井七段他多くの棋士がソフトで対局して棋力向上に役立てている
棋士より強いソフトの登場で、棋士の出番がなくなったのも事実
将棋連盟の棋士先生に聞くよりも、ポケットに入っているスマホに聞いたほうが優れた答えが出るようになったw
連盟の棋士先生がやるとしたら解説になる
解説をして貫禄があることを示す >>56
スマホを使用して棋士とエンジンが組んでペア対局を
実施してネット中継したら視聴者が増えると思う
棋士が好みのエンジンを選択できるようにしたら
フリーの強豪エンジンが注目されるかも
プロ棋士は自尊心が高いからどれだけエンジンの
推奨する手を採用するか興味深い *2016-10-11_新人王戦決勝第2局 増田康宏_四段_vs_石田直裕_四段
*例の「ソフトの詰め課題局面」をillqha2でテスト
後手の持駒:角 金 銀 歩
9 8 7 6 5 4 3 2 1
+---------------------------+
|v香 ・ ・ ・ ・ ・ ・ ・ 杏|一
| ・v玉v金 ・ ・ ・ ・ ・ ・|二
| ・v銀v桂 馬 ・v歩 とv歩 ・|三
|v歩v歩v歩v歩v歩 ・ ・ ・ ・|四
| ・ ・ ・ ・ ・ ・ ・ 歩 ・|五
| 歩 歩 歩 歩 ・ ・ ・v龍 ・|六
| ・ 銀 桂 ・ ・ 玉 ・ ・ ・|七
| ・ ・ ・ ・ 歩 ・ ・ ・ ・|八
| 香 ・ ・ ・ ・ ・ ・ ・ ・|九
+---------------------------+
先手の持駒:飛 金二 銀 桂二 香 歩三
先手:増田康宏 四段
後手:石田直裕 四段
手数=104 △2六飛成 まで
低スペック(32ビット、4ギガ、1スレ)PCで
YaneuraOu-NNUE_V482+illqha2で検討。
2分ちょいでmate33!!
詰みを読みました!
感動!
*illqha1.1では10分でも詰まなかった
illqha2ありがとうございました。 >『dolphin+illqha1.1』より少しだけ強くできたかなと思います。(超短時間ではillqha1.1に対して勝率56%、短時間では勝率54%程度でした、それ以上の時間でもおそらく負け越すことはないと推測します)
>基本的に短時間での計測しかしていないので中〜長時間での強さは謎です。
>対局における各評価関数との相性問題なども謎です。(少しのノード数の差で相性がころころ変わるようなので、あまり神経質に計測しても結局よくわからないということで気にしすぎない方向でいきます)
>Ryzen7 1700のPC1台(と少しだけ低スペノートPC)で作業しているので中々強くなりませんが、ちょっとずつ強くするので気長にお待ち下さい。 めきっと@鵺日々成長中@_illqha
https://drive.google.com/file/d/18lWusgxNdG1vXbY6GzXRHhA41pZovOtM/view
dolphin2+illqha2を公開します。
少ししか強くなっていないと思いますが、そこは許して頂けると幸いです。
今回は計測作業の一部を「ぷよ太郎@yorikone」さんに手伝って頂けました。ありがとうございます。
めきっと@鵺日々成長中@_illqha
透。さんのシリーズやなんとかちゃんねるのkaiシリーズの成長速度と張り合っていくのはかなりしんどいですが、頑張ります。
次回の公開まではかなり時間が空いてしまうと思われますが、ご了承ください
ツイッター見てない人がいるかもしれないから貼っときましょう dolphin/NNUEkai4 vs dolphin2/illqha2
46勝45敗9引き分け
持ち時間0、秒読み2秒 >>73
すまん、訂正
dolphin2/illqha2からみて、46勝45敗9引き分け >>74
CPU i3-6100、MEM:8GBの貧環境 ノード数少ないし対局数も少ないしでよくわからんけどイルカ2のほうが強いんだろうか >>77
対 dolphin/illqha1.1 なら対局数80くらいで打ち切ったけど、イルカ2の勝率58%くらいだった
只今イルカ2とGW5/QQRが対戦中だけど、今のペースだとイルカ2の勝率60%強と予想
ノード数はShogiGUIの表示を見ている限り、最大でも150万くらいかな >>78
数百局やっても勝率58%だったらもしかしたらかなり強くなってるのかもな >>71
スレ違いです。
自分のスレに貼ってくださいよ、suimonさん。
suimon_feat.anti_suimon応援スレッド17
https://mevius.5ch.net/test/read.cgi/bgame/1533862279/ >>79
公開はしていない、親しい人にだけ検証してもらう目的で渡しいるけど、透のブログでillqha1.1-dolphinに勝率64%って自慢していたやつも
uuunuuun氏の計測では透が渡したものが結局illqha1.1-dolphinに負け越していて弱かった、前から同じことの繰り返しでブログ記事はあてにならい NNUEkaiの人みたいにさっさと公開しちゃうのが一番手っ取り早い
キメラもできないから公開しても電王トーナメントへの影響は少ない 透の評価関数を付き合いで検証してあげているuuunuuunさんも気の毒だな
勝率64%って渡されたものが負け越すんだからがっかりするだろ >>71
右ミレニアム囲いとか昔からあるやん
ググれカス suimonさんが見つけた形は全て最新なのだけれど、ブログに書くかどうか 評価関数単体だとNNUEkai4とどっちが強いのか気になる
最近はエンジンは強さよりも相性が重視されるから公平な計測条件が難しいけど suimon関連の話題をこのスレでやり出したら、クエスト2分,アマ県棋戦,出版本の売れ具合,
他の指し手研究類似者とのTwitterでのやり取りがどうだとか、一般の将棋ソフト愛好家からしたら
どうでもいい話題なので本スレでやってくれ >>88
今、探索部をdolphin2に固定して、NNUEkai4とillqha2を対局させているけど、
対局数59 NNUEkai4が32勝(59%)、illqha2が22勝(40%)、引き分け5 となっている。
うちの貧環境では、NNUEkai4 が最強といえるかも。 もう何日かして対局数とかノード数がまともな計測結果がいくつか出てこないとなんとも言えないよな とりあえず速報値が知りたかったから
1手100万ノード固定で300局計測、探索はGW6で固定
NNUE-kai4 145-6-149 illqha2
完全に互角、有意差を出すのは現実的な対局数では無理っぽい ロタ @Rota_JP
【結果から得られた考察】
1手0.1秒→150-200万ノード レート測定に不適 解像度が低い
1手0.5秒→750-1000万ノード 一定の勝率測定能あり
1手1秒→1500-2000万ノード uuunuuunさんサイト測定基準
1手2秒→3000-4000万ノード 時間を2倍にしても勝率に大きな変動はなし
https://twitter.com/Rota_JP/status/1027149612761505792
最低1000万ノードは必要
https://twitter.com/5chan_nel (5ch newer account) 探索エンジンの違いで勝率が変わると評価値の良さが
分からなくなるので制限を設けて計測することにした。
途中経過は以下の通り。
まだ10局なので断言するのは早計かもしれないが、Kai4
よりillqha2の方が評価値としてノードリミット100万なら優れてそうです。
https://i.imgur.com/xOJzWEj.png なんとなくエンジンとセットだからイルカにしようかなってなるわ elmo以降、数百万程度の低ノード測定は不正確で、1500万以上は必須というのが定説だったと思うが、何故みんなあえて低ノード?
nnueだと低ノードでも信頼性があったりするの? 低ノードと高ノードで勝率に差が出てくるのは分かってるけど、
高ノードの結果の方が正解で、低ノードの結果は不正確って認識はなかったな >>100
さすがに深く読ませた同士の結果のほうが信頼性高いのでは? 低ノードだと金沢将棋'98がelmoに勝つこともある あるレギュレーションでの強さは、その条件で測定しなきゃわからん
高ノードだから正しいわけではない
そもそも正確性や信頼性ってなんだよってとこからの話になる ノード数が増えればRが上がることはわかってるんだから、指し手の精度はより高いのでは?
検討時に低スペで1秒しか読ませないなんてことはないしそこそこ多いノード数での計測を信用したいけどな >>104
高ノードで強くなるけど、問題は各ソフト毎にその曲線が異なるってことでしょ
あとはノード毎に出やすい戦型があれば、それによって相性問題が生じる可能性もある >>105本当はせめて3種類くらいのノード数でそれぞれ対局させたほうがいいんだろうけどね、計測班がキツすぎるわな 評価関数だけで比べたら、大樹の枝と最新ソフト比べたらどれくらいR上がってるの? ノード数とかレートもいいけど、ソフトには解けないって言われてた詰将棋がイルカ2ならそれなりに解けるようになってたりしないのかな
さすがに長手数は無理だろうから50手くらいまでで 出先なんでurlでカンベン
ttp://www.ne.jp/asahi/tetsu/toybox/challenge/c1044.htm
こんなのはどうかな? >>109
成らずとか特殊な作為のは簡単なのでも解けない様な >>111
今試してみたけどmateでも詰むので、連続王手の筋を読まないみたいだな 詰将棋用じゃないからより短手数で勝てるならそっちを選ぶのは自然 特殊なのはさすがにだめか
特殊じゃないやつで難しい長手数ってどこに行けばあるんだろうか >>117
局面によっては正しく評価値が出ないから >>119
そんなの言い出したらコンピュータ将棋なんて意味ないじゃん 特定の局面が頻出するなら、それは結局レートにも反映されるわけだし、
そういうの気にし出したら切りないからなあ
もちろん興味として、そういう特殊な状況が気になるのは理解できる NNUEが万能にどんな局面でも評価できるようになるのか気になるんだよね
ttp://www.ne.jp/asahi/tetsu/toybox/challenge/c3005a.htm
持ち駒多いと3駒では厳しそうだけどどうだろう 万能にどんな局面でも評価できるか?無理に決まってるでしょ
枝刈りしなけりゃどんな評価関数だろうが詰ますし、
運悪く枝刈りに引っかかれば詰ませられない、そんだけだ
個々の局面評価を見てソフトの特徴を推し量ろうなんてどだい無理な話 昔はまず無理と言われてたことがどんどん実現してるから、どんな局面でもとはいかなくてもよっぽど変な局面以外は評価できるようになるんじゃないかと思うんだけど 詰みがある局面はGUIのアシスタント機能+詰将棋ソフトに任せておきましょう 何回も言われているが
一番重要なのは対局数だからな
1000万ノードで50局しか計測出来ないなら
100万ノードに減らして500局計測した方が意味のあるデータになる テスト対局させてみました
1秒対局なのでノード数が少なめですが参考までに
定跡はオフです
illqha2+dolphin2とillqha1.1+dolphin
227-66-207 (ノード5〜600万)
illqha2+dolphin2とGW-QQR
288-18-194 (ノード4〜500万)
次はdolphin2固定で、illqha1.1やkai4と対局させてみます >>96
> 探索エンジンの違いで勝率が変わると評価値の良さが
> 分からなくなるので制限を設けて計測することにした。
> 途中経過は以下の通り。
> まだ10局なので断言するのは早計かもしれないが、Kai4
> よりillqha2の方が評価値としてノードリミット100万なら優れてそうです。
>
> https://i.imgur.com/xOJzWEj.png
もうやめようと思うが一応まで途中経過報告になります。
Kai4より若干強いかなといった感じです。
https://i.imgur.com/6b4cabC.png
対局数104
Kai4 GW3 L10^6 47勝
illqha2 GW3 L10^6 53勝
引き分け 4
=========================
illqha2からみたレイティング差は20ぐらい
100局 53勝 47敗
勝率: 0.53
標準誤差: 0.050288507734394784
95% 信頼区間 [0.43, 0.62]
相対イロレーティング: 20.87120466602866
標準誤差: 35.070287293772225
95% 信頼区間 [-48.96256003716197, 85.04323715257749] 今度はGW5.0.5 QQRとの対戦を開始しました。
同様にノードリミット100万で対戦するように設定しました。
まだ10局程度ですがKai4との対戦では見られなかった
逆転勝ちが早くも生じています。
60勝40敗ペースを達成しそうですね。
https://i.imgur.com/cRkZ0s0.png NPSかわるしノード固定よりも秒数固定のほうがいい
ヒトが検討するのにも研究するのにも長時間かけるし、コンピューター将棋の大会にしても一手に4000万ノード程度はかけてる
100万ノードの結果貼ってると開発者が失笑する Core i9-9900Kが10月1日って噂
メインストリームも16スレッドになるな。NNUEだとRYZEN2よりNPS出そう。 対局数が最優先
ノード数を増やして結果が変わるかどうかは調べたい奴が調べればいい
もちろん最低300局な フラゲ見てる限り2は長時間は1.1より微妙そうに見える ThreadRipper32コア64スレッド本日発売
25万くらい 相雁木が千日手という結論は個人的には違うのではないかと考えています(キリッ
じゃあお前先手から上手く打開してみろと。 uuunuuunさんは最近自分では計測しない
Rotaさん頼みだけど、対illqha1.1しか計測してない(+有意差出てない)から
さらなるRotaさんの計測結果待ちでしょう 別アカウントで千田さんに絡むことしかしてないあの人も廃スペPC回して計測したら色んな人から尊敬されるのにね なんか他との対局はせずに大体こんな感じですってくらいで終わる空気なのかと思ってしまったわ
ハイスペPC持ってれば計測手伝うんだけどなあ 低スペックPCで計測しているけど、
最低ノード数がどうのこうのいう輩がいるので
恥ずかしくて結果を晒す気がしない 低スペでも時間かけて計測すれば問題なし
10人集まればハイスペにもまさるぞ ノード数は多いほうが価値があるとは思うけど、対局数さえある程度多ければ充分に立派なデータだと思う >>145 >>146
ありがとう。
これまでの計測結果はもう捨ててしまったので、今後がんばる エンジンをdolphin2に固定して対局させてみました
定跡はオフです
illqha2+dolphin2とillqha1.1+dolphin2
203-66-231(ノード5〜600万)
illqha2+dolphin2とkai4+dolphin2
220-49-231(ノード4〜500万)
illqha1.1+dolphin2の組み合わせが意外と良い結果でした
次はillqha1.1+dolphin2をkai4+dolphin2及びGW+QQRと対局させてみます >>142
千田ショーがキレてるのはsuimon=suiseihuman
PVパクってるだけだから出力しないようにすればいいよ
Incineratorのひともキレてたし追放でいいでしょ 千田に絡んでたのはantisuimonだろう。つまり同一人物
複垢での粘着攻撃だし将棋ソフト開発者界隈もなんか対策できないかな? 低スペPCだけど、計測について教えてください。
指し手2秒で1000局(ピーク時ノード数で160万くらい)と、
指し手5秒で400局(ピーク時ノード数750万くらい)では、
どちらに意味があると思いますか?
指し手10秒だと200局(ピーク時ノード数は軽く1000万を超えると思うけど)はやる気は全く起こらない。 自分も400できるなら5秒で
100と40なら前者 >>152 >>553
ありがとう。
最低でも100は対局させるけど、
大まかな目安で以下の条件を満たしたら、
時間の無駄だと思うから対局を打ち切ることにしている
対局数 勝数
100 66以上
200 123以上
300 178以上
400 232以上
500 266以上
:
今は指し手2秒と5秒の結果の違いを調べるために対局させているけど、
結果が大して変わらないのなら、「あくまでも自分の環境」では、
指し手2秒で十分という判断を下すかも。 >>154
すまん。553ではなく、>>153だった。m(_ _;)m >>154
さらに訂正
誤:500 266以上
正:500 286以上
重ね重ねスマン。m(_ _;)m 100局以上で明らかな有意差があるなら打ち切ってもいいよね
他との対局数を揃えたいとかじゃなければ >>157
信頼区間95%で最低勝率が0.5以上が一般的らしいけど(当方は統計学に無知w)
自分は信頼区間99.99%で最低勝率が0.5以上の勝数で判断してる。
ソフトの相性とか、ノード数とかも関係するかもしれんけど、
当方は自分のPC環境で最も強いソフトを探すのが目的で、
計測すること自体が目的ではないので、これでいいのだw ■ このスレッドは過去ログ倉庫に格納されています