【オセロ,将棋】ボードゲーム Part2【囲碁,War】

**名前は開発中のものです。** · 2017/10/15(日) 17:34:58.03

比較的地味なボードゲーム専用のスレが欲しくて立ててみました。

前スレ
【オセロ,将棋】ボードゲーム【囲碁,War】
http://mevius.2ch.net/test/read.cgi/gamedev/1057763418/

**535** · 2019/04/25(木) 23:58:43.25

192勝 212敗勝率 47.5%
棋譜取り、序盤DB更新、DNN更新だけでは50%の壁は突破できないかもな。

**535** · 2019/04/26(金) 20:16:53.04

130勝 195敗勝率40.0%
ん、勝率かなり落ちた。
何が起きた？

**535** · 2019/04/27(土) 23:11:18.27

ん、序盤DB壊れたか？

**535** · 2019/04/27(土) 23:25:35.40

序盤DB外したほうが勝率あがるかも？

**310** · 2019/04/30(火) 03:48:07.73

どもです。
ひたすら記譜作成中に、やっぱり暇なので、記譜管理周りをリニューアルしていたら、
結局記譜ファイルの形式を大きくいじってしまい、かなり全面的なリニューアルに。
そしたら、あちこちバグが出て、結局記譜作成より新作デバッグ優先に（汗

>>809-810
序盤DBは、記譜溜めていくと途中で弱くなるけど、いずれ直ってくるものだと思う。

正しい手順があるとして、１回間違えると、間違えた側が負ける記譜ができる。
負ける事で、その手は選ばれない事が記譜に登録される。

しかし、探索の精度が低い状態で記譜作ると、２回間違える記譜ができて、本来
負けのルートで勝ってしまう。これが記譜に登録されると、この２回目の間違いが
訂正されるまでは勝率が下がる。

どのくらいで直るのかは、直接なのか評価関数経由の間接なのかなど、フィード
バックのかかり方で変わってくる。直接的なら割とすぐに直るはず。

自分のは間接なのでかなり時間がかかりそうで面倒なので、Zebraで２つ目の間違い
箇所を特定して、そこまで着手した後探索をする棋譜を作って、かなり強制的に直し
ちゃった。

序盤は大体良いのだけど、確定値で学習している箇所と、序盤DBで学習している
箇所の境目で、確定値が足りないまま過学習になっている評価値ステージがあって
そこらあたりで大抵間違える（汗

**535** · 2019/05/02(木) 21:41:13.81

天頂の囲碁を使って9路を徹底的に調べたら面白いかも
ま、やらないけどね

**535** · 2019/05/04(土) 19:08:14.82

GWは何もしませんでした(過去形)

**310** · 2019/05/04(土) 22:14:44.08

新作の探索周りを、例のバグ付のやつにしたら、案の定バグ発生。
色々と入れ替えながらバグ発生箇所を特定に成功しました。
が、なぜそこでバグっているのかわかりませんorz
まともに動いたから良しとするしかない感じ。

あと２か所改良したいところがあります。
あと２日では無理だなぁ。

**310** · 2019/05/04(土) 22:17:34.69

と思ったら、またいきなりバグ発生。
原因は複数ありそうですorz

**310** · 2019/05/05(日) 20:55:26.72

原因判明。アホなミスでした。
やっぱり当初の置換表に変なデータが登録されているのが正解だった。

残した課題のうち１つもできた。

**310** · 2019/05/05(日) 23:26:28.04

最後の課題は、学習の速度アップを目論みましたが、まったくダメでしたorz

さて、何をしよう。

**535** · 2019/05/06(月) 19:55:01.10

長連対策そろそろしなければ…

**535** · 2019/05/06(月) 20:33:01.71

序盤DBがおかしくなってたので、序盤DBの手の採用基準をもとに戻しました。
あと中盤終盤でDNNの値の比重を大きくしました。

**535** · 2019/05/07(火) 22:40:16.02

59勝 62敗勝率48.8%
なんとか勝率50%弱まで戻せました。

**535** · 2019/05/08(水) 21:43:00.75

来たっ
262勝 248敗勝率51.4%
誤差の範囲かもしれないけど嬉しいっ

**535** · 2019/05/08(水) 21:52:12.23

そろそろ白番も着手していくか、もうちょっと黒番を突き詰めるか。
悩ましいい。

**535** · 2019/05/09(木) 20:06:42.08

ありゃ、わずかな棋譜を序盤DBに加えただけなのに勝率めっちゃさがった
149勝 202敗勝率 42.5%

そんなに微妙なものではないと思ってたが？？

**535** · 2019/05/09(木) 20:28:40.86

棋譜さらっと見てみたけど序盤DBが壊れたって感じでもないなぁ
実は微妙なものだったのか、誤差の範囲なのか？

**535** · 2019/05/09(木) 22:32:58.01

なんか誤差の可能性が微レ存

**535** · 2019/05/10(金) 21:38:12.73

163勝 202敗勝率44.7%
±5%くらいは誤差ででるのかもしれないなぁ

**535** · 2019/05/10(金) 21:42:26.07

こんな時統計の知識があれば真の勝率は○○%～××%の間とか論じられるんだろうなぁ

**535** · 2019/05/11(土) 11:49:39.90

うお、すげぇ

179勝 149敗勝率54.6%

この数字をどう解釈すればいいのか…

**535** · 2019/05/11(土) 17:43:16.57

まだ勝ってる。
222勝 194敗勝率53.4%

そろそろ棋譜反映させるか。

**535** · 2019/05/11(土) 22:40:54.90

長連対策、完全じゃないけど簡単な判定入れてみた。
さてどうかな？

**535** · 2019/05/12(日) 10:03:08.61

かなりいい
対LV2 白番はもうちょっと勝ちたいかな

対LV1
黒番　61勝 9敗勝率87.1%
白番 49勝 4敗勝率92.5%

対LV2
黒番　57勝 0敗勝率100.0%
白番 10勝 28敗勝率26.3%

対LV3
黒番　25勝 16敗勝率61.0%
白番 13勝 28敗勝率31.7%

**535** · 2019/05/12(日) 18:17:47.41

ふむ。かなりいい。
一回止めるか。

対LV1
黒番 90勝 10敗勝率90.0%
白番 64勝 6 敗勝率91.4%

対LV2
黒番 78勝 0敗勝率100.0%
白番 14勝 33敗勝率29.8%

対LV3
黒番 39勝 23敗勝率62.9%
白番 19勝 40敗勝率32.2%

**535** · 2019/05/12(日) 18:46:46.62

ここらでドカンとブレークスルーが欲しいところだ。

**535** · 2019/05/13(月) 20:57:06.68

お、すごい
249勝 204敗勝率55.0%

**535** · 2019/05/13(月) 21:55:46.89

LV3 vs LV3の黒番の勝率が65%くらいだったはずだから、黒番で勝率70%位いけばLV3越えといえるかも

**535** · 2019/05/13(月) 23:06:54.58

地味な学習も必要だとは思うけどアイディア一発でドカンと強くなるのも諦めきれない。

**535** · 2019/05/14(火) 21:30:20.81

ん、なんかDNN学習させたらうち筋はそんなに悪くなってないと思うんだけど勝てなくなったな。
なんだろう？

**535** · 2019/05/15(水) 21:00:42.40

173勝 176敗勝率 49.6%
対戦してみたけど思ったほど負けてないな？

**535** · 2019/05/15(水) 21:22:39.79

初期アルファ碁のようにポリシーネットとバリューネットに分けてみるか？

**535** · 2019/05/15(水) 21:35:41.77

そこそこの精度でも軽い評価関数は結構ほしいかも。
モンテカルロで役に立つし。

**535** · 2019/05/15(水) 22:07:54.43

というわけで、今使ってるDNNより大幅に簡素化したネットワークで学習させてみる。
データは同じ。

**535** · 2019/05/15(水) 22:45:22.49

あれ、大幅に簡素化したのに学習時間が思ったより短くならないな。
10倍速くらい早くなると思ってたのに3倍速くらいだ。

**535** · 2019/05/15(水) 23:06:58.43

更に簡素化して10倍速くらいにしました。
ちょっと簡素化しすぎかも？

**310** · 2019/05/15(水) 23:27:46.15

新バージョンで色々プログラム見直し。
探索部は全く改善していませんが、その他の部分が大幅にスピードアップ。
自動記譜作成時のオーバーヘッド（探索以外の時間）がかなり減った。

あとは学習の時間を減らしたい。

**535** · 2019/05/16(木) 19:50:22.50

大きい方のネットワークの損失が3500位なのに対して小さい方のネットワークの損失が5300位。
さて、使い物になるかな？

**535** · 2019/05/16(木) 20:26:43.20

うおお，遅え!
モンテカルロに使おうと思ったらプレイアウト回数かなり減らさなきゃだめだな。

**535** · 2019/05/16(木) 20:40:14.63

一回打ってみたけど打ち筋は決して悪くない。
だが激遅。
だかが300プレイアウトでここまで遅いとは…

**535** · 2019/05/16(木) 20:49:50.51

ん、でも打ち筋がいい。
ブレークスルー来たか？？

**535** · 2019/05/16(木) 21:05:06.63

すごいな、こちらの打ち筋は相当改善されたのにLV3がその上を行ってくる。
奥が深い。

**535** · 2019/05/16(木) 22:04:27.02

ん、まだ学習飽和してないみたい。
ジリジリ損失減ってる。

**535** · 2019/05/16(木) 22:42:50.95

LV1と対戦させ始めてみたけど、かえって勝率落ちてるな？
まだ対戦回数少なすぎて結論出すのは早いけど、もっと50連勝くらいするかと思った。

対LV1
黒番 17勝 3敗勝率85.0%
白番 13勝 3敗勝率81.3%

**535** · 2019/05/17(金) 21:14:13.13

勝率上がってるみたいです。やった！

対LV1
黒番 156勝 15敗勝率91.2%
白番 109勝 8敗　勝率93.2%

**535** · 2019/05/17(金) 21:17:20.41

小さいネットワークの損失も5180くらいまで減ってます！
次は本丸、LV3と決戦や！

**535** · 2019/05/17(金) 22:31:13.53

対LV3 黒番
47勝 34敗勝率58.0%

ふーむ、まあ悪くないけど、正直もっと期待していたｗ
400～500戦くらいはしないとまだ結論は早いけど。

**535** · 2019/05/18(土) 01:00:18.55

ほほう、6割行った。
120勝 80敗勝率60.0%

**535** · 2019/05/18(土) 16:28:24.45

291勝 231敗勝率55.7%
ふーむ、まあ悪くないけど。
最終的には対LV3黒番勝率 70% を目指したい。

**535** · 2019/05/18(土) 21:21:56.33

そういえば、勝率ばかり気にして肝心の棋譜をあまり見てなかったな。
どんな負け方してるのかちゃんと把握せねば。

**535** · 2019/05/18(土) 22:11:34.39

ふーむ、必敗を避けるルーチンに若干バグがあるな。

**535** · 2019/05/19(日) 07:21:38.98

GPU使いたいなぁ。
せっかくいいの買ったんだから。

**535** · 2019/05/19(日) 07:52:25.50

ライフゲーム囲碁も平行で開発しようかなぁ。
アルファゼロアルゴリズムが心のどこかで捨てきれない。

**535** · 2019/05/19(日) 13:54:34.49

ライフゲーム囲碁　コード書き始めました。
ルール実装が結構効率的な奴思い付いて、1000万プレイアウト/s位出ました。

並行でやるっつっても計算資源が問題だなぁ。

囲連星はアイディアないしちょっとお休みかなぁ。

**535** · 2019/05/19(日) 17:10:04.89

GUIがないと不便だなぁ。うーん。

**535** · 2019/05/21(火) 00:59:34.87

うお、ついに人間（俺）に勝った！
内容的にも文句ない勝ち方だ！

(;SZ[19]
;B[jj];W[ji];B[ii];W[ih];B[ki];W[jh];B[kk];W[kh]
;B[lj];W[ij];B[hi];W[hk];B[hh];W[lg];B[gl];W[mg]
;B[gg];W[ff];B[gk];W[gj];B[ll];W[mm];B[fj];W[fi]
;B[gi];W[hj];B[hl];W[jk];B[ik];W[hj];B[gj];W[gf]
;B[gm];W[gh];B[fn];W[fh];B[lh])

**535** · 2019/05/21(火) 01:06:56.53

ここまでくると囲連星はいったん公開してもいいかもな。
本当は白黒総合勝率でLV3に勝ってからが理想なんだけど。
あとDBのファイルサイズでかいんだよなぁ。

**535** · 2019/05/21(火) 23:53:55.55

現状の囲連星のAIを公開します。
ちなみに対LV2黒番必勝ではなくなってしまっているようです。
あと思考時間かなり長いです。

https://drive.google.com/file/d/1M86qczNQQScvkH-ZMyZVAlDvJ-K0OlVc/view?usp=sharing

**535** · 2019/05/23(木) 20:03:18.47

反応がなくて寂しい。。。
まあもともと過疎スレだからしかたないか。

**310** · 2019/05/25(土) 01:28:48.60

すんまそん。
ダウンロードしたけど、記譜作成中なので、CPU食いたくなくて（汗

**535** · 2019/05/25(土) 21:14:03.65

囲碁ディープラーニングプログラミングという本があったので買ってみた

**535** · 2019/05/25(土) 22:41:49.53

このサイトも面白そう
https://medium.com/applied-data-science/how-to-build-your-own-alphazero-ai-using-python-and-keras-7f664945c188

**535** · 2019/05/25(土) 22:44:29.26

C#からC++を呼び出すの結構難しい。
マネージドコードとアンマネージドコードがどうたらとか、、、

**535** · 2019/05/27(月) 14:54:14.96

AMD Ryzen 3900来た

**535** · 2019/05/27(月) 17:52:37.02

囲碁ディープラーニングプログラム読んでるけどすっごい目が滑る
でも12章のactor critics法というのが面白そうで頑張って読みたい

**535** · 2019/06/01(土) 23:30:05.61

俺のマザーボードRyzen3000シリーズに対応しないらしいorz
ショック

**535** · 2019/06/02(日) 18:07:27.02

はぁ～だめだあぁ
目が滑る
頭に入ってこない

**535** · 2019/06/02(日) 21:33:07.07

うお、betago(>>868の本のプログラム)動いた。
そして意外と強い。

**535** · 2019/06/02(日) 21:38:17.03

ん、終局の仕方がわからん。
終局は実装されてないのかな？

**名前は開発中のものです。** · 2019/06/02(日) 21:42:02.90

いまからやってみるか

**310** · 2019/06/04(火) 01:18:15.20

強化学習本興味あります。
棋譜作成がいまいち上手く行っていないので。

**535** · 2019/06/04(火) 21:25:33.03

くそう、時間が欲しい。
金さえあればニートになるのにｗｗ

**535** · 2019/06/05(水) 21:45:28.39

これから仕事が忙しくなりそうな予感。
まあさすがに土日は休めるだろうけど。

**535** · 2019/06/08(土) 18:42:48.95

うおお、目が滑りまくりorz
一日無駄になったorz

**535** · 2019/06/08(土) 21:38:02.44

目が滑るのは取り組み方が間違ってる証拠。

**名前は開発中のものです。** · 2019/06/10(月) 12:52:10.55

囲碁は完全に人工知能に負け人間が追いつくことはないとおもうが。
これや将棋は微妙な線で、人間に勝ち目あるかもしれん。
囲碁より勝ち方、有利のさせ方が分かりやすい差。
人工知能なしの人間技で、人工知能に勝てる方法あるんじゃないかと。

**名前は開発中のものです。** · 2019/06/10(月) 17:27:02.16

大人も子供も白熱！最新ゲーム「ノッカノッカ」が面白い
https://ima.goo.ne.jp/column/article/5290.html
ビビットカラーを使ったポップなデザインの二人用ボードゲーム「ガブル」
http://boardgame-kikou.blog.jp/archives/9311305.html
LOGY GAMES ボードゲームカタログ
http://www.logygames.com/index.html#catalogue
オシャレで簡単、だけど深いボードゲーム
http://sweetint.com/ic/tinttile-game
コンポーネントに酔いしれて、戦略にゆったり溺れる「箱庭の国」
http://sake.saloon.jp/dojin_miniaturized-world/
『すずめ雀』初心者でも本格的な駆け引きを楽しめるミニマル麻雀ゲームが登場
https://www.inside-games.jp/article/2018/05/02/114450.html
エクストリーム将棋の企画から販売まで
https://nakagawa-hands.com/digital-fabrication/ex-shogi_a2z/

**535** · 2019/06/11(火) 18:15:44.55

「来た！」「16コア来た！」「メイン16コア来た！」「これで勝つる！」

**535** · 2019/06/11(火) 22:20:28.87

囲碁ディープラーニングプログラミング相変わらず目が滑ってるんだけど、
しつこく食らいついてたらすこしずつ目が滑らなくなってきてる。
何とかものにしたい。

**535** · 2019/06/12(水) 19:47:45.91

githubのリポジトリbetagoとは別に囲碁ディープラーニングプログラミング用のやつがあんのか！
気が付かなかったぜ！
これで勝つる！

**535** · 2019/06/13(木) 21:23:37.11

囲碁ディープラーニングプログラミングのgithubのコードいいかも。
マルチスレッドにも対応してるっぽいし。
これはかなり期待できる。

**535** · 2019/06/13(木) 21:36:37.70

GPUが使えてないみたいだな。
tensorflow-gpuうまく入ってないみたいだ。

**535** · 2019/06/13(木) 21:38:46.69

それにしてもZen2 スリッパが欲しい。
16C32Tじゃ足りない。
64C128Tが欲しいｗｗ

**535** · 2019/06/14(金) 21:40:47.35

ん、27000回学習を回した時点から過去のAIに対する勝率が10%～30%位しか行かなくなったみたい。
なぜ？
こんなことってあるのか？

**535** · 2019/06/14(金) 22:09:53.32

ん、学習したネットワークと対戦する方法がわからんなぁ。
web_demo.pyあたりで行けそうな気もするが…

**535** · 2019/06/15(土) 17:55:00.43

human_v_bot.pyというのでランダムAIと対戦できるようなので、これをちょっといじれば自作AIと対戦できそう。

**535** · 2019/06/15(土) 19:41:51.27

ヤバイ、待ってる時間がじれったい。
やはり zen2 スレッドリッパー買うしか…

**535** · 2019/06/15(土) 21:21:58.56

LifeGameGoのルールを早く移植したいけど、もうちょっとgithubコードの感触つかんでからかな。

**535** · 2019/06/15(土) 22:03:51.50

ふーむ、まじで>>891の状態から抜け出せないな。
ネットワークが小さすぎるんだろうか？

**535** · 2019/06/16(日) 19:35:53.70

あかんな、遅すぎる。
うーん。アルファゼロに幻想持ちすぎかも知れんな。

**535** · 2019/06/16(日) 20:37:51.38

囲碁よりもシンプルなLifeGameGoならもっと速く学習できるという可能背もありますが…
とりあえず、GPUを使えるように頑張るのが先かなぁ？

**310** · 2019/06/17(月) 17:09:51.93

Surface Pro2の液晶が割れたorz
仕事で使うPCなので慌ててPro6の発注をかけました。
一応コア数２倍の４コア８スレッド、メモリーも１６Gになる予定。
そろそろスピードの限界を感じていたので、痛しかゆしなところ。

ようやくIntelの呪縛から解放されるAVX2対応のCPUがAMDから出るというのに、
専用新型PCが遠のきました。

どのくらいスピードアップするかなぁ…。

**535** · 2019/06/17(月) 19:55:14.11

仕事で使うpcが自腹なんかよ？
乙です

**535** · 2019/06/21(金) 20:05:05.51

なんかちょっとモチベが落ちてます。
せっかく週末なのになぁ。

**535** · 2019/06/22(土) 20:40:40.51

あああああ、だめだ完全に気持ちがしぼんでしまった。

**535** · 2019/06/23(日) 23:02:35.16

つかやっぱpythonはちょっと厳しいんだよなぁ…

**310** · 2019/06/25(火) 22:00:54.87

あ、会社のPCです。流石に性能２倍なので、買うモチベーションが下がったのです。

現在液晶の表面パネルバキバキで、タブレット機能止めて、
セロテープで補強してだましだまし使ってますが、発熱によって
内部が歪んじゃっているみたいで、通常状態でも液晶が湾曲してます。

で、将棋の探索の深さが意味不明だったので、色々考えていましたが、
なんとなく想像がついてきました。多腕バンディット使って、反復深化と
絞り込みを行っているのではないかと思います。

現状中盤探索の速度がいまいち遅く、シングルプローブカットすると
何故かさらに遅くなるという状態。棋譜作成メインだったので、あまり
気にしていなかったのですが、新しいPC来たらちょっとトライしてみよう
かなと思っています。

**310** · 2019/06/28(金) 22:23:55.68

新PCセットアップ中。

前回思いついた中盤探索ロジック。具体的に実装を考え始めたら、
MCTSでいいじゃんということに（汗

これからVisual Studioのダウンロードです。

**名前は開発中のものです。** · 2019/06/29(土) 09:41:43.34

セットアップ完了して、開発環境の移行も終わりました。
VS2017→VS2019でエラーチェックが厳格化したものがあったようで、ソース修正。
Win8→Win10でコマンドプロンプトがなんか変わって、CTRL-Sの動作がよくわからない。
などなど、細かい点はいくつかありますが、速度的には思いのほか効果が出ていて、
ほぼ倍速くらいな感じです。並列のオーバーヘッド増加分を、クロック他CPU単体の
パフォーマンスアップで吸収していると思われます。

**310** · 2019/06/29(土) 09:42:10.63

↑は僕です。