【オセロ,将棋】ボードゲーム Part2【囲碁,War】

**名前は開発中のものです。** · 2017/10/15(日) 17:34:58.03

比較的地味なボードゲーム専用のスレが欲しくて立ててみました。

前スレ
【オセロ,将棋】ボードゲーム【囲碁,War】
http://mevius.2ch.net/test/read.cgi/gamedev/1057763418/

**535** · 2019/03/18(月) 21:37:35.02

禁断のモンテカルロ木探索の封印を解くか？
しかしあれは計算時間が半端ないからな。
出来れば避けたい。

**535** · 2019/03/18(月) 21:52:51.93

プロのタイトル戦が7番勝負とかだけど7番ぽっちじゃ真の強者はわからんってことやなｗ

**535** · 2019/03/18(月) 23:53:39.58

モンテカルロ実装したけど、なんか素朴な手を選ぶようになってしまった。
うーん、コレジャナイ感がorz

**535** · 2019/03/19(火) 21:06:00.35

なんかおかしい。
LV3が強すぎる気がするｗ
もしかしてLV3には学習機能がついていて計算回せば回すほど強くなるとか？ｗ
んなわけないか。

**535** · 2019/03/21(木) 03:04:06.19

祝日だって油断してたらこんな時間ｗ
弱くなってもいいから計算量削る方向で調整しています。

**535** · 2019/03/21(木) 17:29:13.47

対戦統計とってます。

66勝 70敗　勝率48.5%

今のところむしろ勝率上がってます！
速度も若干だけど速くなったはず…

勝率50%が欲しい！

**535** · 2019/03/22(金) 19:55:26.77

161勝188敗　勝率 46.1%

悪くない。

**535** · 2019/03/22(金) 20:13:46.91

次のアイディアが欲しいところだ

**310** · 2019/03/23(土) 00:07:59.98

久々です。

新型版はテストのためにいちいち学習を止めるのが面倒で、放置しています。
一晩耐久テストやらないとわからないので。

で、未だずーっと棋譜作成＆学習を続けています。
もともと８００件強の記譜をベースに間違い訂正をしたり、確定しているところ以降
の全分岐を作成したりして学習データにしていたのですが、昔作った記譜なので
序盤で結構間違いが多く、効率よく学習できないのではないかと考えました。

で、最近は序盤の定石６～２０手からスタートして記譜を作成したりしていました。
そこそこ序盤の間違いが訂正されてきたのですが、まだところどころおかしい
ところがあって、Zebraで並べてみながら、多分間違えたであろう箇所を特定して
それ以後の記譜を作らせる事で、強制的に正しい手順に戻すなんていう、禁断の
ドーピング技を始めてしまいました。

現在は１２００記譜くらいまで増えていますが、まだまだ間違いも散見されますし、
パブリックドローの変化っぽいのに、記譜が無いものもあり、まだまだ記譜が足り
ていない感じです。

あと、ドーピング作業やりながらZebraの評価値見ていると、２０～３０手目あたりは
進行の種類によってはZebraの評価値もあまりあてにならないなぁと言う事に気付い
てしまいました。ここら辺の精度を上げると、もっと強くできるのではないかと思います。
自動対戦してくれる序盤DB付きのオセロプログラムがあると、ドーピング作業が更に
楽になるんだけど（汗

現在残り２０手目以後の学習に使う盤面は７０万件くらいになっています。それでも
残り２０手以後の初見の盤面の評価値では結構な誤差があります。本当にBuroさん
の線形評価関数で良いのかというのも相変わらず悩ましいところです。

**535** · 2019/03/23(土) 09:44:42.00

197勝 233敗勝率 45.8%

悪くない。

一旦対局中断します。

**535** · 2019/03/23(土) 17:57:32.40

やっぱ1手1秒くらいで打ちたいなぁ。
そうすれば対戦統計も棋譜も全然もっと取れるのに

**535** · 2019/03/23(土) 21:04:03.52

LV2と対戦してみました。
50局目　黒(airandom.dll)の勝利回数: 48　白(ai-lv2.dll)の勝利回数: 2
勝率 96%

**535** · 2019/03/24(日) 10:11:30.45

LV1ともやってみました。
50局目　黒(airandom.dll)の勝利回数: 45　白(ai-lv1.dll)の勝利回数: 5
勝率 90%

**535** · 2019/03/24(日) 21:21:09.27

ふーむ、損失が減らない地点まで学習が進んでしまったようです。
一回止めるか。

**535** · 2019/03/24(日) 21:27:42.78

うーん、やっぱ現状を打破する画期的なアイディアが必要かな。
ちなみにいまは強さよりも速度が欲しいかも。

**535** · 2019/03/25(月) 05:48:57.06

対戦してます。

黒番　対 LV3　107勝 102敗勝率 51.2%

200戦以上して勝率50%超えはすごい！
今日一日回してみます。

**535** · 2019/03/25(月) 21:18:02.28

結局負け越しでした

165勝 174敗勝率48.7%

でも決して悪い結果ではない！

**535** · 2019/03/26(火) 21:11:49.41

まだ回してました

239勝 237敗勝率 50.2%

キター！

まあ、今だと50%行くかどうかはホント運しだいなんだろな。

**535** · 2019/03/26(火) 21:12:45.47

そろそろ対局止めて次の学習のターンに入ります。

**535** · 2019/03/26(火) 21:59:22.07

うお、棋譜が多すぎてls */*.sgfがコアダンプするようになったｗ
分割しないと駄目か～

**535** · 2019/03/27(水) 21:35:10.22

そろそろ人間（俺）相手に勝利が欲しいところだがまだむずかしいかな。
素人相手なら勝てるんだろうか？

**535** · 2019/03/28(木) 19:32:56.94

165勝 176敗勝率 48.4%

**310** · 2019/03/30(土) 20:46:31.09

既知のパブリックドローのリストが見つかったというか、
今年になってブログでまとめて発表してくれている人がいた。

ちょうど良いタイミングすぎる（汗

２種類あるのと、自分がZebraから拾った奴を合体して、３２手目まででカット。
ソートして重複削除したら４５０件程度に。多分既存の記譜と多少重複してると思う。

全部やるとかなり記譜が偏る気がするけど、やっちゃうかな。

**535** · 2019/03/30(土) 23:47:00.24

序盤DBを劇的に改善する方法ないかな？
不利なオープニングを避けるだけで勝率めちゃくちゃ上がりそうな予感がするんだが。

**310** · 2019/03/31(日) 01:39:32.24

棋譜から序盤DB作れない？

**535** · 2019/03/31(日) 09:41:09.06

作ってるですがそれでも不利な局面になったりしますorz

**310** · 2019/03/31(日) 20:14:25.76

棋譜から序盤DB作る時に、その盤面からの勝率入れて、勝率が高い手を指す
ようにするとか。まあ、ぶっちゃけ記譜単位でmctsやってるような事になるの。

**535** · 2019/03/31(日) 20:34:17.11

いや、それに近いイメージのものはすでに実装してあるんですが、たまに変な手を打つのです。

**310** · 2019/04/01(月) 20:17:52.98

普通DB化すると同じ手順だと毎回同じに間違えるはず。
だとするなら、DBの棋譜をテキストに吐き出すなどして、チェックしたら？

間違いっぽい分岐見つけたら、正解着手させてその後を対戦させて記譜を
強制的に正しい分岐を学習させるの。そのあとでも間違えて、なかなか治らない
事もあるけど。

これが>>760で書いたドーピング。

**310** · 2019/04/01(月) 20:22:42.07

>>774のリスト。パブリックドローはFJT分だけだった。
２種類あって、もう一つは代表的な序盤定石から適度に着手した後で、
残り３０手を読み切ったリストで、ドローとは限らなかった。

遡りチェックの時にあり得ない奴があったので、気が付いた。

試しにZebraで並べて評価値見てみたら、中盤で結構変な手順になっていたりする。
まあ記譜の足しにはなるかなぁという感じ。

**535** · 2019/04/01(月) 22:13:58.23

手動でDB書き換えるのは工数的に地獄の苦しみなのですｗ
まあ、負けた棋譜だけ水増ししてDBに登録するのはあるかも？

**535** · 2019/04/01(月) 23:15:44.55

自動対局プログラムに手を入れて棋譜のファイル名に黒が勝ったか白が勝ったか入れるようにしました。

**535** · 2019/04/02(火) 20:42:13.63

やっぱ手動で棋譜を訂正するのはムリゲーだなぁ。
棋譜訂正も自動化すべきかな。
うーん

**310** · 2019/04/02(火) 20:42:16.77

そうか。オセロだとある程度定石はあるし、ZebraやEdaxで並べれば
終局スコアの予想はできて、間違いが見つけやすいけど、囲連星では
そうはいかないですね。

途中で変な手を打つのは、恐らく記譜が足りていないからではないかと
思います。オセロでもドーピングやらないで純粋に自己対局学習だけで
やった場合、１万～１０万対局くらいは必要かなと思っています。

**535** · 2019/04/02(火) 22:11:14.64

勝った棋譜水増しするのと負けた棋譜水増しするのどっちがいいんだろ？
おんなじ割合で水増ししたら意味ないかもｗ

とりあえず負けたほう増やすか

**535** · 2019/04/03(水) 22:07:38.48

とりえあず、負けた棋譜を100倍にして序盤DBに注入してます。
定型パターンにはまりやすいLV2にはかなり効果あるのですが
変幻自在なLV3には今一つみたいです。

**535** · 2019/04/04(木) 20:30:39.10

負けた棋譜だけ増やすとバランス崩れるかも？と思い始めました。
うーん。

**535** · 2019/04/04(木) 22:06:44.84

やはり大量、多種類の棋譜が欲しい。
棋力が下がっても計算量を抑えて、速度を稼ぐ方向で行くべきか？

**535** · 2019/04/04(木) 22:52:58.55

2手読みだったところを1手読みにしたら大分早くなったけど、やっぱ棋力は落ちるな。
これはちょっと採用するか迷う。

**535** · 2019/04/05(金) 22:13:28.38

ん、なんか白番が絶望的に負けてる。
なんか評価値の計算まちがえたか？

**535** · 2019/04/05(金) 22:26:12.15

それとも棋譜水増しで入れた序盤DBが狂ったのかな？

**535** · 2019/04/06(土) 00:52:52.21

白番で、相手が初手端のほうに打ってきたときに、盤が狭くなって序盤DBどおりに打つのが悪くなるみたい？

とりあえず、白番持った時に相手が初手天元付近に打たなかったときは、中央寄りの斜めに打つように変えた。
これで少しでも緩和されるといいな。

**535** · 2019/04/06(土) 01:11:14.50

水増しした分の棋譜はいったん削りました。
確率の理論を根底から壊してしまうみたいなので。
やっぱ遅いようでもじっくり行くのが確実っぽい。

**535** · 2019/04/10(水) 20:58:12.46

今、極端な水増しはやめてほどほどの水増しにしてます。
新しい棋譜が古い棋譜の１～2%程度になるくらいに水増ししてます。

**310** · 2019/04/10(水) 23:44:48.34

どんより…
バグを見つけてしまった。

今ある記譜５０万件の数％くらいに間違いがありそう。
直管的には、全データに対して読み切り処理を噛まさないと間違いの有無すら確認できない。
多分、逆順探索処理を簡素化した時にバグが入り込んだのだと思う。
暇なのでログ書き出しの処理を作ってたら見つかった。

うぐぐ。

もうしばらく様子を確認して、他にもバグが無いか見た上で…どうしよう。
一旦記譜をリセットして作り直すべか。

**310** · 2019/04/10(水) 23:48:12.99

と、書いた直後に気が付いた。
ログの側のバグだった事に…

お騒がせ様でした。

**535** · 2019/04/15(月) 23:21:56.01

いままで8対称中4対称で学習してましたが、のこりの4対称も学習させてみることにしました。
8対称すべてはメモリに収まらないので半分づつ学習させます。

**535** · 2019/04/16(火) 20:45:49.68

178勝192敗勝率 48.1%
8対称、勝率あんまり上がらないですね。
うーん、うち筋は悪くないと思うんだけど。
なにかブレークスルーが欲しいですね。

**535** · 2019/04/16(火) 21:15:27.46

2手読みに戻したら勝率上がるかな？
うーん。

**535** · 2019/04/16(火) 22:50:30.94

まじでZen2スリッパ欲しい。

**535** · 2019/04/17(水) 20:33:59.36

154勝178敗　勝率46.4%
2手読みに戻したらかえって勝率さがりましたね。
誤差の範囲かもわかんないですが。

**535** · 2019/04/18(木) 22:39:13.48

お、素晴らしい勝ち方した。
必勝形のダブルリーチ
これほど少ない石数でこの形を作れるとは…

(;SZ[19]
;B[jj];W[kj];B[jk];W[li];B[ji];W[lh];B[kl];W[jm]
;B[ih];W[lk];B[ig];W[jf];B[il];W[ik];B[hk];W[if]
;B[im];W[ij];B[hj];W[lg];B[ii];W[in];B[ik];W[jn]
;B[ij])

**535** · 2019/04/19(金) 21:34:26.27

ふーむ、いままで勝率のいい手かつ沢山選ばれた手を優先的に選択するように序盤DB周りを組んでいたのだけど、
それだと手が固定されてしまうかなと思って勝率のいい手かつあまり選ばれてない手を優先的に選ぶようにしたら

147勝 220敗勝率40.1%

これは誤差とは言えないほどの差ですねぇ。

**535** · 2019/04/23(火) 20:49:51.89

205勝 246敗勝率45.5%
棋譜取り＆序盤DBへの取り込みを継続したら少し勝率戻りました。
50%付近まで頑張ろう。

**535** · 2019/04/24(水) 19:17:49.68

なかなかの快勝だった
こういう風に毎回打てるといいんだけど

(;SZ[19]
;B[jj];W[ij];B[ki];W[ii];B[ik];W[ih];B[jh];W[ji]
;B[kj];W[jg];B[kh];W[if];B[hj];W[ig];B[lk];W[jk]
;B[jl];W[hk];B[kk];W[km];B[hl];W[gk];B[gm];W[fn]
;B[kg];W[kf];B[lf];W[mg];B[lg];W[gi];B[le];W[lh]
;B[mh];W[mi];B[li];W[ie];B[id];W[md];B[lh];W[nd]
;B[lj])

**535** · 2019/04/25(木) 23:58:43.25

192勝 212敗勝率 47.5%
棋譜取り、序盤DB更新、DNN更新だけでは50%の壁は突破できないかもな。

**535** · 2019/04/26(金) 20:16:53.04

130勝 195敗勝率40.0%
ん、勝率かなり落ちた。
何が起きた？

**535** · 2019/04/27(土) 23:11:18.27

ん、序盤DB壊れたか？

**535** · 2019/04/27(土) 23:25:35.40

序盤DB外したほうが勝率あがるかも？

**310** · 2019/04/30(火) 03:48:07.73

どもです。
ひたすら記譜作成中に、やっぱり暇なので、記譜管理周りをリニューアルしていたら、
結局記譜ファイルの形式を大きくいじってしまい、かなり全面的なリニューアルに。
そしたら、あちこちバグが出て、結局記譜作成より新作デバッグ優先に（汗

>>809-810
序盤DBは、記譜溜めていくと途中で弱くなるけど、いずれ直ってくるものだと思う。

正しい手順があるとして、１回間違えると、間違えた側が負ける記譜ができる。
負ける事で、その手は選ばれない事が記譜に登録される。

しかし、探索の精度が低い状態で記譜作ると、２回間違える記譜ができて、本来
負けのルートで勝ってしまう。これが記譜に登録されると、この２回目の間違いが
訂正されるまでは勝率が下がる。

どのくらいで直るのかは、直接なのか評価関数経由の間接なのかなど、フィード
バックのかかり方で変わってくる。直接的なら割とすぐに直るはず。

自分のは間接なのでかなり時間がかかりそうで面倒なので、Zebraで２つ目の間違い
箇所を特定して、そこまで着手した後探索をする棋譜を作って、かなり強制的に直し
ちゃった。

序盤は大体良いのだけど、確定値で学習している箇所と、序盤DBで学習している
箇所の境目で、確定値が足りないまま過学習になっている評価値ステージがあって
そこらあたりで大抵間違える（汗

**535** · 2019/05/02(木) 21:41:13.81

天頂の囲碁を使って9路を徹底的に調べたら面白いかも
ま、やらないけどね

**535** · 2019/05/04(土) 19:08:14.82

GWは何もしませんでした(過去形)

**310** · 2019/05/04(土) 22:14:44.08

新作の探索周りを、例のバグ付のやつにしたら、案の定バグ発生。
色々と入れ替えながらバグ発生箇所を特定に成功しました。
が、なぜそこでバグっているのかわかりませんorz
まともに動いたから良しとするしかない感じ。

あと２か所改良したいところがあります。
あと２日では無理だなぁ。

**310** · 2019/05/04(土) 22:17:34.69

と思ったら、またいきなりバグ発生。
原因は複数ありそうですorz

**310** · 2019/05/05(日) 20:55:26.72

原因判明。アホなミスでした。
やっぱり当初の置換表に変なデータが登録されているのが正解だった。

残した課題のうち１つもできた。

**310** · 2019/05/05(日) 23:26:28.04

最後の課題は、学習の速度アップを目論みましたが、まったくダメでしたorz

さて、何をしよう。

**535** · 2019/05/06(月) 19:55:01.10

長連対策そろそろしなければ…

**535** · 2019/05/06(月) 20:33:01.71

序盤DBがおかしくなってたので、序盤DBの手の採用基準をもとに戻しました。
あと中盤終盤でDNNの値の比重を大きくしました。

**535** · 2019/05/07(火) 22:40:16.02

59勝 62敗勝率48.8%
なんとか勝率50%弱まで戻せました。

**535** · 2019/05/08(水) 21:43:00.75

来たっ
262勝 248敗勝率51.4%
誤差の範囲かもしれないけど嬉しいっ

**535** · 2019/05/08(水) 21:52:12.23

そろそろ白番も着手していくか、もうちょっと黒番を突き詰めるか。
悩ましいい。

**535** · 2019/05/09(木) 20:06:42.08

ありゃ、わずかな棋譜を序盤DBに加えただけなのに勝率めっちゃさがった
149勝 202敗勝率 42.5%

そんなに微妙なものではないと思ってたが？？

**535** · 2019/05/09(木) 20:28:40.86

棋譜さらっと見てみたけど序盤DBが壊れたって感じでもないなぁ
実は微妙なものだったのか、誤差の範囲なのか？

**535** · 2019/05/09(木) 22:32:58.01

なんか誤差の可能性が微レ存

**535** · 2019/05/10(金) 21:38:12.73

163勝 202敗勝率44.7%
±5%くらいは誤差ででるのかもしれないなぁ

**535** · 2019/05/10(金) 21:42:26.07

こんな時統計の知識があれば真の勝率は○○%～××%の間とか論じられるんだろうなぁ

**535** · 2019/05/11(土) 11:49:39.90

うお、すげぇ

179勝 149敗勝率54.6%

この数字をどう解釈すればいいのか…

**535** · 2019/05/11(土) 17:43:16.57

まだ勝ってる。
222勝 194敗勝率53.4%

そろそろ棋譜反映させるか。

**535** · 2019/05/11(土) 22:40:54.90

長連対策、完全じゃないけど簡単な判定入れてみた。
さてどうかな？

**535** · 2019/05/12(日) 10:03:08.61

かなりいい
対LV2 白番はもうちょっと勝ちたいかな

対LV1
黒番　61勝 9敗勝率87.1%
白番 49勝 4敗勝率92.5%

対LV2
黒番　57勝 0敗勝率100.0%
白番 10勝 28敗勝率26.3%

対LV3
黒番　25勝 16敗勝率61.0%
白番 13勝 28敗勝率31.7%

**535** · 2019/05/12(日) 18:17:47.41

ふむ。かなりいい。
一回止めるか。

対LV1
黒番 90勝 10敗勝率90.0%
白番 64勝 6 敗勝率91.4%

対LV2
黒番 78勝 0敗勝率100.0%
白番 14勝 33敗勝率29.8%

対LV3
黒番 39勝 23敗勝率62.9%
白番 19勝 40敗勝率32.2%

**535** · 2019/05/12(日) 18:46:46.62

ここらでドカンとブレークスルーが欲しいところだ。

**535** · 2019/05/13(月) 20:57:06.68

お、すごい
249勝 204敗勝率55.0%

**535** · 2019/05/13(月) 21:55:46.89

LV3 vs LV3の黒番の勝率が65%くらいだったはずだから、黒番で勝率70%位いけばLV3越えといえるかも

**535** · 2019/05/13(月) 23:06:54.58

地味な学習も必要だとは思うけどアイディア一発でドカンと強くなるのも諦めきれない。

**535** · 2019/05/14(火) 21:30:20.81

ん、なんかDNN学習させたらうち筋はそんなに悪くなってないと思うんだけど勝てなくなったな。
なんだろう？

**535** · 2019/05/15(水) 21:00:42.40

173勝 176敗勝率 49.6%
対戦してみたけど思ったほど負けてないな？

**535** · 2019/05/15(水) 21:22:39.79

初期アルファ碁のようにポリシーネットとバリューネットに分けてみるか？

**535** · 2019/05/15(水) 21:35:41.77

そこそこの精度でも軽い評価関数は結構ほしいかも。
モンテカルロで役に立つし。

**535** · 2019/05/15(水) 22:07:54.43

というわけで、今使ってるDNNより大幅に簡素化したネットワークで学習させてみる。
データは同じ。

**535** · 2019/05/15(水) 22:45:22.49

あれ、大幅に簡素化したのに学習時間が思ったより短くならないな。
10倍速くらい早くなると思ってたのに3倍速くらいだ。

**535** · 2019/05/15(水) 23:06:58.43

更に簡素化して10倍速くらいにしました。
ちょっと簡素化しすぎかも？

**310** · 2019/05/15(水) 23:27:46.15

新バージョンで色々プログラム見直し。
探索部は全く改善していませんが、その他の部分が大幅にスピードアップ。
自動記譜作成時のオーバーヘッド（探索以外の時間）がかなり減った。

あとは学習の時間を減らしたい。

**535** · 2019/05/16(木) 19:50:22.50

大きい方のネットワークの損失が3500位なのに対して小さい方のネットワークの損失が5300位。
さて、使い物になるかな？

**535** · 2019/05/16(木) 20:26:43.20

うおお，遅え!
モンテカルロに使おうと思ったらプレイアウト回数かなり減らさなきゃだめだな。

**535** · 2019/05/16(木) 20:40:14.63

一回打ってみたけど打ち筋は決して悪くない。
だが激遅。
だかが300プレイアウトでここまで遅いとは…

**535** · 2019/05/16(木) 20:49:50.51

ん、でも打ち筋がいい。
ブレークスルー来たか？？

**535** · 2019/05/16(木) 21:05:06.63

すごいな、こちらの打ち筋は相当改善されたのにLV3がその上を行ってくる。
奥が深い。

**535** · 2019/05/16(木) 22:04:27.02

ん、まだ学習飽和してないみたい。
ジリジリ損失減ってる。

**535** · 2019/05/16(木) 22:42:50.95

LV1と対戦させ始めてみたけど、かえって勝率落ちてるな？
まだ対戦回数少なすぎて結論出すのは早いけど、もっと50連勝くらいするかと思った。

対LV1
黒番 17勝 3敗勝率85.0%
白番 13勝 3敗勝率81.3%