【オセロ,将棋】ボードゲーム Part2【囲碁,War】

**名前は開発中のものです。** · 2017/10/15(日) 17:34:58.03

比較的地味なボードゲーム専用のスレが欲しくて立ててみました。

前スレ
【オセロ,将棋】ボードゲーム【囲碁,War】
http://mevius.2ch.net/test/read.cgi/gamedev/1057763418/

**535** · 2019/07/21(日) 21:27:54.74

https://github.com/xuetf/AlphaZero_Gobang
気分を変えてこれに手を出そうかと思ってます。

**535** · 2019/07/28(日) 15:53:29.60

すっかりさぼってしまっています。

**310** · 2019/07/31(水) 22:58:56.92

地味に改良＆棋譜作成継続中。

評価値で黒番＋２、白番－１くらいの差が生じているので、
評価関数にバイアス項を導入しました。

他、若干の高速化ネタ。

中盤探索でProbcutすると遅くなる問題を回避。本格修正するか悩み中。
というか、そもそもZebraより圧倒的に遅い原因がわからん。

**535** · 2019/08/04(日) 00:47:49.68

ようやっと>>920のプログラムにライフゲーム囲碁のルールを実装しました。
python 超つらい…

**535** · 2019/08/04(日) 01:56:43.25

CPU使用率10%か。。。切ない。。。

**535** · 2019/08/04(日) 20:02:48.59

計算がある程度進むと必ずOSごとフリーズするorz
きょうびOSごと落ちるってどういうことだよ？

**535** · 2019/08/04(日) 20:18:18.16

これはもうアルファゼロには手を出すなという神のお告げかもorz orz orz

**535** · 2019/08/07(水) 20:34:05.86

そもそも、気温が高すぎて留守にしてる最中計算回しっぱなしにするの怖いってのもあるんだよなぁ

**310** · 2019/08/10(土) 21:39:26.19

中盤探索を改良。

一つは、普通に無駄な処理を見つけて修正。

もう一つは、評価値の計算に差分計算を取り入れました。
今まで並列処理で差分ってどうやるんだろうと思っていましたが、
単にDepth=1のところ（次がLeaf）で、順次評価値計算するのを
差分すればよかったのね。

この２つで、中盤探索で２手ほど深く読めるようになりました。

**535** · 2019/08/13(火) 19:47:02.79

今、実家に帰省してるんですが>>865のAIを動かしてみようとしたけどdllが認識されませんね？
何が悪いんだろう？

**310** · 2019/08/15(木) 23:44:11.68

小人閑居して不善をなす…。

思い切って、不要そうに思える棋譜をバッサリ削除してみました。
削除しすぎたかも。

いろいろ細かく修正と、デバッグ用表示の改良。

とかやっていたら、丸１日近く動かしたところで、なぜか急激にパフォーマンス低下。
もともと空きが少なかったSDDが一杯になっている…。とはいえ30Gはあったはず。
再起動していたらもとに戻った。原因不明。

対症療法で不要プログラムアンインストールしていたら、使っているOfficeを間違えて
アンインストールしてしまった。

HDD一杯が原因なのか、評価値のファイルが壊れていた。
ギリギリ間に合ってバックアップから復旧できた…と思う。

**310** · 2019/08/16(金) 14:28:22.00

SDD一杯の犯人判明。
セキュリティー対策ソフトの監視対象管理DBのファイルが合計で400G越え（汗
ところが、管理者権限ないと停止できず、ファイル掴んでいるため削除できない。
今日は管理者休暇中。

logファイルを頻繁に追記しすぎて、ファイルサイズ変化する都度DBファイルが
作られているのではないかと想像。棋譜バッサリ削除して、一気に遡り探索やり直し
していて、これまでと比較にならないペースと数で追記処理が起きているので、
その影響の可能性が。

Officeは再インストールしてもらったけど、何故かセキュリティ解除キーの入力ができない。
来週月曜日は出張なので、来週火曜日までだましだまし行きます。

古い方のPCがまだ生きているので、Excel作業はそちらでやる事にしました。

**535** · 2019/08/23(金) 19:05:38.98

AQZ敗退か
残念

**名前は開発中のものです。** · 2019/08/23(金) 19:13:36.62

囲碁は現在のコミで白番有利説もあるようですがどうなのか

**310** · 2019/09/05(木) 22:24:16.41

棋譜の作り方全面改訂。
分岐のチェックで、以前は全ての分岐を棋譜化していたけど、今度のは軽い探索で
怪しい評価値（同一評価値～－４程度まで）のものだけ棋譜化するようにして、
棋譜数を大幅節約。学習が楽になるという算段です。

棋譜づくりが順調になり暇ができると、細かく気になっていた、どーでもよいところを
改良し始めて、バグとりで棋譜づくりが滞るという悪循環orz

よくよく考えたら、PCのパワーアップしたので、またDCNNトライとかしてみようかな
とか思い始めた。tiny-dnnしか選択肢無いんだけど。

**535** · 2019/09/11(水) 20:42:08.54

googleがminigoというオープンソースやってるらしいですね。
最近さぼりっぱなしだったけど、ちょっと見てみるか。

**535** · 2019/09/12(木) 19:49:22.62

すげー難しそう
まだちゃんと見てないけど

**310** · 2019/09/17(火) 23:33:38.68

相変わらずしこしこ棋譜作って学習繰り返してます。
もう無いだろうと思いつつ、ちょこっとした事に気づいて修正を繰り返してます。

置換表のハッシュ関数を改良。
格納効率が結構良くなったので、衝突が減ったはず。

終盤探索の時にBOOK（確定）も参照して余計な探索を減らしました。
基本遡りで確定させているので、運が良い時に滅茶苦茶早くなりました。
無い時は今まで通り（汗

学習データが不足しているのではないかと、置換表内に残っているスコアが確定
した局面FIFOで貯めて、折々に学習に回してみました。１回探索で１００～５００件
程度。これをFIFOで５００万件。棋譜に残っていない局面で学習する事で、過学習
が防止できるかなと思っていますが…。

現在、２７手確定局面で大体１４０００件の棋譜とその分岐で合計２３万件ほどですが、
まだ棋譜が足りていない感じです。が、件数が増えすぎて手に負えません。
BOOKの確認ができるWindowsアプリ作ろうかと思い始めています。

**535** · 2019/09/22(日) 19:52:21.38

このまま失踪しそうな感じです。
やっぱアルファゼロは手を出してはいけないかったんや。

**310** · 2019/09/22(日) 19:56:33.01

DCNNになってから、一般人のPCでは手が出せなくなってるからね。

計算プロセス自体は、NNを極端に単純化したものが線形回帰だと思えば、
NNで生まれた計算ノウハウが流用できますよ。

というか、今の時代、ただのLRでDCNNとほぼ同じ強さ、とかの方がオシャレ
ではないかと思う、ひねくれものの僕。

**310** · 2019/09/23(月) 19:34:01.85

所詮趣味なので、あまり無理せず、やる気になるときにやればよいかと思います。

**535** · 2019/09/23(月) 20:58:22.95

うーむ、やりたい気持ちはあるのですが、いかんせん難しすぎて…
githubにもっと易しそうなのでてくるまで待つか？うーん。

**535** · 2019/09/25(水) 21:31:58.87

気温が徐々に下がってますね。
そろそろ計算回しっぱなしにしてもいいかな。
つっても回せるプログラムがないけど。

**535** · 2019/09/28(土) 22:43:07.40

またgithub漁ってます。
https://github.com/yangrc1234/Gomoku-Zero

**535** · 2019/10/01(火) 22:13:53.83

3日くらい計算回したけど全く強くなる気配がないなorz
もしかしたら微妙に強くなってるのかもしれないけどあまりに成長速度が遅すぎる
やっぱアルファゼロは計算時間が半端ないのかも？

**535** · 2019/10/01(火) 23:21:06.21

やっぱアルファゼロはいったん諦めて、囲連星でやったようにモンテカルロAIの棋譜取り&勝率DB作り&教師ありDNNでライフゲーム囲碁やるべきか？
うーむ

**310** · 2019/10/02(水) 01:57:09.42

DCNN強化学習はマシンパワーが恐ろしいほど必要だからね。
満足できる教師データがそろってから評価関数に使ってみる程度にしないと…。
自由度が高すぎるので、まともな評価関数に収束するまでに、相当な試行回数が
必要なんじゃないかと思う。

自分は棋譜作成をずーっとやっていますが、現在は棋譜作りの目的がBook充実
になりつつあります。なんというか、現在の形はいつの間にかQ学習＋ε-Greedy
っぽくなってきています。

アルファ様のお陰で、目標を見失いましたので、手段のためなら目的を選ばない感じ
で、プログラム作る楽しみという方向になっています(^^;

**535** · 2019/10/02(水) 22:58:01.64

ライフゲーム囲碁、モンテカルロAIの棋譜取り始めました。
ヒューリスティックなしのモンテカルロで1手10000プレイアウトで1局に約1分かかります。
それを16並列で1分当たり約16局採取できる予定。
棋譜の質があまりよくないのが難点ですがとりあえず、これでやってみます。

**535** · 2019/10/03(木) 21:37:56.85

18257局分棋譜が取れたようです。大体13.2局/分くらい取れるっぽい。
全コア動かすとシングルよりやっぱ少し遅くなるみたいですね。

**535** · 2019/10/06(日) 00:55:35.61

DB作成まで来ました。
ライフゲーム囲碁は囲連星と比べてもっと沢山の棋譜が必要になるかもしれません。
オープニングのバリエーション的に。

**310** · 2019/10/11(金) 20:52:12.13

評価関数を変えたくなってきた。
偶数手番と奇数手番の癖が顕著になってきたので、スムージングをしたく
なったのだけど、キーを手番優先にしているので、１手進むと盤面がひっくり
返ってしまい、連続性が無くなってしまう。

キーを黒番優先にして、評価値も黒番サイド（白番の場合は－１を掛ける）に
統一するとスムージングしやすくなる。

ただし、評価関数からBookから、あちこち影響が出る。

そろそろソースの整理がしたくなってきていたので、バッサリやっちゃおうかな。
台風で暇だし。

**310** · 2019/10/12(土) 09:18:22.01

一晩考えてやっぱ辞めました(^^;
単純じゃない。

**535** · 2019/10/12(土) 19:26:22.43

あ～なんか情熱が湧いてこないな。
プログラム書くのがすごい億劫。

**535** · 2019/10/13(日) 05:54:00.56

とりあえず、囲連星のコード流用してDNN学習回せるところまで来ました。
あとはAIプレイヤーのコードを移植すればひと段落かな。

**535** · 2019/10/13(日) 07:51:43.32

モンテカルロAIとDNNAIで対戦できるところまで来ました。
DNNAIの動きはまあ第一弾にしては悪くない感じ。

**535** · 2019/10/13(日) 08:07:20.35

パッと見DNNAIには知性の芽生えのようなものを感じる。
勝率に結びつくかは微妙だけど。

**535** · 2019/10/13(日) 08:47:17.90

勝率に結びついてませんね…。
残念過ぎる…。

寝るか。。。

**535** · 2019/10/13(日) 10:43:15.62

うーん、ハッキリと弱くなってますね。
ライフゲーム囲碁って昔勝率DB使った時も勝率落ちたし何でだろう？

**535** · 2019/10/13(日) 10:48:13.56

モンテカルロAIにトリプルスコアで負けてますね～
かなｃ

**535** · 2019/10/14(月) 19:34:30.99

ここからどうしていけばいいのかわからんなぁ。
負けるDNNAIで棋譜取りして勝てるようになるのかといえばかなり期待薄。
でもやれることもないし一応やってみるか。

**535** · 2019/10/15(火) 23:46:30.99

DNNの評価値を得点差から勝率と得点差/81の平均にしたところ
トリプルスコアで負けてたのがダブルスコアになったようです。
まだ負けてるけど。

囲碁では得点差で評価値を付けるのはほぼタブーで勝率を評価値にするのがセオリーなのですが、試してみたかった。

**535** · 2019/10/17(木) 22:06:11.66

やっぱ、負けてるなぁ。

**535** · 2019/10/22(火) 14:18:39.16

うーむ相手から攻撃されたときに反撃しない癖があるようだ。
反撃さえすれば楽に勝てるはずなんだが…。

**535** · 2019/10/22(火) 16:38:49.29

DNNの入力にに盤面の情報だけじゃなくて、石がぶつかってるところの情報も与えてみるか。
かなり肝になる情報のはずだから。

**535** · 2019/10/22(火) 17:02:51.95

うお、メモリがパンクしたorz
もー新スレッドリッパーにメモリ1TB載せたいorz

**535** · 2019/10/22(火) 17:31:13.35

データベースがでかすぎるのかなぁ。
500万局面を4対称で2000万局面分くらいあるんだが、初期アルファ碁でも3000万局面くらいだったっていうし減らそういかなぁ。
うーん。

**535** · 2019/10/23(水) 20:19:32.52

前も言ったかもしれないけどいたずらにネットワークを巨大化するよりコンパクトにしてエポック数を稼いだほうがいいかもしれないな。

**535** · 2019/10/26(土) 19:36:09.88

学習するほどに弱くなる理由がさっぱりわからんorz
ちょっと休憩

**535** · 2019/10/27(日) 18:41:08.53

またgithubでアルファゼロ探ししようかなぁ（懲りてない)

**535** · 2019/11/05(火) 18:52:29.53

新スレッドリッパー今日発表見たいですね
ワクワク

**535** · 2019/11/05(火) 22:09:32.07

あれ、今日じゃないのか…

**535** · 2019/11/07(木) 23:17:24.41

スレッドリッパー 32コアベース3.7GHz　ターボ4.5GHz 1999$
素晴らしい
金がないけど

**535** · 2019/11/09(土) 22:53:36.89

https://github.com/suragnair/alpha-zero-general
これwindowsでも動くっぽい

**535** · 2019/11/10(日) 20:01:17.40

せっかく良さそうなの見つけたのに、イマイチモチベーション上がんないな～
なんでだろ。ホントよさそうなのに。

**535** · 2019/11/17(日) 21:06:42.27

コツコツpythonやってます。
リストの使い方がわかってくると書く速度あがりそう。

**535** · 2019/11/17(日) 21:48:33.74

>>972にライフゲーム碁のロジックを実装しました。
ランダムプレーヤーと対戦できるところまで確認しました。
意外と拡張しやすい作りになってるっぽい。

**535** · 2019/11/17(日) 22:00:36.51

インターフェースの作りがうまいプログラムは心が躍りますね。
見習いたい。

**535** · 2019/11/17(日) 22:24:52.29

うおおお、遅えええええええ
6x6オセロだと結構速いけど9x9ライフゲーム囲碁だとめちゃ遅いorz
なにか高速化策を考えねば…

**535** · 2019/11/17(日) 22:33:57.28

並列化されてないっぽいな。うーむ
並列化狙うか…

**535** · 2019/11/18(月) 20:52:01.98

今日一日、強化学習回してたんですが途中でOS固まってたorz
でも一応、3回ベストポリシー更新されたみたい。
ランダムボットと対戦させてみます。

**535** · 2019/11/18(月) 21:16:14.14

ランダムボットと黒白25戦づつやってディープラーニングAIの39勝11敗
でだしとしてはまあまあかな。

純モンテカルロAIともやってみよう。

**535** · 2019/11/18(月) 21:19:24.26

あれ、純モンテカルロAIないのか？
うーん。

**535** · 2019/11/19(火) 19:48:59.11

うーむOS固まるなぁ。
今日も固まった。
グラボの熱が悪いのだろうか？

**535** · 2019/11/19(火) 20:34:57.86

パソコンの調子が悪いのならいっそAWSとか検討するという手も…
でも金が…

**名前は開発中のものです。** · 2019/11/20(水) 21:49:18.08

今日も固まったorz
ほんまどーなってるの?

**535** · 2019/11/20(水) 21:49:44.28

名前忘れた

**535** · 2019/11/20(水) 22:46:44.07

固まったけど少し更新されてたようです
ランダムボットと対戦したら48勝2敗
結構ハッキリ強くなってるな。

**535** · 2019/11/21(木) 19:44:58.21

今日も当たり前のように固まってるorz
どうすりゃいいんだ？

**535** · 2019/11/21(木) 21:11:44.62

そろそろ次スレの季節ですね。
順番的に私の番か。
995くらいで立てたらいいですかね。

**535** · 2019/11/22(金) 19:54:12.78

今日も固まった
いまのところ100%

**310** · 2019/11/22(金) 20:03:28.74

どもです。そろそろ次スレですね。

相変わらず、色々小改造しながら相変わらず棋譜作り続けています。

Book確認のデバッグ用プログラム作って、棋譜の間違い特定が飛躍的に早くなり、
その分、訂正用の棋譜が膨れて遡り探索がおろそかになっています。

評価関数の学習は進めていますが、どちらかというと評価関数が怪しくて間違えて
いそうなところで、わざと分岐させてBookで正解手順（に近い）の分岐を登録していく
事で、棋譜の精度を上げようとしています。BookをQ値と考えると、選択的なε-Greedy
でQ学習しているような感じになりつつあります。

もちろん、最終的には評価関数に反映しますが、今はBook構築が先みたいな。

VC++のバージョンアップ通知が来たので更新したら、あちこちワーニングや
エラーが出て来まして、ソースの整理をしながら、ワーニングにならないソース
に書き換え中です。急いでも仕方がないので、裏で棋譜作り動かしながら、
ちんたらやってます。

久々にMCTS部分を見たら、バグだらけだったので、直したところ、マシンパワーが
上がったことからか、残り３０手程度ならすぐに終局まで枝が伸びて比較的正確に
最善手順が生成できそうかなと思っています。全てのプログラムの書き換えが
終わったところで、テストしてみたいと思っています。

**535** · 2019/11/23(土) 14:12:48.21

昨日の晩からいままで連続で動いてます。
なかなかベストポリシーが更新されなくて焦れる

**535** · 2019/11/23(土) 17:50:36.12

ランダムボットに白黒25戦づつやって50勝0敗来ました！
このゲームはほかのゲームと比べてランダムボットが比較的強いから素晴らしいですね。

**535** · 2019/11/23(土) 18:12:06.28

うーん、人間に勝てるほどは強くないな

**535** · 2019/11/23(土) 19:11:14.10

次スレ
【オセロ,将棋】ボードゲーム Part3【囲碁,War】
https://mevius.5ch.net/test/read.cgi/gamedev/1574503798/l50

**535** · 2019/11/23(土) 20:58:35.29

こっち埋めちゃいますね。

**535** · 2019/11/23(土) 20:59:10.47

梅

**535** · 2019/11/23(土) 21:00:52.15

AWSでいいマシンを使うというのも憧れるが、
買うのとどっちが安いかは微妙かな。

**535** · 2019/11/23(土) 21:02:40.43

スレッドリッパー11月30日発売。
コア数はいわずもがなベースクロックもかなり高い。

**535** · 2019/11/23(土) 21:05:07.92

pythonの文法は結局何がいいのかよくわからんな。
ライブラリが充実してるってのはそうなんだろうけど。

**535** · 2019/11/23(土) 21:05:51.11

1000 !
お疲れさまでした。
次スレでまたお会いしましょう。

**1001** · Over 1000

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 769日 3時間 30分 53秒