【オセロ,将棋】ボードゲーム Part3【囲碁,War】

**名前は開発中のものです。** · 2019/11/23(土) 19:09:58.05

比較的地味なボードゲーム専用のスレが欲しくて立ててみました。

前スレ
【オセロ,将棋】ボードゲーム Part2【囲碁,War】
https://mevius.5ch.net/test/read.cgi/gamedev/1508056498/

**535** · 2020/03/04(水) 21:17:15.27

ホントはあんま手動で特徴量出そうとするのよくないアイディアなんだろうけど。

**535** · 2020/03/04(水) 21:43:12.15

結局モンテカルロの勝率データだけだとだめっぽくて、いろんな戦略の中からより良いものを探すようにしたいなぁ

**535** · 2020/03/04(水) 22:34:42.21

あれ、黒番、白番ともダブルスコアで勝ち越してる？？
まだ対局数少ないからあれだけど。

**310** · 2020/03/04(水) 22:39:44.37

自分は、最近、学習効率アップさせようと入れていたヒューリスティックなロジックは
見つけ次第外す方向だったりします。

棋譜作成の元ネタだけは、結構たくさん手動で追加していますが、見つけ次第追加
みたいなやり方で、偏りが出そうな気がするのと、手動追加だと入力ミスも結構あって
面倒なので、どこかで後続棋譜が少ない手順を順次自動で追加していくようにしちゃ
おうかなと思ったりしています。ただ、本当に見てるだけになっちゃうのがちょっと嫌。

そんな事より、棋譜作成のペースが速すぎて、逆順での読み切り（スコア確定）が
追い付かない。

**535** · 2020/03/05(木) 20:28:15.73

黒番 188勝 48敗
白番 176勝 55敗

めっちゃ勝ってる！！

**535** · 2020/03/05(木) 20:45:33.61

結局ポスグレ全く使ってないというｗ
ま、当面ポスグレは保留かなぁ

**535** · 2020/03/05(木) 21:05:27.39

とりあえず、この新しいAIで勝率データ取りなおして更に学習させるスパイラルへもっていくか。

**535** · 2020/03/06(金) 20:19:27.94

うお、人間(俺)に勝った!
まぐれっぽいけど

**310** · 2020/03/06(金) 21:29:36.82

小人閑居して不善をなす…

評価関数の学習周りをいじっていたら、学習エラーが大きく（４～５倍）なってしまった。
オプティマイザーをAdamにしてみたのが悪かったのか（バグ？）、それとも他にいじった
ところが悪かったのか。オプティマイザーを戻して、追加学習してみたけど、全然もとに
戻らない。

と言いながら、色々と溜まっていた懸案も機能追加してしまった。

結局、どうにも直らないのでウェイトを一旦クリアしてRMSpropで再学習してる最中です。
明日の朝にはまともになっているかなぁ。

**310** · 2020/03/06(金) 21:39:02.84

行列パッケージEigenにユーザ拡張のサポート無し機能がいくつか追加されていて、
その中にTensorクラスがある事に気づいた。

速度は期待できないけど、もう一度DCNNやってみようかなぁ。

つか、もう一台PCがあれば、棋譜が既にあるので、テストできるんだよなぁ。

**310** · 2020/03/06(金) 22:53:37.48

RMSpropで一から学習しなおしで、もうすぐ２０エポックだけど、順調な感じ。
前回同様２０回＋αも回せば結構よいところに行きそうな感じ。

おかしかった時は、もともとの場所から離れて、変な局所解にトラップされていた
ような感じになっていたんだよなぁ。現状のAdamのコードにバグがあるのか調べ
たいけど、もともと参考にしたサイトが見つからない。今見つかるやつはChainerの
類の疑似コードらしく、ちょっとやそっとでは解読できないレベルの記号の羅列orz

**535** · 2020/03/07(土) 01:06:05.32

モンテカルロ＋ヒューリスティックAIにも勝利！！
いい感じだ。

**535** · 2020/03/07(土) 21:53:01.55

あーもう、計算時間かかりすぎ！
あと3～4日は計算回さないとデータが集まらない。

こんなときスレッドリッパー3990xがあれば…

**535** · 2020/03/07(土) 22:30:53.08

ぶっちゃけ1週間かかる計算が1日で終わるとしたら3990x買うのもありなんじゃないか…？？？
金がないけど。

**310** · 2020/03/07(土) 22:53:18.55

まあまあ。

自分は棋譜作成開始して、既に数年経ってる気がする（汗
途中データ飛んだりしているから、実際はもっと長い。

だんだんコツがわかって収集速度は加速的に高速化してきているけど、
今度はメモリー溢れが恐怖。

**535** · 2020/03/10(火) 21:38:55.27

データもぼちぼち溜まったしDNN学習に移ります。

**310** · 2020/03/11(水) 19:25:55.84

Eigen UnsupportedのTensorクラスを見つけて、またぞろDCNNに興味が沸いて来ま
した。で、思い出しがてらウェブを眺めていました。前回断念したのは畳み込み層の
計算を行列で行うためのim2colのロジックを高速に行う方法が見つからなかったから
だと思い出しました（汗

しかし、気が付いてしまいました。所詮８×８のマスの定型変換で、汎用性いらないので
６４ビットのローテーションとマスク値とのandというビット演算で、前処理ができてしまい
ます。そのあとで行列に変換すれば良いだけの事でした。つまりim2col関数はいらん。

もう少しDCNNの最新動向をフォローしてから、同じ棋譜を学習させて試してみたいと
思います。

**535** · 2020/03/11(水) 20:59:47.72

DNN学習、損失もいい感じで減ってきました。
素のモンテカルロとの対戦に移ります。

**535** · 2020/03/11(水) 21:02:33.51

実を言えば私は畳み込みはやってないんですな。
全結合でやってます。

**535** · 2020/03/11(水) 21:13:45.28

お、
黒番 7勝2敗
白番 9勝0敗

これは期待が高まる！！！

**535** · 2020/03/11(水) 22:57:19.64

黒番 22勝3敗
白番 20勝5敗

いいね～いいね～

**535** · 2020/03/11(水) 23:19:03.17

そろそろソースコードのバージョン管理とかやったほうがいいのかなぁ
GitHubとか

**310** · 2020/03/12(木) 00:31:25.32

GitHubとかよーわからんのだけど、コメント適当だったり、変数や関数名の英語が
変だったりするソース公開する度胸ないのを言い訳に、調べようとしていない（汗

**名前は開発中のものです。** · 2020/03/12(木) 00:34:39.55

プライベートプロジェクトにすればいい。昔はパブリックだけプロジェクト数無制限だったけど今はプライベートも無制限。

**310** · 2020/03/12(木) 00:39:06.73

情報ありがとうございます。
ちと調べてみます。

前みたいにソースもデータも丸ごと飛んだら困るので。

**名前は開発中のものです。** · 2020/03/12(木) 10:02:43.61

GitHubの前にGitを使おう
使えるようになってからでいいよ、GitHubは

**535** · 2020/03/12(木) 19:58:09.43

ありゃ、
黒番111勝 29敗
白番105勝 33敗

おもったほどじゃなかったorz

**535** · 2020/03/13(金) 22:42:10.14

業を煮やしてヒューリスティックを実装した。
さてどうなるか。

**535** · 2020/03/13(金) 23:28:51.32

ちなみにヒューリスティックの内容は石がぶつかってないときは相手の石からも自分の石からも一間以上離して打つというもの。

**535** · 2020/03/14(土) 18:49:30.64

くそーうまく行かねー

**535** · 2020/03/14(土) 23:30:28.50

あーなんか気が抜けちゃったな
次のアイディアもないし

**310** · 2020/03/16(月) 00:36:34.84

しばらくは棋譜の遡りを優先しようと思っていたのですが、やっぱり暇ができると
どうしても何かやりたくなってしまい、結局序盤中盤の貪欲法絡みのブラッシュアップ
をしてしまい、またまた遡り対象の棋譜を増殖させています（汗。

DLやろうか、将棋AIの勉強しようかと思い立ち、将棋AIの本などを買い込んでつらつら
眺めていたら、実現確率探索なるものを見つけてしまいました。遷移確率は評価値の
Softmaxで作れる気がしています。現在、前方の打ち切りはProbCutでやっていますが、
途中の１つの盤面の評価値が酷い状態だと、その時点で問答無用でカット対象となって
しまう懸念があります。その点、実現確率探索の方が多少ロバストなのかなぁと。逆に、
手が広い局面では探索深さが浅くなってしまう悪影響も想定できます。

とはいえ、中盤探索のロジック自体は多少の改良で済むのですが、置換表使って中盤
探索の結果を終盤探索のオーダリングに使うところは結構修正が必要な気がします。
最悪反復深化をまるっとあきらめなきゃならないかも知れません。あと、なぜか評価値
に＋１～２程度の手番加算がついたみたいになっている事から、探索深さを揃えられ
ないと、そっちからも悪影響が出る可能性があります。

かなり大幅な変更と、テストが必要なので、ちょっと躊躇しています。
プロジェクト全体コピーして別プロジェクト建てるレベルです。むむむ。

**535** · 2020/03/17(火) 21:33:11.60

DNN評価値の上位7手を初手から全展開するというのをやろうとしたのですが、意外とDNNの計算が重たいですね。
すぐにメモリ溢れるだろうとみていたのですが、牛歩のような計算の進み具合で、溢れるまでかなり時間かかりそうです。

**535** · 2020/03/17(火) 22:41:35.63

60万局面展開するのに33分かかる。
遅い。

**535** · 2020/03/17(火) 22:44:36.96

DNN使わないと100万局面展開するのに4秒ｗｗｗ
うーむ

**310** · 2020/03/18(水) 00:47:20.72

結局、実現確率探索に取り掛かってしまいました（汗

新規ソリューション作ってコピペ始めたところで、いずれ評価関数を整数化したかった
事を思い出して、あちこち修正開始となりました。

一応、普通のDepthバージョンと同じ深さになるように調整して、速度比較してみるつもり。

**535** · 2020/03/18(水) 20:17:58.60

DNNの評価値上位7手を全展開してポスグレに詰めるのを実行に移すべきかどうか迷ってる。
一応そのつもりで８TBのHDDもポスグレも用意したんだけど、あんまりいいアイディアに思えなくなってきたというか。

**310** · 2020/03/18(水) 23:45:39.14

実現確率探索の中盤探索、プロトタイプのαβ版を作って癖を見ています。

実現確率は、評価値のSoftmaxで各要素を足して１．０になるように正規化するより、
最大値が１．０になるようにした方が使いやすいです。というのも、最大値をひたすら
追った枝の終了条件が綺麗に決まって最大深さを指定できるようになるからです。
１．０そのままだと終わらないので、例えば０．５にしておくと、深さｎにしたい時は１÷２＾ｎ
が閾値になります。０．１の時は１÷１０＾ｎです。まあ、なんでもよいという事です。

後は各要素の差のつき具合を決める定数を調整すると、評価値が悪い手について、
どこまで探索の深さを確保するのかが決まります。ここが職人的作業なのがネック。
絞ると爆速。∞だと、ただの全幅探索になります。

速度は結構出てるのですが、調整ミスると全くダメみたいな様子が見え隠れしていて、
本当に常に使えるのか、まだ心配です。おそらくProbCutでも同じような問題がおきて
いるんじゃないかと思いますが。

次は置換表ですが、合流が発生した時の実現確率がルートによって違うので、その
時の置換表の評価値を使って良いのか悩みどころです。また、上述のように最大探索
深さを調整できるので、反復進化的に閾値を下げて行く事が可能性です。そうすると、
反復深化的に使いたくなるのが人情ですが、オーダリングにどのように反映するのが
良いのか。これも悩みどころだったりします。

要するにあと１週間くらいは遊べそうです（笑）

**310** · 2020/03/18(水) 23:56:29.62

あと、裏で棋譜作成進行中ですが、評価関数の学習時に、既存データに対する
エラーが増加を始めて、過学習の傾向を示しているのですが、例えばFFOの盤面
のように教師データ中に現れない盤面に対するエラーは減少しています。

状況的には、極端な石差がついている盤面の評価値が、石差ほどの評価値になって
おらず、じわじわと汎化が進んでいる一方、±０近傍の盤面は既に多いため、過学習
気味になっているのかなぁと推測しています。

とはいえ、非常に気持ち悪いです。

というわけで、ちょっと工夫をして石差が大きい棋譜を優先的に遡りチェック対象にしたり、
新規の自己対局するときに石差が大きくなる（悪い）進行も作るようにする事で、ほんの
少しですが、石差が大きい棋譜が増えるようにしてみました。まあ気休めです。

**310** · 2020/03/19(木) 23:17:05.43

実現確率探索の中盤探索ができました。置換表と並列処理のところまでです。
反復深化→読み切り処理までです。置換表というか、オーダリング処理を結構修正。

反復深化まではそこそこ機能していますが、置換表経由で読み切り処理の高速化が
性能が出ません。置換表経由で、中盤探索の結果を用いて終盤探索のオーダリング
をするところで、置換表データの不足があったり、オーダリングの間違いが生じて、
無駄な探索をしているように思います。

とすると、これは読み切り処理を前提とすると結構致命的な問題な気がします。
もちろん、まだバグや仕様ミスの可能性もありますが。というわけで、Solver関係には
使えない可能性が出てきました。

また、評価関数で実現確率を導いているので、浅い段階での間違いに対して、探索
対象をロックしてしまいやすく、深く探索していっても間違いがなかなか改まらない
傾向が見受けられます。

まあ、仮にダメでも、新バージョンにする過程で、これまでペンディングしていた細かい
修正ができますし、既存タイプの中盤探索も作ってあるので、このまま進めてみます。

**535** · 2020/03/20(金) 23:24:37.61

DNNの上位7手を幅優先に展開していき200万局面を上限にストップ
展開したものをminmaxで評価値を再計算。
その結果をDNNに学習させようとしています。

ポスグレの出番はいまのところないｗ

**310** · 2020/03/21(土) 02:31:57.66

実現確率探索で、探索幅広げる方向の反復を試してみましたが効果はあまりなし。
単体で使用するとかなり早いのですが、置換表使った探索との相性がいまいち。

とりあえずSolverまで作って速度計測していますが、既存の反復深化より遅く、反復
深化無しよりは若干早いという感じで、単体の速度を利用して幅を思いっきり広げて
みましたが、こちらは逆に遅くなるという体たらく。

置換表周りでどこか間違いがあるのかなぁという気もしていますが、今のところ不明。
Solver周りでの活用は一旦置いといて、自己対局で使ってみる事にします。

**535** · 2020/03/21(土) 17:30:57.63

メモリ欲しい…
256GBくらい

**535** · 2020/03/21(土) 18:19:45.50

えー駄目だ負けるorz orz orz
なんで駄目なの？？？

**535** · 2020/03/21(土) 18:23:26.64

今回のはかなり期待してたのにorz orz orz

**535** · 2020/03/22(日) 12:02:13.16

棋譜見ると素のモンテカルロの動きが思っているよりずっといい。
なんでだろう？

**310** · 2020/03/28(土) 00:29:51.53

実現確率探索というか、ソース全体見直し版が、だいたいできました。
まだデバッグ全部済んだわけではありませんが、後はログメッセージなんかの
細かいところくらいの修正かなと。

実現確率探索自体は、棋譜作成にフックを入れる感じでの使用にとどめていますが、
しばらく動かして、結果がよさそうなら切り替えようかなと思います。というか、対戦版
作るときには、中盤探索は実現確率探索で行くと思います。

で、実現確率探索と呼んでいますが、実際のところは違います。本来の実現確率は
「プロ棋譜など別途棋譜集から、よく出てくる手を回帰分析で確率化したもの」で、
よく出る手については深く探索しましょうという内容です。自分の奴は、確率を１手読み
の評価値から生成しています。１手読みにした理由は、差分計算で速く計算できる
からです。というわけで、本来は別の名前にした方が良いのですが、ネーミングセンス
が無いので放置です（笑）

他にも、本来と違う形で実装してるけど、放置してある名前が結構ありますorz

**535** · 2020/03/28(土) 21:52:44.02

囲碁AIでKatagoという凄く強いAIがあるのですがライフゲーム囲碁に流用できないかと思い始めた。

**310** · 2020/03/28(土) 22:16:21.29

見直し版のチェックを本番やりながら進めてます。

今のところ、学習の速度が３０％程度ダウンしたものの、終盤探索の速度が
３０～５０％高速化している感じ。どちらも原因不明。

**310** · 2020/03/31(火) 00:30:27.16

見直し版で、遡りチェックで無駄な処理を見つけて直しました。
更に速度アップして、トータル５０％強の速度アップとなりました。
まだ探索自体の速度は上がってませんが、まだ無駄があったとは。

**310** · 2020/04/01(水) 23:58:19.45

急に探索自体の速度アップを思い立ちまして、いくつか実行。

ヒープ領域に作っていたオーダリング処理をスタック領域に来るように修正。
置換表のHash関数の修正で、置換表のキーエントリーの偏りを減らす。

これらにより更に高速化して、トータルで前バージョンの倍速近くなった感じです。
残り２６手探索処理が１時間に９０件弱→１６０件くらい。

あと、もうちょっとやってみたい事があります。

**名前は開発中のものです。** · 2020/04/02(木) 03:15:04.40

katago聞いたことない
alpha zeroは使わないの？

**535** · 2020/04/02(木) 19:14:11.82

deep mindのオリジナルのalpha zeroは公開されてないはず。
github行くとクローンがいくつかあるけど。

katagoはKGSってネット碁会所で最高段位9dで打ってる。

**535** · 2020/04/02(木) 20:00:58.76

でも当たり前だけどkatagoも相当高度なプログラムなので流用するのはかなり難しそう。

**535** · 2020/04/02(木) 21:24:35.34

あかん、やっぱkatago相当難しい。
githubから簡単そうな奴探してお茶を濁すか…

**310** · 2020/04/06(月) 22:33:27.64

更に少し高速化しました。

オーダリングのvectorをスタック領域の配列に変更する部分ですが、並列探索部分
にも適用しました。配列も&でアドレス渡せばSTLのalgorism周りが使えるの知りました(^^;
スレッド間でのlockも他の処理と一緒にできるので、オーバーヘッドはありません。
あと、地味にセーブの時間がかかっていたので、回数減らしました。

残り２６手１０００件で１０時間半が、５時間４０～５０分くらいまで来ました。平均２０秒強。
残り２５手の読み切りができていてBookで時短しているので、まったくの新規棋譜の
読み切りはもっと遅くなります。

sort部分も何とかならないかと思いましたが、もともと３２件以下（オセロはたまたま
ですが次の手の上限は３２）は挿入ソートになっているようです。コピペで挿入ソート
を組んで、速度比較してみましたが、有意差は出ませんでした。

件数少ない時に早くかつ安定ソートな方法が他にないか調べてみようかと思います。

**535** · 2020/04/10(金) 20:40:22.22

今これ見てます。
https://github.com/hijkzzz/alpha-zero-gomoku

libraryをビルド通るところまで行ったんだけどpythonでそのライブラリ読み込むと以下のようなエラーになる。

K:\alpha-zero-gomoku-master\test>python library_test.py
Traceback (most recent call last):
File "library_test.py", line 6, in <module>
from library import Gomoku, MCTS
File "../build\library.py", line 15, in <module>
import _library
ImportError: DLL load failed: 指定されたモジュールが見つかりません。

**名前は開発中のものです。** · 2020/04/12(日) 04:59:53.78

その環境の内容見てないから詳しくはわからないけど…原因は大体これ

1. 読み込もうとしているdllが適切なパスに存在してるか
2. 読み込むdllは64bitか32bitか（ビルド構成と一致していないとダメ

**535** · 2020/04/12(日) 10:52:42.02

32bitか64bitかは64bitしか選べないみたいです。
適切なパスに存在しているかというのはどうやってしらべればよいでしょうか。
library.pyと_library.pydをカレントディレクトリに置いたりもしてみたのですが駄目でした。

ちなみにこれはswigというのを使っていてC++をpythonから読めるようにしているようです。
library.pyと_library.pydが生成されてlibrary.pyから_library.pydをインポートするときにこけています。

**名前は開発中のものです。** · 2020/04/13(月) 02:33:11.01

github見てみましたが、中国人が下で同じような質問してますね
buildディレクトリにコンパイルされたファイルを配置しないと駄目なようです
Pythonとかライブラリのバージョンも書いてあるので合わせたほうがいいかもですね

https://github.com/hijkzzz/alpha-zero-gomoku/issues/18

**535** · 2020/04/13(月) 20:06:39.31

ありがとうございます。
今python が3.6だったので3.7にしてみようとしたらpytorchがpipで入らず苦戦しています。

**535** · 2020/04/13(月) 20:47:56.22

結局python 3.8.2を入れたんですが駄目っぽいorz
やっぱ無理にでも3.7にすべきか…

**535** · 2020/04/14(火) 20:06:25.38

python 3.7.6を試してみましたが駄目。
pytorchももう1.1手に入らないっぽい。
手詰まりです。

**535** · 2020/04/14(火) 23:01:32.97

>>208 動いたらめっちゃよさそうなんだけど悔しいな～

**名前は開発中のものです。** · 2020/04/15(水) 20:25:07.80

Ruby なら、require/load で相対パスで指定されたときに、ファイルを検索する時の場所は、$LOAD_PATH だけど、
Python にはそういうパスが無いのか？

これで、site_ruby, vendor_ruby などが、ずらずらと表示される
ruby -e 'puts $LOAD_PATH'

Python は、よく知らないけど、import _library
で、拡張子 .pyd まで探してくれるのか？

_library.pyd

**535** · 2020/04/15(水) 21:11:30.83

レスありがとうございます。

ファイルを検索する場所はsys.pathというのがあるみたいです。
表示させたら以下のようになりました。

['K:\\temp\\alpha-zero-gomoku-master_orig\\test',
'C:\\Users\\nagat\\AppData\\Local\\Programs\\Python\\Python37\\python37.zip',
'C:\\Users\\nagat\\AppData\\Local\\Programs\\Python\\Python37\\DLLs',
'C:\\Users\\nagat\\AppData\\Local\\Programs\\Python\\Python37\\lib',
'C:\\Users\\nagat\\AppData\\Local\\Programs\\Python\\Python37',
'C:\\Users\\nagat\\AppData\\Local\\Programs\\Python\\Python37\\lib\\site-packages',
'..\\build']

import _library.pyd はエラーになりました。

**535** · 2020/04/15(水) 21:32:18.35

ん、neural_network_test.pyは動いた。
どういうことだ？？？

**535** · 2020/04/15(水) 21:34:10.97

import libraryの前にimport torchをつければいいのか？？？もしかして

**535** · 2020/04/15(水) 21:42:29.92

うおお、動いたっぽい！！！！
ありがとうございます！！

**535** · 2020/04/15(水) 21:59:07.45

leaner_test.py train 動きました！！
GUIが起動してポチポチ自己対局を始めました！！
これは期待が高まる！！

**535** · 2020/04/15(水) 22:01:14.83

とりあえず、五目並べでちゃんと強くなるかどうか2～3日学習させてみます。

**535** · 2020/04/15(水) 22:19:15.19

ん、GPUの使用率が1%くらいから上がりませんね。
でも0%じゃないからちゃんと使ってんのかな…

**535** · 2020/04/15(水) 22:36:14.51

お、早くも石が中央に寄り始めた？？
そうだとしたら凄い。

**535** · 2020/04/15(水) 22:48:39.68

しかし、4すら止めないｗ。
ホントに0からの学習なんだなぁ

**535** · 2020/04/16(木) 19:32:35.61

お、凄い！たった一日で五目並べっぽくなってる！
たまにそっぽ打つのは乱数でランダムな手を打つようになってるんでしょうね。

**名前は開発中のものです。** · 2020/04/16(木) 19:37:25.76

うお、早くも人間（俺）に勝った！！
あり得ね～～～！！！

**名前は開発中のものです。** · 2020/04/16(木) 19:38:07.71

ヤバイ、これはヤバイｗｗ

**535** · 2020/04/16(木) 19:40:53.49

15路という非常に広い盤面でここまで早く強くなるとは…

**535** · 2020/04/16(木) 19:44:25.68

もう五目並べの学習は十分ですね。
となると次のステップはライフゲーム囲碁か囲連星を移植ですね。

**535** · 2020/04/16(木) 19:54:51.08

ライフゲーム囲碁はパスを実装しないといけないからまずは9路囲連星かなぁ

**535** · 2020/04/16(木) 20:15:49.42

すぐにでもコード書き始めたくなるけどぐっと我慢して>>208のソースを少し読み解かねば。。。

**535** · 2020/04/16(木) 21:57:22.76

あれ、モチベすげー湧いてくると思ったのに意外とそうでもないな…
仕事で疲れてんのかな…

**535** · 2020/04/18(土) 17:12:26.15

実はライフゲーム囲碁を移植しようとしてたのですがパスの実装がやはり意外と難しそうです
9路囲連星に転進しようかな

**535** · 2020/04/18(土) 20:23:03.93

は～目の前に理想のalpha zeroがあるというのになぜかモチベが湧いてこない、踏ん張りがきかない。
さぼりモードに入りつつあるorz。
ていうか思ってるより移植が工数かかる作業なのかもしれない。

**535** · 2020/04/19(日) 14:29:45.72

9路囲連星はコードを消失していたので19路囲連星を移植してます。

**535** · 2020/04/19(日) 17:44:45.53

多分移植完了した。バグが無ければ。
学習フェーズへ移項します。

**535** · 2020/04/19(日) 17:58:16.33

うーん。これGUIの盤のひろさとプログラム上での盤の広さが違いますね。
まあ論理的には整合性は取れているので見た目だけの問題なので放置。

**535** · 2020/04/19(日) 18:02:39.80

まだ学習始めたばっかなので全然見当違いのところに打ちまくるの見てて切ないｗ
でもまあ、五目並べではわずか一日で人間（俺）に勝てるところまで来たのだから期待して待ちましょう。

**535** · 2020/04/19(日) 18:42:21.72

メモリ10GBくらい使ってる。
思ったよりでかい。

**535** · 2020/04/19(日) 21:12:09.10

GPUのファンが五月蠅い。
タスクマネージャーだと1%とかなのに。
タスクマネージャーじゃ使用率ちゃんと測れないのかな？

**535** · 2020/04/20(月) 18:56:48.06

強くなってないと思ったら致命的なバグがorz
勝敗データをパイソンに渡す個所にバグがあったようです。
丸一日の学習がパーorz

**535** · 2020/04/20(月) 21:27:15.82

ん、付けにははねよを覚えたっぽい？
だとしたら凄い。

**535** · 2020/04/21(火) 20:44:10.63

１日学習させたけど強くなってるように見えませんね
15路五目並べと19路囲連星じゃ勝手が違うか
とりあえず1週間位は粘ってみます

**535** · 2020/04/22(水) 18:48:41.18

強くなってませんね。
完全なランダムでないにせよ。
もう少し様子見します。

**535** · 2020/04/22(水) 20:21:27.03

は～じれったい。ハード性能があと10000倍くらいあればな～

**535** · 2020/04/22(水) 20:23:13.93

むしろ一生懸命７並ばないようにしているとさえ思えるｗ
バグなのかなぁ

**310** · 2020/04/22(水) 20:43:03.08

相変わらず棋譜作成中。

プログラムはそれなりに改良しているつもりだけど、成果は全くなし。
まあ、思いついて試すのが楽しいんだけどね。

つか、逆順探索での棋譜訂正。やってるそばからあまりに間違っている筋を
見つけて、修正かける過程で、新しい棋譜どんどん増えて、バックログがどんどん
増えていく地獄になっています。まだまだ重要な分岐でも間違いというか未探索
が多すぎる。

手作業で修正箇所見つけるの面倒なので、延々やらないといけないけど、
ε-Greedy的な何か導入しようかなぁと思い始めています。

**535** · 2020/04/22(水) 21:56:00.26

お、もしかしてポン抜き覚えたか？
しかしこの学習速度で線形の速度で強くなるとしたらとてもじゃないが時間かかりすぎるが、
ある地点から爆発的に強くなったりしないのかなぁ

**310** · 2020/04/22(水) 22:21:38.60

あるところまでは、間違いは間違いと学習するための時間かも知れませんね。

**535** · 2020/04/23(木) 18:58:28.20

うーん、少し囲連星っぽくなってきてるかなぁ？
ま、当分様子見かな。

**535** · 2020/04/23(木) 21:04:31.79

でもまあディープラーニングってルールも知らないネットワークが勝敗結果だけで強くなるって凄いことだよな。
人間がルール知らずに勝敗結果だけで強くなろうとしたら発狂するｗ