ゲーマーLV90 人工知能編
記憶上限
報酬複数や報酬変化に対応 など
上限超えた記憶を消すのが重要
上限少ない方が適応が速い
状態 行動 結果 回数＝％ 上限
回数＝報酬を得た回数
古いのから消えていく
例 報酬複数
状態01＋行動01＝報酬01 50 100
状態01＋行動01＝報酬02 30 100
状態01＋行動01＝報酬03 20 100
状態＋行動＝報酬 の表の作成と使用
表の作成＝学習
表の使用＝予測
状態ランダムテーブルシャッフル
09 08 07 04 05 06 03 02 01 10 13 12 11 など
13回状態変えたらシャッフル
一応確率式でも可能だけど確率式だと学習漏れする可能性がある
100÷13＝約7.69％ 01から13まで各状態7.69％とかだと学習漏れの可能性
学習率
学習率100％＝表の完成？ 確率的な場合 表が完成しない場合もある
記憶上限も関係？ フェーズ 学習データ作成モード ざっくり
モード＝状態に対して学習データを参照して
回数が少ない行動を取る 回数が同じ場合は 行動変数小さい順 や 行動01から順に
状態ランダムテーブルシャッフル
状態 テーブルの1番
状態認識
モード参照
行動
報酬獲得
記憶
状態 テーブルの2番
状態認識
モード参照
行動
報酬獲得
記憶
テーブル13まで終わったら
状態ランダムテーブルシャッフル
状態 テーブルの1番
状態認識
モード参照
行動
報酬獲得
記憶
13×13＝169 で表完成
フェーズ 学習データ使用モード ざっくり
モード＝状態に対して学習データを参照して
報酬が一番高く確率が高い行動を選択 確率が同じ場合新しいのを選択
状態ｎに対して作成した表の行動13を選択でモードの表現 とりあえず要素はこんな感じです
説明なしでも伝わるか時間置いてみようと思います >>13
状態＋行動＝報酬です
あと>>4を見てもらえれば >>15
>>7と>>10の例 報酬複数を見てもらえれば レコメンドエンジンちょっと調べてみた
レコメンド
ALS(Alternative Least Squares=交互最小二乗法)とは行列分解の手法の1つ
を用いる
このスレも行列分解の手法の1つ？
協調フィルタリング
チェックまたは購入 類似性 相関分析 関連付け 提示
状態＋行動＝評価 このスレ
ユーザー＋アイテム＝レーティング レコメンド
人の評価をすり合わせて評価の予測？ レコメンド
ユーザー1＝ユーザー2と類似性がありアイテム1の評価がされていない
ユーザー2＝ユーザー1と類似性がありアイテム1が高評価
ユーザー1にアイテム1を提示
過去の結果とのすり合わせ このスレ
他ユーザーとのすり合わせ レコメンド
合ってるか分からないけどこんな感じかな？
相関分析で敵の行動予測とかできそう
敵の行動＝敵のモード 張り切って酉まで付けたのにまた終わっちゃったねwwwww ﾟ ･ 。： ．ﾟ：． 。* o・ ：ﾟﾟ 。ﾟ ：∴ﾟ ･ 。： ． ﾟ：． 。* o・：ﾟﾟ 。 ﾟ：∴。： ﾟ。
∴ 。o ．ﾟ ：． 。 o ・ ：ﾟﾟ ・ ： ﾟﾟ 。ﾟ ： ﾟ∴ ﾟ ･ 。 ： ． *ﾟ
o・ 。 ﾟ： ．ﾟ ･ 。 *： o・ ：ﾟﾟ 。 ／ ﾟ∴．ﾟ ：． 。 o・ ：ﾟﾟ 。ﾟ： ﾟ∴ ﾟ：
。 ：ﾟ。 ﾟ ･oﾟ ･ 。： ．ﾟ：． 。* ／ o・： ﾟﾟ 。ﾟ ：∴。： ﾟ。 ﾟ∵： 。ｏﾟ ･ 。
。 o・ ：ﾟﾟ 。ﾟ： ﾟ ／ ∴ﾟ ･ 。： *∵ ﾟ∵ *。 ：。 ｏ゜ﾟ
∴ 。 o・ ：ﾟﾟ 。 ﾟ： ﾟ ／ ∴ﾟ 。： ． *ﾟ：．。 ﾟ∵* ：
。ﾟ： ﾟ∴． ﾟ：． ／ 。 ｏﾟ ･ o・。 ﾟ： ．ﾟ ･ ・： ﾟﾟ 。ﾟ：
･ 。：．ﾟ： ／ ．。 o・：ﾟﾟ 。ﾟ：ﾟ ∴ ﾟ ： ﾟ ∵
ﾟ ･ 。ﾟ ･ 。 ： ☆ ． ﾟ* ・ ﾟ。 ：． 。 *o・： ﾟ ﾟ 。ﾟ： ﾟ。 。ﾟ：ﾟ *ﾟ ﾟ
∵ ﾟ∵： o・：ﾟﾟ 。 ﾟ：ﾟ∴ 。ｏ *ﾟ ･ 。： ． ﾟ：．。 o・： ﾟﾟ*： o・
。ﾟ：ﾟ ∴ ﾟ ﾟ： ﾟ ∵ﾟ。ﾟ∵o：。ｏﾟ ･ o・。 ﾟ： ．ﾟ ･ 。∴。： ﾟ。
。： ．ﾟ：．。 o ・：ﾟﾟ∴ 。o・： ﾟﾟ 。ﾟ： ﾟ ∴ﾟ ･ 。： ． *ﾟ： ．。 o・：ﾟ 。 ﾟ： ﾟ。
・ ゜ 。 ．
． ゜
． 。 ・ ．
゜ ＼ ゜ ．
゜ ・ 。 ゜
． ＼ ゜ .
． 。 ・
。 ☆ | ． そして彼らは星になった
． ・ 。 ゜
゜・ / ．
。 ． 。 ゜
． ． ＼ .
゜ ゜ ＼／゜
． ． ゜ 公園で寝てるおっさんが蚊のドリンクバーと化しててわろた 
