【統計分析】機械学習・データマイニング22

2019/01/13(日) 09:13:37.19

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2019/02/23(土) 10:04:15.64

>>864
それ、どこのスレにも出没して似たような質問を繰り返すだけの構ってちゃんだから、まともに答えてもあなたの大切な時間を無駄にするだけだよ

2019/02/23(土) 12:50:40.51

雰囲気で keras を使っているが、
loss が nan になる理由が全くわからないぜ…
ちゃんと勉強しないとダメだな。

2019/02/23(土) 13:47:22.69

https://twitter.com/napman1/status/1099097584113614850

Kotaro Nakayama / 中山浩太郎 @napman1
東大松尾研・iLect・東大先端人工知能寄付講座が共同で実施していたDeep Learning講座「DL4US」のコンテンツを無償公開しました。
のべ3,800名以上の方から応募を頂いておりました。
9:04 - 2019年2月23日
https://twitter.com/5chan_nel (5ch newer account)

2019/02/23(土) 13:49:07.74

強化学習の state-value の式について質問です。
スレチでしたらご指摘ください。

「Reinforcement Learning: An Introduction」のPDFを読んでいます。
http://incompleteideas.net/sutton/book/the-book-2nd.html

59ページ目にstate-valueが自己再帰の形で表せる事を示した式がありますが、
この式の2行目から3行目に式変形できる理由が分かりません。

角括弧の中の Rt+1 が r になるのは分かるのですが、
なぜ Gt+1 が Eπ[G+1 | St+1 = s'] になるのでしょうか。

この辺りのことを説明したwebページや書籍の紹介だけでも構いません。

2019/02/23(土) 16:12:58.09

P.48
P.55
P.73-75

2019/02/23(土) 16:17:04.74

>>866
Clockwork RNNとかなら

2019/02/24(日) 07:39:09.59

lstmもrnnでしょ？

2019/02/24(日) 09:50:14.35

RNNというのは過去の出力をその後の入力に使うという程度の意味しか持たないのでLSTMもその一種

2019/02/24(日) 19:07:02.66

>>874
IIRフィルタと何が異なるんですか？

2019/02/24(日) 19:44:24.06

AIに星新一のショートショートを書かせるプロジェクトがあります。
https://www.fun.ac.jp/~kimagure_ai/

仕組みは、人間が事前にストーリーを作って
AIが特定の部分の単語を穴埋めしていく感じだそうです。
全てAIが作ったわけではないし、こんなのは創作ではないと思うのですが。

疑問なんですが、なぜLSTMを使わないのでしょうか？

2019/02/24(日) 19:46:18.85

星新一好きだけどこんな形で出生するとは思わなんだ

2019/02/24(日) 19:49:54.53

>>876
創作がどこからどこまでなんて誰にも決められないよ
AIがサイコロだとどうか、虫に効けばどうか、ファンの小学生なら、成人なら、じゃあ編集者なら
何がどうって、面白ければいいんだよ
実は今はちょっとずるい世代で、「AIが作ったものを読んでみたい」という欲求がたくさんある
だからAIがどんな物語を紡いでも、多数の人は面白いと感じるのだ

2019/02/24(日) 19:51:01.57

AIの芸術に関しては、ヒューリスティクスという概念を覚えると良いと思う
恐らくこれから必要になる

2019/02/24(日) 22:07:34.94

芸術はマルチレイヤーコンテキストが重要なのだからそんなもん必要ない

2019/02/24(日) 23:00:00.26

ぼっきちゃん

2019/02/24(日) 23:02:40.70

>>875
呼び方が違うだけで同じものだよ
RNNばかり有名になってるけど、FFN(Feed-Forward Network)というのもあって、RNNはIIRに対応し、FFNはFIRフィルタに対応する

2019/02/24(日) 23:07:53.63

ようやくまともな意見が返ってきた

2019/02/24(日) 23:11:03.11

呼び名に引っ張られない人が増えてほしいですね
とりあえず手法にラベリングして深く考えない人が多いですからこの業界

2019/02/24(日) 23:12:43.00

い～んじゃね
モデルばっかり見ててもキリないしな

2019/02/25(月) 09:02:25.40

>>879
だね
というより、かかる時間は別として
ヒューリスティクスそのものだから

2019/02/25(月) 10:27:48.38

全くいらない

2019/02/25(月) 10:30:01.10

『ヒューリスティクス』なんて言葉より発見的探索とか言ったほうがわかりやすい

2019/02/25(月) 10:51:44.35

>>888
ヒューリスティックやん

2019/02/25(月) 10:57:39.62

初歩的な質問ですいません
ある部品にゴミやケバがつくような工程で画像データを用いた異常検知が出来たらと考えています
当方機械学習やディープラーニングを始めてまだ日も浅く現在はCNNがどのようなものかを学習しています

概要を学んだ次のステップとしてどのようなものを学習すれば良いのか分からないのですが画像を用いた異常検知を行いたい場合はどのような手法やアプローチが一般的なのでしょうか？

2019/02/25(月) 11:52:07.90

>>890
画像データは正常と異常それぞれどのくらいある(集まりそう)なの？

2019/02/25(月) 12:02:29.04

>>891
すいません記載漏れていました
現状用意出来るのは正常画像が100枚、不良品が100枚です

2019/02/25(月) 12:03:51.68

東京大学理学部数学科を目指すか迷う。

2019/02/25(月) 12:25:29.00

>>892
CNN系の二値分類で行けない？
100枚だと少ないので適当に水増しが必要だけど
回転させたり上下左右反転させたりごま塩ノイズ乗せたり

2019/02/25(月) 12:57:36.74

GAN使えよ

2019/02/25(月) 13:20:27.46

>>894
ありがとうございます
CNNでの分類ですね
水増しに関しても調べてみます
画像サイズも大きいのでその辺もどう扱うのか調べてみます
また別工程にも展開する場合は異常の画像が無いので生成モデルに関しても調べてみます

>>895
ありがとうございます
オートエンコーダーは聞いた事があったのですがGANについても調べてみます

2019/02/25(月) 13:32:06.44

習うより慣れろみたいなことかと
結果が出せればいいなら試すほうが多分速い
内部は知らなくてもディープラーニング自体は既存ソフトでできる
まんべんなく学習しないとダメか

2019/02/25(月) 14:58:30.98

>>892
枚数が少ないから、単純な画像処理で低次元の特徴を抽出する事を考えた方が良いかも

2019/02/25(月) 19:29:22.67

データの水増しなんてもうkeras自身でできるぞ
https://qiita.com/takurooo/items/c06365dd43914c253240

2019/02/25(月) 20:51:21.96

不良品の検出って
毎回同じサイズ、角度、輝度、サイズだから
回転させたり捩らせたり拡大したりしたら精度下がりそうよね

2019/02/25(月) 20:58:01.22

>>900
基本的にはとにかくデータを数多く用意するのが良い

2019/02/25(月) 21:02:27.32

とにかく増やせってのは乱暴すぎるなぁ
やっていい加工とやっちゃいけない加工がある

2019/02/25(月) 21:03:20.83

kreasてマルチスレッドで学習済みモデルloadできないのかよ
弱ったなぁ

2019/02/25(月) 21:19:27.11

>>900
>毎回同じ
それはデータによるから性質よく知ってないとね

2019/02/26(火) 00:17:58.46

同じようなことやってるのね。異物は分類精度80％越えるけど、キズは認識しなかったな。

keras でVGG16　FineTune/ 画像110枚　での結果です。

2019/02/26(火) 01:17:49.05

そこにaiはない

2019/02/26(火) 08:30:32.92

大量の不良品パターンか
大量の良品パターンだけでも
なんとかなるだろ

2019/02/26(火) 08:58:01.36

良品のみから不良品を見つけるのは必ずしもできるわけではない
不良品を不良品と判断するための特徴量が見えていない場合などがそれに当たる

2019/02/26(火) 09:11:33.00

二値分類みたいのは面倒なんだよね

2019/02/26(火) 10:37:18.94

>>896 です
レス頂いた方ありがとうございます
>>905
自分も同じ手順を試してみたいと思います
もし良ければ参考にされた資料や記事などはありますでしょうか？
Kerasを使おうかと思うのですが始めて使用するので何から手をつけて良いか分からなくて…

2019/02/26(火) 10:54:57.26

>>910
この辺
https://qiita.com/dddmm/items/9e4d9e08a071cfa4be83

GPUないなら止めておいたほうがいいぞ

2019/02/26(火) 11:18:09.30

>>911
ありがとうございます
keras自体の導入は済ませております
説明が分かりにくくてすいません
ただどちらにせよGPUが無い環境なのでやるにしても制約が多そうですね…

2019/02/26(火) 11:37:27.80

>>912
「keras　二値分類」で検索すれば色々出てくるよ
https://qiita.com/yakisobamilk/items/686d6ad5ae3285aec639

二値分類ぐらいならGTX750ぐらいでも行けるとおもう

google colaboratoryってクラウドの無料サービスもあるけど、色々とどうにも面倒くさい

2019/02/26(火) 11:38:20.51

>>911
Colaboratory使えばなんとでもなるさ

二値分類を複数のモデルでやってみたことある
画像サイズを480にしてあげると
Xception だとで89%
Inception_resnet_v2 で86%
この2つのモデルから推測させて、
・両方NGならダメ
・片方NGなら要検証
・両方OKなら通過
ていう感じで悪くない感じにはなってる

というか問題は組込される側じゃね？
試しにinception_resnet_v2で分類させてみたんだけど、
学習済みモデルのロードだけでメモリ4.5G食う
RaspberryPiとかでどうやって運用するんだろう
でかいスワップ使ってSSDでも遅いだろうし・・・

2019/02/26(火) 11:59:28.32

RaspberryPiは推論でも無理では

2019/02/26(火) 13:03:41.22

軽いはずだけど

2019/02/26(火) 13:19:26.30

>>913
ありがとうございます
短くまとまってるので是非参考にさせていただきます
kerasの関数や使い方も合わせて調べてみます

あと、すごく初歩的な質問なのですがリンク先のコードを軽くみたところ出力層が2クラス分類問題なのに1つになってるのが気になります
良品、不良品とふたつの出力層が必要ではないのでしょうか？

2019/02/26(火) 15:45:31.82

>>917
二値分類の問題は出力は一つでOK
例えば不良品にラベルを0、良品にラベルを1と付けたとする
活性化関数にSigmoidを使うと、入力した画像が0なのか1なのかを確率で返してくれる
0.5付近なら判別できていない

もし二つの出力でやりたいなら活性化関数にSoftmaxを使う
こちらは他クラス分類に使用する
良品レベルを5段階に分けて学習させるような場合に使う

2019/02/26(火) 20:43:24.25

>>871
すみません、そのページを読んでみたのですが、まだ理解できません。

a に添字 b を下付きしたものを a_b と表すとして、
state-value function v_π(s) = E_π [G_t | S_t = s] を私は次のように式変形しました。

v_π(s) = E_π[R_(t+1) + γG_(t+1) | S_t = s]
v_π(s) = E_π[R_(t+1) | S_t = s] + E_π[γG_(t+1) | S_t = s]

私が分からないのは第2項の期待値の計算です。

E_π[γG_(t+1) | S_t = s] = Σ_a π(a|s) Σ_s'r p(sr', r|s, a) (γG_(t+1))

このように展開できると思うのですが違いますか？

2019/02/27(水) 03:08:09.73

chainerを使ってたけど
tensorflowを使ったみようと思ってインストールしてみたら、
変なエラーばかり出てなかなか動かなかったけど、
MINSTがやっと実行できた。
うれしい！

2019/02/27(水) 03:24:04.07

>>920
おめでとう
慣れるまで、環境構築ほんま大変だよな

2019/02/27(水) 06:50:22.32

>>910 >参考にされた資料や記事などは
http://aidiary.hatenablog.com/entry/20170108/1483876657
(犬|猫)と花x17の練習問題はそのまま使える。

ここでやってるのはFrancois の本そのもの　本には
5%くらい精度落ちるけどGPUなしで高速に学習する方法も記載あり。
https://www.amazon.co.jp/Deep-Learning-Python-Francois-Chollet/dp/1617294438

2019/02/27(水) 07:43:37.69

eagerとkerasてどうちがうの？

2019/02/27(水) 11:05:10.77

>>921
ありがとうございます！
動くまでいろいろと試行錯誤していました。
バージョンや環境に依存する部分も大きいのでしょうか？

僕が結局のところうまくいったのは以下のサイトの、
仮想環境を作ってからインストールするという手順です。

https://qiita.com/dddmm/items/9e4d9e08a071cfa4be83

このサイトの下に書いてある、

＞　「(keras_work) conda install jupyter」でインストールして、
＞　カーネルを再登録して
＞　「(keras_work) ipython kernel install --user 、、、」、
＞　jupyter-notebookを立ち上げなおしたら、正常に動作しました。

というのも実行したら、動作しました。
ここではkeras_workという名前になってますが、まだkerasはインストールして
いないのですが、仮想環境を作らなければ動作しなかった
ということは、何か僕の環境が悪かったのだと思います。

まあ、とりあえずtensorflowが動くようになりましたので、
いろいろサンプルを探して動かしながら、使い方を学びたいと思います。

2019/02/27(水) 12:18:00.05

脳科学が明らかにする
「あなたの隣のサイコパス」

ありえないようなウソをつき、常人には考えられない不正を働いても、平然としている。
ウソが完全に暴かれ、衆目に晒されても、全く恥じるそぶりさえ見せず、堂々としている。
それどころか、「自分は不当に非難されている被害者」
「悲劇の渦中にあるヒロイン」であるかのように振る舞いさえする。

残虐な殺人や悪辣な詐欺事件をおかしたにもかかわらず、まったく反省の色を見せない。
そればかりか、自己の正当性を主張する手記などを世間に公表する。

外見は魅力的で社交的。トークやプレゼンテーションも立て板に水で、抜群に面白い。
だが、関わった人はみな騙され、不幸のどん底に突き落とされる。
性的に奔放であるため、色恋沙汰のトラブルも絶えない。

経歴を詐称する。過去に語った内容とまるで違うことを平気で主張する。
矛盾を指摘されても「断じてそんなことは言っていません」と涼しい顔で言い張る。

(略)
見過ごせないのは、この種の人間を擁護する人が少なくないことです。
(略)
時には「信者」であるかのような崇敬を示す人までいます。
そうした人たちは、きっと知らないのでしょう。
彼／彼女らが、高い確率で「サイコパス」だということを。
(脳科学者・中野信子さん)

AI的にはこういう子が育つ可能性はあるの？

●添とか●エモンとか百合子とかちょんとか

2019/02/27(水) 12:22:19.72

>>908
人事採用で応募して来た人間が不良かどうか判定したい

2019/02/27(水) 12:49:52.22

>>926
Amazonがそれやったけど女性差別するように学習して辞めたよね

2019/02/27(水) 13:01:10.50

機械学習はわからんうちは面白そうで飛びつくけど、しばらく勉強したら飽きた
進歩早いし専門家じゃないとついていけない世界ねこれ

2019/02/27(水) 13:30:32.39

既存ツール、ソフトを利用する立場なら専門家の議論についてかなくていい

2019/02/27(水) 14:37:13.41

SVMを理解する為にlibSVMで作ってみたんだけど、
動作を確認する為に学習データとサンプルデータ（とパラメータ）が載ってるサイトって無いですか？

2019/02/27(水) 14:40:17.34

P言語しか使えないプログラマって
CPUがどうやって動いているか知らないですもん。

知らなくても仕事でちゃんとプログラム作ってますから、
データ分析も全部知る必要ないと思います。

知らないけどちゃんと使えてる・動かしている、
というのは世の中にいくらでもありますよね。

2019/02/27(水) 14:42:40.83

自分がどうやって生まれてきたかも分からん

**デフォルトの名無しさん** (JP 0H7a-dRuN) · 2019/02/27(水) 18:24:24.61

ダウト

2019/02/27(水) 18:25:28.54

そろそろ、被写体を自動で認識して綺麗に切り抜いてくれる機能が
フォトショに実装されても良い頃なのに、AIを使ってるとは名ばかりの中途半端

2019/02/27(水) 18:41:06.02

現状、精度や柔軟性で人間超えるのはまだ難しい。
機能しているのは効率重視なタスク。

2019/02/27(水) 18:58:27.31

>>927
教師データに性別が入っていて、男性の方が採用率が高かったという
やるだけ無駄な結果だったんだっけ？

2019/02/27(水) 19:00:17.91

https://www.gizmodo.jp/2018/10/amazon-recruitment-ai-aborted-due-to-gender-bias.html

2019/02/27(水) 20:57:49.46

https://towardsdatascience.com/aifortrading-2edd6fac689d
機械学習で株価予想を徹底的にやり込んだ例

2019/02/27(水) 21:38:17.95

>>938
あまりにもフィットしすぎていて、自身の経験上では予測対象のデータを学習に読み込んでいるレベルだ
本当だとしたら凄いな

2019/02/27(水) 21:57:13.50

>>938
ガチ勢は楽しそうだけれど
実際大手証券はもっとガチ勢なんだろうなと思うとやって競馬、本当にやるなら競輪競艇くらいのほうが夢がありそうだよね

2019/02/27(水) 22:08:34.78

ていうかpythonはいつまでGILに縛られてるんだよ
GILなんとかしないと実際問題まともなプログラミング言語と言えない
numpyが優秀なだけで他はぱっとしない

2019/02/27(水) 23:50:14.09

>>938
これはよくある「前日に近い値を出力しているだけ」では？

2019/02/28(木) 00:08:09.21

株予測にMSEを使うとやらかしやすいミス

2019/02/28(木) 00:10:37.70

数値データの変動だけからの予測は限度がありそうだな
社会情勢やニュースも考慮できたら精度が上がりそう

2019/02/28(木) 00:19:05.22

株価だけだと
テクニカル分析を信じる人の割合+それに乗っかる人の割合
くらいでしか当たらないからね

2019/02/28(木) 01:14:47.99

>>868
重み更新を行わないステップがあると、lossとかのmetricsが全部nanになる
強化学習でフレームスキップをした時によくハマってた

そうじゃなかったら、loss functionの使い方を根本的に間違えてるとか？

2019/02/28(木) 09:07:56.62

>>938
須山敦志 Suyama Atsushi? @sammy_suyama
不確実性を無視して予測を「精度良く当てにいく」というのはあまり有用じゃないです。例えば株価の上昇をピンポイントで当てにいくよりも、「暴落しないこと」が言えた方がずっと有用。
https://twitter.com/sammy_suyama/status/1090399628841803778
https://twitter.com/5chan_nel (5ch newer account)

2019/02/28(木) 09:42:57.67

>>947
ポートフォリオ理論、30年以上前のクォンツの時代から、
本来はヘッジのために考えられ、その有効性が盛んに叫ばれても
みなさん運用（儲け）側にしか走らなかった。

分ってはいるが、そうやって使ってくれないという悩み。
焼き直しにすぎないのですが、価値が無いわけじゃないんだよな。

2019/02/28(木) 09:52:42.58

>>938
国内でも機械学習を用いて、自己資金で運用というのが
15年前から3年近く前まで、運用実績をWebサイトでずっと公開されて方がいた。

実際に相当に資産を増やされていたが、本業ではないので株についてのアルゴリズム
の見直しは本格的にされていなかったので、現在（２年か３年前から）は、為替に
主力を移して良いパフォーマンスをだされてますよ。

昔から興味のある方々にとっては有名なサイトでした。サイトは閉じられましたが
現在もPC７台使って自動運用中です。
ちなみに、リアルタイム取引ではないです。

2019/02/28(木) 11:08:48.92

ヘッジに使わていないとかどこの世界の人なのか
ヘッジャーとスペキュレーターとアービトラージャーは業務が別なだけ

2019/02/28(木) 12:28:54.67

米証券会社大手ゴールドマン・サックスには500名の
トレーダーが在籍していたが、AIトレードの普及で
今ではAIエンジニア3名に置き換わってしまったのは
有名な話ですよね。

先日、恩師によばれて大学のゼミ生たちに
プログラミングを教えに行ったら、
全員が機械学習で株価を予想しててマジで笑いましたｗ

2019/02/28(木) 12:36:40.24

>>951
どんなプログラミングを教えるんだ？
言語は？
機械学習とは具体的にどんな？

2019/02/28(木) 12:42:47.63

>>948
みんながそれ使うとゼロサムになるって証明されちゃったとか？

2019/02/28(木) 12:44:05.80

>>947
暴落しない事を当てるなんて不可能だろ
エンジニア風情は何でこうも市場の効率性に無知で自信過剰なんだ

>>951
置き換わってるのは内外問わず「執行」の部分
実際の投資戦略では線形回帰分析が主流どころかほぼ全て

2019/02/28(木) 12:49:06.81

>>952
Pythonで基礎的なアルゴリズムの実装を教えに行きました。
まあ、初心者向きですね。

学生連中が株価予測に使ってるのは、
主にSVR、ランダムフォレスト、ディープラーニング
などですけど、線形のSEMを使ってる学生もいました。

2019/02/28(木) 12:51:18.51

>>952
あなたはどんな言語でどういう方法で
予測をやってるんですか？

2019/02/28(木) 12:51:46.65

金儲けはいい動機になるんだなあ（笑）

2019/02/28(木) 12:53:11.33

>>955
基礎的なアルゴリズムとはどんな？
少なくとも学生が株価予想に使ってるアルゴリズムよりは高度なんだよな？

2019/02/28(木) 12:55:46.31

>>956
やってないよｗｗ

2019/02/28(木) 12:58:54.53

>>955
学生の株価予想はどれくらいの確率であたるの？
学生のほうがプロと比べて確率低いの？

2019/02/28(木) 13:24:35.42

>>958
全く違います。
基礎を教えて行っただけです。

で、基礎を教えに行ってみて
学生と話をしたら
株価の予想にのめりこんでる奴らばかりだった、
という話です。

それを全部説明すると話が長くなるので
なにをどのように教えたのかははしょっただけです。

株価の予想をやってないなら
聞かないでくださいよ。
馬鹿なんですか？

2019/02/28(木) 13:25:40.58

>>958
質問ばかりで何も役に立つ話がないので
聞きますが、どういう機械学習をどういう会社で何年ぐらい
やってるんですか？
細かく説明してください。

まさかただの馬鹿院生ですか？

2019/02/28(木) 13:28:47.76

>>961
自分の思い込みを前提に質問するのはやめような
まずは機械学習やっていますか？ときくのが当たり前だろ

2019/02/28(木) 13:40:08.80

東京大学理学部数学科に入りたい。

2019/02/28(木) 14:11:35.73

>>962
ここはにわかしかいないと思う

と言ってる俺も基礎知識しか無いし、
最近はgithubから落としてきてぐるぐる回してるだけだ
とてもじゃないけど追いつけない

2019/02/28(木) 14:13:07.14

>>963
その前提は止めて欲しい
確かにレベルは低いけど、機械学習をやってない奴がいる前提はさすがに悲しすぎる