【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/07/31(火) 18:30:26.13

なんか機械学習の本ポチった
スッキリした

2018/07/31(火) 18:36:14.60

機械学習の本、高いよね…

2018/07/31(火) 19:44:45.03

株価でも、何十年も相関関係を調べている

株価は実体経済よりも、半年先行している。
さらに、サザエさんの視聴率は、株価よりも3か月先行しているw

最も早い指標が、サザエさんw

視聴率が下がると、どこかの産業が活発になってきている証拠！
それが後に顕在化する

2018/07/31(火) 21:45:47.48

>>881
「すぐに使える! 業務で実践できる! Pythonによる AI・機械学習・深層学習アプリのつくり方」とかいう如何にも怪しい本買ったよ

2018/07/31(火) 22:24:54.80

>>883
ちょっとググったら github にソース置いてあるんだな、今っぽくて悪くはなさそう

2018/07/31(火) 23:18:02.32

>>882
サザエ相関は疑似だろ

2018/08/01(水) 05:30:31.83

>>883
良さそうじゃんこれ！

2018/08/01(水) 05:36:44.59

まずデータをどう集めるのかが大変だよね。

天気予測とかで、日本全国1000箇所ぐらいの温度、湿度、空の写真、海の写真とかを1分に1回計測して学習させたりとかしてみたいけど、国家プロジェクトなレベルの話になりそう。

2018/08/01(水) 07:51:44.99

だから機械学習を個人でやってもチュートリアル以外実用性のあることはほとんどできない
結局どのような組織に所属しているかが最重要

2018/08/01(水) 07:58:38.34

株のファンダでスクリーニングするくらいならそこそこいけるんじゃね
間違ってもテクニカル占いには手を出すなよ

2018/08/01(水) 11:36:03.42

>>888
すごく分かる
参考書見ながら独学でやってるけど実戦で役に立つイメージが全くわかない

2018/08/01(水) 11:51:08.69

そんなのプログラミングだって変わんないだろ

2018/08/01(水) 11:53:55.35

個人でやってるったって、
キチガイが勝手に関連付けを発見しているようなものだからな

風呂に入るタイミングでクラクションが鳴るから集団ストーキングされてる、みたいな

2018/08/01(水) 12:14:30.83

>>891
機械学習の大前提となる大量の学習データの入手の難易度が個人か企業などのそこそこ大きく組織かで天と地ほど違う
学習データを要しないプログラムであればむしろ個人の能力が大部分なので自分が優秀ならそれでいい

2018/08/01(水) 13:18:07.68

>>892
その通りだな
データサイエンスにおいて、因果関係の理解されていない相関という科学的に無価値なものにも価値が認められるのは、それが金になる可能性があるから
飯食ってウンコ垂れ流すだけの個人が金を生むデータを入手できるかというと、、

2018/08/01(水) 16:28:15.98

グーグルもtensorflowを無償公開したときに
重要なのは仕組みじゃなくて
どんなデータを持っていてどう使うかのほうが重要と言っていたね

2018/08/01(水) 16:40:24.73

例えば、カルチュアコンビニエンスクラブ（Tポイント）が持っている
データが使えたとして、何を分析し、それを、どう活かす？

2018/08/01(水) 18:00:11.47

どんな属性の人がいつどこで何を買いたがるかはあらゆる小売りが欲しがる情報だろ

2018/08/01(水) 18:02:53.77

>>896
エロ本は入り口右側より左側の方が売れる

2018/08/01(水) 18:27:25.33

すぐ思いつくことはすでにやられてるんだよな。

2018/08/01(水) 18:53:25.23

機械学習で何ができないか分かってきた。
機械学習ブームもいよいよ終焉か。

◆QZaw55cn4c (ﾜｯﾁｮｲ b260-tjON) · 2018/08/01(水) 19:19:33.34

>>900
＞いよいよ終焉か
…もう終わってしまうのですか？今からやろうと思っていました
そうだ、今までのブームのなかで出た最良の参考書を教えてください

2018/08/01(水) 19:39:11.85

0,1のようにクラス分けされたものではなく、連続値の要因分析をしたいと(連続値が高い時に効いているであろう要因など)考えた時に検討されるアルゴリズムはどういうものになるのでしょうか？
回帰木なのかな？と考えたのですが知識も浅く決定木くらいしかイメージが付かないのでそう考えたのですが他にはどのようなアルゴリズムを検討すべきでしょうか？
かなり初歩的な質問ですいません

2018/08/01(水) 19:44:14.28

>>902
それでどう木が関係するのかわかってないが。
2つの関係すべてで類似度を計算すれば似通ったのはわかるが。

2018/08/01(水) 22:26:39.25

>>902
重回帰分析

2018/08/01(水) 23:14:53.43

Google が良いのは、関連広告

アイドルで検索すれば、アイドルの広告、
プログラミングで検索すれば、プログラミングの広告のように、
その人に必要な広告を表示するから、有益

肉売り場に、焼肉のたれが置いてあるようなもので、便利

例えばギャンブルとか、会議室とか、
ユーザーに関係のない広告を見せられても、邪魔なだけ

自分に関係のない広告など、見ないし

2018/08/01(水) 23:25:23.98

>>905
前まではそういうターゲッティング広告が万能という風潮もあったけど、全くの新規顧客を開拓するのには向いてなくて、今はまたマスの誘導のための広告をどうするかが流行ってきてるってもっぱらの噂だよな

2018/08/02(木) 04:34:32.80

検索実績ないユーザーが新規に何を検索したかを調べればいいだけだな

2018/08/02(木) 05:54:22.94

そもそも志向性の無い人に、CMを見せて、嗜好を促すという毛色の違うアプローチなのである

2018/08/02(木) 07:15:57.20

ただのリコメンデーションじゃないの？

2018/08/02(木) 09:32:09.64

毛染めの宣伝？

2018/08/02(木) 10:17:36.43

欲しい商品をちょっと調べたりすると同じジャンルの広告ばかり出るようになるよね
もう買ったからその広告出しても意味ないのに、と思うことが多い

2018/08/03(金) 08:52:59.24

単体の決定木の可視化は作成出来たのですが、ランダムフォレストは可視化可能なのでしょうか？
ランダムフォレストの資料は沢山あるのですが可視化について書かれているものが見当たらないので質問させて頂きました
何百という木を作るので可視化しても意味が捉えにくいから可視化させないのかそもそも出来ないのかどちらなのでしょうか？

2018/08/03(金) 10:25:46.37

文字通り森だから無理
富士の樹海の写真でも貼っとけ

2018/08/03(金) 11:10:13.65

何をどう可視化したら満足するのだろう。

2018/08/03(金) 11:37:06.87

dot言語を吐いて見れば？

2018/08/03(金) 11:50:06.15

>>913
>>914
>>915

ありがとうございます
単体の決定木は見れたのでランダムフォレストのような大量の木はどんな風に見えるのか気になったのでやってみたかったのです
export_graphvizを使おうとするとエラーが出て、その内容で検索してみると不可能だという記事も見つかりました

2018/08/03(金) 13:53:04.88

>>916
多分pythonのsklearn使ってるんだと思うけどできるよ。
ただ、見てどうするんだろうとは思う。

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.tree import export_graphviz

X, y = load_iris(return_X_y=True)
cls = RandomForestClassifier()
cls.fit(X, y)

for i, t in enumerate(cls.estimators_):
　 export_graphviz(t, "tree_%02d.dot" % i)

2018/08/03(金) 17:34:15.59

>>900
結局、AIブームで儲かったのは
エンジニアにGPUを売ったエヌビディアだけというオチだったな

エヌビディアのGPU買ってAI開発して儲けた話は一つも聞いたことがない

2018/08/03(金) 17:55:26.25

そんなにGPUが売れたとは思えないが（笑）

2018/08/03(金) 17:55:47.34

普通に各社webサービス内部などでAI開発の成果が金稼いでるだろ

2018/08/03(金) 18:24:52.93

ＡＩで超儲けた！
って話は出ないね
ゴールドマンサックスがトレードに使ってるという公式発表は出たが、どこまで事実か

2018/08/03(金) 18:49:39.00

NvidiaのGPU売上はAIブームに乗って2015年以降3倍に増加
株価は10倍化

2018/08/03(金) 18:52:06.33

AIとトレードを結び付けないほうが良い。
ここで前も書いた気がするが、株価はAIでも、どんな手段でも予測できない可能性がある。
効率的市場仮説というやつだが。

2018/08/03(金) 18:56:03.53

正しいなら、いかなる手段でも予測できない事になるからAIですら無意味。

効率的市場仮説（こうりつてきしじょうかせつ）
現時点での株式市場には利用可能なすべての新たな情報が直ちに織り込まれており、超過リターンを得ることはできず、株価の予測は不可能であるという学説である。
ランダム・ウォークを説明する考え方になるが、科学的に証明はされてはおらず、確からしいという仮説の域を出ていない。
効率的市場仮説の下、株価指数連動型インデックスファンドとETF（上場投資信託）が誕生し、目覚ましく普及してきた。

https://www.nomura.co.jp/terms/japan/ko/A02426.html

2018/08/03(金) 19:05:59.42

株の目的は予測することじゃない
儲けることだ

2018/08/03(金) 19:09:08.19

システムが一切、予測できてないのに、儲かるんだったら運でしか無い。

2018/08/03(金) 19:11:52.62

ゴールドラッシュから、同じ事の繰り返しだな
金を掘る人よりも、金を掘る人に道具を売る人が金持ちになる

2018/08/03(金) 19:20:09.97

AIを使った投資で儲かるならグーグルがとっくに手を付けて成功しているはず
最先端の技術が真っ先に注ぎ込まれるのは軍事と金融

2018/08/03(金) 21:29:57.30

AIを使っているヘッジファンドが高リターンを出しているのは事実だし、
開発メンバーは、GoogleやIBMの最前線からヘッドハントされた精鋭揃い。

データに隠れている情報を引っ張り出し、
AIとして活用できることが出来る人間は、本当に、ごく僅かしか存在しないと思われる。

日本国内のポイントカード各社が、
6,000万～8,000万件の顧客の購買データを持っていながら、
広告ぐらいしか活かせていないのに象徴されるように

2018/08/03(金) 21:51:30.99

伝聞じゃなくて自分の経験談を話ししたら？w

2018/08/03(金) 21:54:11.13

与太話を聞いても嬉しくない

2018/08/03(金) 22:17:51.07

kaggleの電話番号認証のSMSが来ないんだけど
なんでかな？
+818012345678
+81-80-1234-5678
+8180-1234-5678
みたいの全部ダメ

2018/08/03(金) 22:51:10.13

GoogleやIBMの最前線からヘッドハントされた精鋭揃い

www

2018/08/04(土) 00:22:44.65

機械学習を使いこなすNetflix社員の年収は5300万円

2018/08/04(土) 03:09:52.81

ポイントカードじゃ何買ったかしかわからないだろ

2018/08/04(土) 07:10:35.49

ちょっと待って
PyTorch神じゃね？

2018/08/04(土) 09:00:52.22

今の言葉、じゃない

2018/08/04(土) 10:49:37.19

>>935
どこで誰がいつ何を買ったかまではわかるんじゃないの？

2018/08/04(土) 18:59:36.68

日本にいる限り、機械学習の論文をスクラッチで実装できるレベルになっても
大していい収入は得られないみたいだなあ
まあ。海の向こうでも5000万とかもらっているのは、
機械学習で新しいビジネスを開拓できる一部の人間だけみたいだけど

2018/08/04(土) 19:38:16.91

プリファード何とかの人たちは結構もらってると思うけど

2018/08/04(土) 20:03:19.36

論文読んで実装するだけで高級もらえる仕事なんて世界中どこにもねえだろ

2018/08/04(土) 20:04:54.18

>>939
いわゆるAI産業って基本的に詐欺だから、コンサルできないと金にはならないだろうな
実業で実質的な大きな利益を出すのはほぼ不可能でしょ

2018/08/04(土) 20:08:07.01

AIが詐欺ってそもそもアホな考えだぞ。
グーグルのアルファ碁でAIの実力が示されてて有効だ。
AIが、人間がプログラムするよりも、人間のプロよりも強くなった。

2018/08/04(土) 20:18:25.50

>>943
うん。AIすごいね。で、どうやって金を生み出すの？
そう聞かれて相手に夢を見せられるような回答ができる？
それがコンサル力だよ
実際に利益が出るかどうかは問題じゃないし、問題にしてはいけない
そこに自ら手を突っ込んでしまうと一気に泥臭くなって単価が下がる

2018/08/04(土) 20:43:50.24

そんなものに金払わねーよ、素人丸分かり

2018/08/04(土) 22:09:04.47

たいして売上実績もないのに将来性だけで上場したHEROSの社長が一番AIを上手く活用してるよね

2018/08/04(土) 23:07:24.74

>>945
君はもちろん払わないだろうけど、基本的にデータ分析やAI系の商売相手ってITについて素人同然のユーザー企業だからね
流行りだからなんかやってみることになったけどよくわかんないんだよね～予算あるけど何やったらいいのかな～くらいの意識よ
で金取ってPoCして「やれることはやった。期待したほどの効果が出なかったのは、お前らが選定したテーマとデータが悪いから。」で客に押し付けて逃げる
それがAIビジネス

2018/08/04(土) 23:08:37.31

データ突っ込んだら必要な前処理と
最適な学習手法と
最適な評価指標を自動で教えてくれるツールが欲しいわ。

2018/08/05(日) 02:02:53.14

1銘柄の株価上下を予測するのが精度はでなくても、
1000銘柄くらい一気に同時学習させて
好調な上位10銘柄を出力させてそれらに
分散投資すればいいのではないだろうか。
問題は売却タイミングだな。
1度買ってしまったものはその銘柄の上下を
予測しなけりゃならんからな。
となると1ヶ月後に株価の増分が最大になる銘柄の
上位10を予測させて1ヶ月後に必ず売却すれば
いいのか。
テスト精度がそれなりに良くて、
勿論時系列データのSARIMAXを考慮すれば上手く
行きそうな気もするが…

2018/08/05(日) 05:33:16.06

じゃあやれよ

2018/08/05(日) 05:40:51.48

>「やれることはやった。期待したほどの効果が出なかったのは、お前らが選定したテーマとデータが悪いから。」で客に押し付けて逃げる
それがAIビジネス
請負ならそれでいいんだろうけどね

2018/08/05(日) 06:51:28.64

自社事業ならそれが社内の部門同士の話に置き換わるだけだよ
AIやる人はコストセンターだから厳格な利益目標を求められる立場ではない
プロフィットでデータやってる人って技術的にはエクセルとBIの職人でしかないよ

2018/08/05(日) 06:58:51.26

>>948
DataRobotがそれできるんじゃないの？

2018/08/05(日) 07:33:50.32

>949
マジレスすると市場でそれやっている連中の時間軸はms単位やで

2018/08/05(日) 07:53:53.49

株やるならインデックスの対象銘柄をファンダメンタルで半分くらいに絞って、中期くらいで分散投資するのはどうだろう
ベンチマークを少し上回るくらいは難しくなさそうだし、
チャートを学習させるよりは経済の本質的な勉強になるから結果的にダメでも得るものがあるだろう

2018/08/05(日) 07:54:30.68

今更ながらアルファ碁とアルファゼロの論文読んでるけど、
これで碁が強くなるのは分かるけど、将棋まで強くなったってのは眉唾だな

序盤は強くなりそうだけど、中盤と終盤は従来の方法の方が絶対に強そう

2018/08/05(日) 08:47:38.75

論文読んで囲碁、将棋強くなる（苦笑）

2018/08/05(日) 10:29:47.35

>>956
そこは俺も引っかかる。
確かモンテカルロサーチはAI将棋やってる人達が色々試したけどあんまり結果出なかったって話だと思った。
というのも将棋は囲碁と違って良い手、悪い手の差が激しいからより深いサーチが有効って
ゲームだから。

2018/08/05(日) 10:33:29.99

>>947
てかユーザーはユーザーで普通にまともにデータを用意できないというか、
そもそもスキーマーがぶっ壊れまくってるのを押し付けてくるユーザーも普通にいて
機械学習以前の問題。

はっきり言ってどっちもどっちで腐りまくってんだよ。

2018/08/05(日) 15:24:20.69

chainerって結構お手軽なんじゃね？
kerasはラップされすぎてよくわからん

2018/08/05(日) 15:25:54.00

>>921
100%事実でしょ、特に仮想通貨がやばい
単純なsdf(FXと現物の価格乖離を防ぐシステム)のBOT+AIで
売り板や買い板出してる奴が機械か人間かを
出してる板の枚数と取引のキャンセルスピードなんかで判別できる
成行か指値かも同様に判別できて、sdfの境界を利用して取引命令の更新が遅い人間から
一気に証拠金を搾り取る事が可能になる
一度そいつから絞り取ったら、大資本のAIは基本的にそいつがロスカットされるまで相場を急変はさせない

いまFX(特に仮想通貨の)をやる奴は博打どころかほぼAIに証拠金巻き上げられるってことを理解してやるべき
例外は直後のニュース要素のみだからな

2018/08/05(日) 15:28:37.32

sfdBOTだった

2018/08/05(日) 16:22:13.64

>>961
そのAI、CNNと関係ないじゃん

2018/08/05(日) 17:01:38.23

なんで日本って投資後進国って言われてるのにFXや仮想通貨は活発なんだろう

2018/08/05(日) 17:14:16.34

投機先進国

2018/08/05(日) 19:49:13.56

仮想通貨の利益の源泉は
株やFXに比べて異常に広いスプレッドと
取引所によって提示価格が大きく違うことが
あるのを利用したサヤ取りだろう
タイミングを見計らってこれらの取引を行うのは
システム取引ではあるけれどAIは無関係と思われる

2018/08/06(月) 04:50:06.88

騙されやすいから

2018/08/06(月) 08:51:13.71

違うスレで答え貰えないのでちょっと話ずれてるかもしれないですがここで質問させてください
ニューラルネットの質問なんですがバイアスを入力1、重みbとして扱う時に
X=[x1,...,xn,1]
W=[[w11,...,w1k],...[wn1,...,wnk],
[b1,...,bk]]
Y=XW=(1,n+1)
になりますよね
隠れ層がある場合は次の層のバイアスのためにXWの最後の列が出力1になるようにしないといけないと思うのですが
W=[[w11,...,w1k,0],...[wn1,...,wnk,0],
[b1,...,bk,1]]
こうしてもいいのでしょうか

2018/08/06(月) 13:49:02.15

素直に行列の足し算を使って
[XW+B]の形にした方がすっきりすると思う

**デフォルトの名無しさん** (ｽﾌｯ Sd1f-kxWV) · 2018/08/06(月) 14:51:06.04

すいません。
肌の領域判定をsklearn使ってやろうと思ってるですけど、識別機でおすすめとかありましたら教えて下さい。

2018/08/06(月) 15:18:36.24

昨晩サイエンスZEROで内視鏡のガン検診で人間の医者より精度良いって言ってたな

2018/08/06(月) 15:49:22.85

普通にsegnetでよくね

2018/08/06(月) 19:29:14.78

とりあえず何も考えずxgboostにでも突っ込んどけ。

2018/08/06(月) 20:59:21.55

高卒低学歴だけど機械学習の勉強始めて数学とか分からないまま参考書進めてたけど出てくる結果が全然分からなくて統計の勉強も始めた
めちゃめちゃ遠回りだけど先に繋がると信じたい

2018/08/06(月) 21:08:26.17

高いのか低いのかはっきりしたまえ

2018/08/06(月) 23:40:41.40

実戦データマイニング: AIによる株と為替の予測単行本 – 2018/6/20
https://www.amazon.co.jp/dp/4274222373/

この本どうなのだろう？
なんかユーザーレビューの評価が極端に悪いのだが

2018/08/06(月) 23:54:40.18

AIに、株やFXは向いてないとおもってるが。
上で効率的市場仮説をいってたが。これが成立するならAI無効。
そもそも、システムトレードでAIを使ってるのか?
人間がやる思考、作業を自動化してるだけかもしれない。

2018/08/07(火) 00:00:42.44

実践以前に株やFXで、AIが有効である可能性がある理屈、理論を考えるべき。
有効でない物をいくらいじくっても何もならない。
簡単にいえば確実に勝てる手法ともいえるし、膨大な学習すればそれが可能だったらそれでもいいし。
理屈上、ありえるのか。

2018/08/07(火) 00:36:28.37

ファンダメンタルなら有効でしょ
アドホック色が強くなるし真面目に経済の勉強しなきゃいけないから人気ないけど