【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/07/30(月) 17:44:22.83

募集の目的は他社に盗られる前に青田買い

**デフォルトの名無しさん** (JP 0H5b-0+cq) · 2018/07/30(月) 18:13:21.28

seだとやりたがる人がいないからね。。。

2018/07/30(月) 18:28:49.66

>>845
前原誠司に怒られるぞ。

2018/07/30(月) 21:51:32.60

H'とW'の+1はどこから来たのでしょうか？
実際に数を入れてみたら近い値が出てきました
ちなみにDlの式がないのですが何を表してるのでしょうか?
https://i.imgur.com/zU03Gg6.jpg

2018/07/30(月) 23:38:17.98

15mの道に木を5m間隔で植えたら15/5+1本植えられる

2018/07/31(火) 00:37:03.14

>>852
まあ実際のデータサイエンティストの仕事ってそんなもんだがな。
9割が前処理コードと実験環境構築。

2018/07/31(火) 03:19:28.83

理学分野じゃないのにサイエンスが入ってるという糞用語つくる時点で営業目的の表現だし
ＰＧをＳＥってよびかえるのと同じ

2018/07/31(火) 04:30:42.52

SEやね

2018/07/31(火) 06:37:45.56

バスケット分析とかだろ

紙オムツを買う男は、一緒に缶ビールも買うとか、
焼肉のたれは、肉の売り場に置いた方が、よく売れるとか

2018/07/31(火) 08:55:37.87

バレー分析

2018/07/31(火) 08:59:30.99

そんな相関さえ見えればいいようなものなら専門家でなくても誰でも半自動ぐらいでできる

2018/07/31(火) 12:02:51.03

機械学習ならpythonとRどっちをマスターすべきかさっさと教えろ

2018/07/31(火) 12:04:22.30

両方

2018/07/31(火) 12:04:59.69

両方できるようになる

2018/07/31(火) 12:09:43.10

>>868
深層学習を中心にやるならpython
機械学習全般ならお好きな方を

2018/07/31(火) 12:14:26.58

今から新規に始める場合、既存のライブラリなどの資産の有無の縛りがないならpythonにしない理由はない

2018/07/31(火) 12:32:32.11

R 面白いじゃん、プログラミングが面倒に感じる人ならいいと思うけどな

… と書いてみたものの、R vs Python 論争は今更かw
好きなのやればいいいんじゃないの、不都合が発生したら両方やればいい

2018/07/31(火) 12:59:36.49

>>867
だが実際にやるとなるとめんどいんだよ。

2018/07/31(火) 14:12:18.39

今さら無駄なので両方無しよ

2018/07/31(火) 14:28:03.73

Ｒはマニュアル見て動かせばいいだけだから勉強するってほどのことがない

2018/07/31(火) 15:44:48.81

日本ハム清宮、ノースロー調整続け８・１右肘再検査
https://www.nikkansports.com/baseball/news/201807280000142.html

清宮って投手だっけ？？ w

2018/07/31(火) 15:45:17.91

ごめんなさい誤爆しました m(_ _)m

2018/07/31(火) 18:29:15.81

肩や肘けがしてたら守備も出来ないし打てない罠

2018/07/31(火) 18:30:26.13

なんか機械学習の本ポチった
スッキリした

2018/07/31(火) 18:36:14.60

機械学習の本、高いよね…

2018/07/31(火) 19:44:45.03

株価でも、何十年も相関関係を調べている

株価は実体経済よりも、半年先行している。
さらに、サザエさんの視聴率は、株価よりも3か月先行しているw

最も早い指標が、サザエさんw

視聴率が下がると、どこかの産業が活発になってきている証拠！
それが後に顕在化する

2018/07/31(火) 21:45:47.48

>>881
「すぐに使える! 業務で実践できる! Pythonによる AI・機械学習・深層学習アプリのつくり方」とかいう如何にも怪しい本買ったよ

2018/07/31(火) 22:24:54.80

>>883
ちょっとググったら github にソース置いてあるんだな、今っぽくて悪くはなさそう

2018/07/31(火) 23:18:02.32

>>882
サザエ相関は疑似だろ

2018/08/01(水) 05:30:31.83

>>883
良さそうじゃんこれ！

2018/08/01(水) 05:36:44.59

まずデータをどう集めるのかが大変だよね。

天気予測とかで、日本全国1000箇所ぐらいの温度、湿度、空の写真、海の写真とかを1分に1回計測して学習させたりとかしてみたいけど、国家プロジェクトなレベルの話になりそう。

2018/08/01(水) 07:51:44.99

だから機械学習を個人でやってもチュートリアル以外実用性のあることはほとんどできない
結局どのような組織に所属しているかが最重要

2018/08/01(水) 07:58:38.34

株のファンダでスクリーニングするくらいならそこそこいけるんじゃね
間違ってもテクニカル占いには手を出すなよ

2018/08/01(水) 11:36:03.42

>>888
すごく分かる
参考書見ながら独学でやってるけど実戦で役に立つイメージが全くわかない

2018/08/01(水) 11:51:08.69

そんなのプログラミングだって変わんないだろ

2018/08/01(水) 11:53:55.35

個人でやってるったって、
キチガイが勝手に関連付けを発見しているようなものだからな

風呂に入るタイミングでクラクションが鳴るから集団ストーキングされてる、みたいな

2018/08/01(水) 12:14:30.83

>>891
機械学習の大前提となる大量の学習データの入手の難易度が個人か企業などのそこそこ大きく組織かで天と地ほど違う
学習データを要しないプログラムであればむしろ個人の能力が大部分なので自分が優秀ならそれでいい

2018/08/01(水) 13:18:07.68

>>892
その通りだな
データサイエンスにおいて、因果関係の理解されていない相関という科学的に無価値なものにも価値が認められるのは、それが金になる可能性があるから
飯食ってウンコ垂れ流すだけの個人が金を生むデータを入手できるかというと、、

2018/08/01(水) 16:28:15.98

グーグルもtensorflowを無償公開したときに
重要なのは仕組みじゃなくて
どんなデータを持っていてどう使うかのほうが重要と言っていたね

2018/08/01(水) 16:40:24.73

例えば、カルチュアコンビニエンスクラブ（Tポイント）が持っている
データが使えたとして、何を分析し、それを、どう活かす？

2018/08/01(水) 18:00:11.47

どんな属性の人がいつどこで何を買いたがるかはあらゆる小売りが欲しがる情報だろ

2018/08/01(水) 18:02:53.77

>>896
エロ本は入り口右側より左側の方が売れる

2018/08/01(水) 18:27:25.33

すぐ思いつくことはすでにやられてるんだよな。

2018/08/01(水) 18:53:25.23

機械学習で何ができないか分かってきた。
機械学習ブームもいよいよ終焉か。

◆QZaw55cn4c (ﾜｯﾁｮｲ b260-tjON) · 2018/08/01(水) 19:19:33.34

>>900
＞いよいよ終焉か
…もう終わってしまうのですか？今からやろうと思っていました
そうだ、今までのブームのなかで出た最良の参考書を教えてください

2018/08/01(水) 19:39:11.85

0,1のようにクラス分けされたものではなく、連続値の要因分析をしたいと(連続値が高い時に効いているであろう要因など)考えた時に検討されるアルゴリズムはどういうものになるのでしょうか？
回帰木なのかな？と考えたのですが知識も浅く決定木くらいしかイメージが付かないのでそう考えたのですが他にはどのようなアルゴリズムを検討すべきでしょうか？
かなり初歩的な質問ですいません

2018/08/01(水) 19:44:14.28

>>902
それでどう木が関係するのかわかってないが。
2つの関係すべてで類似度を計算すれば似通ったのはわかるが。

2018/08/01(水) 22:26:39.25

>>902
重回帰分析

2018/08/01(水) 23:14:53.43

Google が良いのは、関連広告

アイドルで検索すれば、アイドルの広告、
プログラミングで検索すれば、プログラミングの広告のように、
その人に必要な広告を表示するから、有益

肉売り場に、焼肉のたれが置いてあるようなもので、便利

例えばギャンブルとか、会議室とか、
ユーザーに関係のない広告を見せられても、邪魔なだけ

自分に関係のない広告など、見ないし

2018/08/01(水) 23:25:23.98

>>905
前まではそういうターゲッティング広告が万能という風潮もあったけど、全くの新規顧客を開拓するのには向いてなくて、今はまたマスの誘導のための広告をどうするかが流行ってきてるってもっぱらの噂だよな

2018/08/02(木) 04:34:32.80

検索実績ないユーザーが新規に何を検索したかを調べればいいだけだな

2018/08/02(木) 05:54:22.94

そもそも志向性の無い人に、CMを見せて、嗜好を促すという毛色の違うアプローチなのである

2018/08/02(木) 07:15:57.20

ただのリコメンデーションじゃないの？

2018/08/02(木) 09:32:09.64

毛染めの宣伝？

2018/08/02(木) 10:17:36.43

欲しい商品をちょっと調べたりすると同じジャンルの広告ばかり出るようになるよね
もう買ったからその広告出しても意味ないのに、と思うことが多い

2018/08/03(金) 08:52:59.24

単体の決定木の可視化は作成出来たのですが、ランダムフォレストは可視化可能なのでしょうか？
ランダムフォレストの資料は沢山あるのですが可視化について書かれているものが見当たらないので質問させて頂きました
何百という木を作るので可視化しても意味が捉えにくいから可視化させないのかそもそも出来ないのかどちらなのでしょうか？

2018/08/03(金) 10:25:46.37

文字通り森だから無理
富士の樹海の写真でも貼っとけ

2018/08/03(金) 11:10:13.65

何をどう可視化したら満足するのだろう。

2018/08/03(金) 11:37:06.87

dot言語を吐いて見れば？

2018/08/03(金) 11:50:06.15

>>913
>>914
>>915

ありがとうございます
単体の決定木は見れたのでランダムフォレストのような大量の木はどんな風に見えるのか気になったのでやってみたかったのです
export_graphvizを使おうとするとエラーが出て、その内容で検索してみると不可能だという記事も見つかりました

2018/08/03(金) 13:53:04.88

>>916
多分pythonのsklearn使ってるんだと思うけどできるよ。
ただ、見てどうするんだろうとは思う。

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.tree import export_graphviz

X, y = load_iris(return_X_y=True)
cls = RandomForestClassifier()
cls.fit(X, y)

for i, t in enumerate(cls.estimators_):
　 export_graphviz(t, "tree_%02d.dot" % i)

2018/08/03(金) 17:34:15.59

>>900
結局、AIブームで儲かったのは
エンジニアにGPUを売ったエヌビディアだけというオチだったな

エヌビディアのGPU買ってAI開発して儲けた話は一つも聞いたことがない

2018/08/03(金) 17:55:26.25

そんなにGPUが売れたとは思えないが（笑）

2018/08/03(金) 17:55:47.34

普通に各社webサービス内部などでAI開発の成果が金稼いでるだろ

2018/08/03(金) 18:24:52.93

ＡＩで超儲けた！
って話は出ないね
ゴールドマンサックスがトレードに使ってるという公式発表は出たが、どこまで事実か

2018/08/03(金) 18:49:39.00

NvidiaのGPU売上はAIブームに乗って2015年以降3倍に増加
株価は10倍化

2018/08/03(金) 18:52:06.33

AIとトレードを結び付けないほうが良い。
ここで前も書いた気がするが、株価はAIでも、どんな手段でも予測できない可能性がある。
効率的市場仮説というやつだが。

2018/08/03(金) 18:56:03.53

正しいなら、いかなる手段でも予測できない事になるからAIですら無意味。

効率的市場仮説（こうりつてきしじょうかせつ）
現時点での株式市場には利用可能なすべての新たな情報が直ちに織り込まれており、超過リターンを得ることはできず、株価の予測は不可能であるという学説である。
ランダム・ウォークを説明する考え方になるが、科学的に証明はされてはおらず、確からしいという仮説の域を出ていない。
効率的市場仮説の下、株価指数連動型インデックスファンドとETF（上場投資信託）が誕生し、目覚ましく普及してきた。

https://www.nomura.co.jp/terms/japan/ko/A02426.html

2018/08/03(金) 19:05:59.42

株の目的は予測することじゃない
儲けることだ

2018/08/03(金) 19:09:08.19

システムが一切、予測できてないのに、儲かるんだったら運でしか無い。

2018/08/03(金) 19:11:52.62

ゴールドラッシュから、同じ事の繰り返しだな
金を掘る人よりも、金を掘る人に道具を売る人が金持ちになる

2018/08/03(金) 19:20:09.97

AIを使った投資で儲かるならグーグルがとっくに手を付けて成功しているはず
最先端の技術が真っ先に注ぎ込まれるのは軍事と金融

2018/08/03(金) 21:29:57.30

AIを使っているヘッジファンドが高リターンを出しているのは事実だし、
開発メンバーは、GoogleやIBMの最前線からヘッドハントされた精鋭揃い。

データに隠れている情報を引っ張り出し、
AIとして活用できることが出来る人間は、本当に、ごく僅かしか存在しないと思われる。

日本国内のポイントカード各社が、
6,000万～8,000万件の顧客の購買データを持っていながら、
広告ぐらいしか活かせていないのに象徴されるように

2018/08/03(金) 21:51:30.99

伝聞じゃなくて自分の経験談を話ししたら？w

2018/08/03(金) 21:54:11.13

与太話を聞いても嬉しくない

2018/08/03(金) 22:17:51.07

kaggleの電話番号認証のSMSが来ないんだけど
なんでかな？
+818012345678
+81-80-1234-5678
+8180-1234-5678
みたいの全部ダメ

2018/08/03(金) 22:51:10.13

GoogleやIBMの最前線からヘッドハントされた精鋭揃い

www

2018/08/04(土) 00:22:44.65

機械学習を使いこなすNetflix社員の年収は5300万円

2018/08/04(土) 03:09:52.81

ポイントカードじゃ何買ったかしかわからないだろ

2018/08/04(土) 07:10:35.49

ちょっと待って
PyTorch神じゃね？

2018/08/04(土) 09:00:52.22

今の言葉、じゃない

2018/08/04(土) 10:49:37.19

>>935
どこで誰がいつ何を買ったかまではわかるんじゃないの？

2018/08/04(土) 18:59:36.68

日本にいる限り、機械学習の論文をスクラッチで実装できるレベルになっても
大していい収入は得られないみたいだなあ
まあ。海の向こうでも5000万とかもらっているのは、
機械学習で新しいビジネスを開拓できる一部の人間だけみたいだけど

2018/08/04(土) 19:38:16.91

プリファード何とかの人たちは結構もらってると思うけど

2018/08/04(土) 20:03:19.36

論文読んで実装するだけで高級もらえる仕事なんて世界中どこにもねえだろ

2018/08/04(土) 20:04:54.18

>>939
いわゆるAI産業って基本的に詐欺だから、コンサルできないと金にはならないだろうな
実業で実質的な大きな利益を出すのはほぼ不可能でしょ

2018/08/04(土) 20:08:07.01

AIが詐欺ってそもそもアホな考えだぞ。
グーグルのアルファ碁でAIの実力が示されてて有効だ。
AIが、人間がプログラムするよりも、人間のプロよりも強くなった。

2018/08/04(土) 20:18:25.50

>>943
うん。AIすごいね。で、どうやって金を生み出すの？
そう聞かれて相手に夢を見せられるような回答ができる？
それがコンサル力だよ
実際に利益が出るかどうかは問題じゃないし、問題にしてはいけない
そこに自ら手を突っ込んでしまうと一気に泥臭くなって単価が下がる

2018/08/04(土) 20:43:50.24

そんなものに金払わねーよ、素人丸分かり

2018/08/04(土) 22:09:04.47

たいして売上実績もないのに将来性だけで上場したHEROSの社長が一番AIを上手く活用してるよね

2018/08/04(土) 23:07:24.74

>>945
君はもちろん払わないだろうけど、基本的にデータ分析やAI系の商売相手ってITについて素人同然のユーザー企業だからね
流行りだからなんかやってみることになったけどよくわかんないんだよね～予算あるけど何やったらいいのかな～くらいの意識よ
で金取ってPoCして「やれることはやった。期待したほどの効果が出なかったのは、お前らが選定したテーマとデータが悪いから。」で客に押し付けて逃げる
それがAIビジネス

2018/08/04(土) 23:08:37.31

データ突っ込んだら必要な前処理と
最適な学習手法と
最適な評価指標を自動で教えてくれるツールが欲しいわ。

2018/08/05(日) 02:02:53.14

1銘柄の株価上下を予測するのが精度はでなくても、
1000銘柄くらい一気に同時学習させて
好調な上位10銘柄を出力させてそれらに
分散投資すればいいのではないだろうか。
問題は売却タイミングだな。
1度買ってしまったものはその銘柄の上下を
予測しなけりゃならんからな。
となると1ヶ月後に株価の増分が最大になる銘柄の
上位10を予測させて1ヶ月後に必ず売却すれば
いいのか。
テスト精度がそれなりに良くて、
勿論時系列データのSARIMAXを考慮すれば上手く
行きそうな気もするが…

2018/08/05(日) 05:33:16.06

じゃあやれよ

2018/08/05(日) 05:40:51.48

>「やれることはやった。期待したほどの効果が出なかったのは、お前らが選定したテーマとデータが悪いから。」で客に押し付けて逃げる
それがAIビジネス
請負ならそれでいいんだろうけどね

2018/08/05(日) 06:51:28.64

自社事業ならそれが社内の部門同士の話に置き換わるだけだよ
AIやる人はコストセンターだから厳格な利益目標を求められる立場ではない
プロフィットでデータやってる人って技術的にはエクセルとBIの職人でしかないよ

2018/08/05(日) 06:58:51.26

>>948
DataRobotがそれできるんじゃないの？

2018/08/05(日) 07:33:50.32

>949
マジレスすると市場でそれやっている連中の時間軸はms単位やで

2018/08/05(日) 07:53:53.49

株やるならインデックスの対象銘柄をファンダメンタルで半分くらいに絞って、中期くらいで分散投資するのはどうだろう
ベンチマークを少し上回るくらいは難しくなさそうだし、
チャートを学習させるよりは経済の本質的な勉強になるから結果的にダメでも得るものがあるだろう

2018/08/05(日) 07:54:30.68

今更ながらアルファ碁とアルファゼロの論文読んでるけど、
これで碁が強くなるのは分かるけど、将棋まで強くなったってのは眉唾だな

序盤は強くなりそうだけど、中盤と終盤は従来の方法の方が絶対に強そう

2018/08/05(日) 08:47:38.75

論文読んで囲碁、将棋強くなる（苦笑）