【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/07/28(土) 15:03:33.59

手法が難しいほど研究とか言ってる馬鹿がきて笑う

2018/07/28(土) 15:14:44.21

>>820
たまたま飼育していた蚊の傾向が判っただけで
同じ遺伝子の蚊だと意味がない気もする
日本中世界中の蚊で試すとか
違う種類の蚊でも試したのかな

2018/07/28(土) 15:18:54.57

>>826
こういうのは検証手法を考案し有意な結果を得たこと自体に意義があるんだよ
あとはアース製薬の仕事

2018/07/28(土) 15:24:29.04

なるほど
アースや金鳥やフマキラーが追従して論文書けばノーベル賞か

2018/07/28(土) 18:21:16.67

>>821
それだと田中耕一さんの受賞がわからない。
中村修二さんは目立ってたけど。

2018/07/28(土) 19:23:10.44

>>827
論文さらっと読んだ感じだと有意と言えるかどうか分からんけどなあ。
まあ追試して検証する必要あるね。

2018/07/28(土) 19:33:44.35

島津の田中さんみたいな発見や発明型のノーベル賞はすごいと思うけど、重力波とかニュートリノのカミオカンデとかわかってることを確認する型のノーベル賞は若干落ちる気がする

金集めて人使う経営者的能力って感じで
いやそういう能力の人も大切なのはわかるんだけどさ

◆QZaw55cn4c (ﾜｯﾁｮｲ b260-tjON) · 2018/07/28(土) 21:16:03.15

>>831
＞重力波とかニュートリノのカミオカンデとかわかってることを確認する型のノーベル賞
いや、実験をはじめた時点では、理論が嘘である可能性を織り込んでいるんだよ
理論が成立しないかもしれない、と思いながら、それでも、その理論を理解し咀嚼し（普通は、嘘かもしれない理論を学ぶ気はしない）、その理論に載って実験器具を設計する
並大抵の覚悟ではできないと思うよ…

2018/07/28(土) 21:40:34.64

>>832
所得税は納めてるの？

2018/07/29(日) 15:53:26.75

>>831
ほんそれ

2018/07/29(日) 15:55:32.35

あとカミオカンデは２回受賞してるけど
一回目のは確認型だけど
二回目のは失敗からの新発見だったかもしれない

2018/07/29(日) 21:05:29.91

底辺ワイ、すげぇ難しい話しててついていけない

2018/07/29(日) 22:04:57.12

安心しろ。偉そうに書いてるだけで書いてる人たちが何かしたわけじゃない

2018/07/29(日) 22:06:29.55

ホントにそうだよなw

2018/07/29(日) 22:07:09.93

大手のデータ分析インターン受かった

2018/07/29(日) 22:12:45.57

安心しろ。ただの崩れだ（笑）

2018/07/29(日) 22:15:38.95

企業のデータ分析なんかコンサル力がないと完全に社内ニートやで

2018/07/29(日) 23:59:37.27

社内ニートで金もらえるならむしろラッキーじゃないか

2018/07/30(月) 04:18:06.28

>>842
お茶が温いので入れ直してくれるかな

2018/07/30(月) 05:17:00.51

>>842
これコピーとって綴じてくれ５０部

2018/07/30(月) 08:48:38.99

>>842
焼きそばパン買ってきて！

2018/07/30(月) 08:52:15.48

>>839

関西P社？
このスレにそんな実力者がいるとは

2018/07/30(月) 08:54:50.86

自演乙ｗ

2018/07/30(月) 09:09:39.17

従来のseがソレになっただけのような

2018/07/30(月) 09:24:52.12

seやな

2018/07/30(月) 12:36:08.44

インターンなんてse代わりに使うには教育コストパフォーマンス悪すぎじゃないか
しかも少ししたら居なくなるわけだし

**デフォルトの名無しさん** (JP 0H5b-0+cq) · 2018/07/30(月) 12:44:40.83

そりゃあいい気持ちにしておいて
seを確保するためだろ

2018/07/30(月) 14:04:41.32

DSの底辺の仕事は、汚い前処理をひたすらやらされるポジだよ
高卒でやってる人もおる。そこからでも、がんばれば這い上がれるんだけどね
アルバイトで、未経験どころか知識がなくても受け入れてくれる求人もあるにはあるから
興味があれば突撃してみるといい

2018/07/30(月) 14:26:51.39

任天堂売れてるらしいな

2018/07/30(月) 17:10:35.28

P社って、データサイエンティスト集めてるけど、AIに力を入れるわけでも無し、
何を企んでいるのだろうか

2018/07/30(月) 17:36:55.74

真似した

2018/07/30(月) 17:43:22.51

データサイエンティストは、ガチに売上に貢献するネタ見つけたら門外不出扱いになるから、
当たり前だが外部に公開なんて出来ないよ。

上っ面撫でてるような話ばかり取り沙汰されてAIブームとか言われてるけど。

2018/07/30(月) 17:44:22.83

募集の目的は他社に盗られる前に青田買い

**デフォルトの名無しさん** (JP 0H5b-0+cq) · 2018/07/30(月) 18:13:21.28

seだとやりたがる人がいないからね。。。

2018/07/30(月) 18:28:49.66

>>845
前原誠司に怒られるぞ。

2018/07/30(月) 21:51:32.60

H'とW'の+1はどこから来たのでしょうか？
実際に数を入れてみたら近い値が出てきました
ちなみにDlの式がないのですが何を表してるのでしょうか?
https://i.imgur.com/zU03Gg6.jpg

2018/07/30(月) 23:38:17.98

15mの道に木を5m間隔で植えたら15/5+1本植えられる

2018/07/31(火) 00:37:03.14

>>852
まあ実際のデータサイエンティストの仕事ってそんなもんだがな。
9割が前処理コードと実験環境構築。

2018/07/31(火) 03:19:28.83

理学分野じゃないのにサイエンスが入ってるという糞用語つくる時点で営業目的の表現だし
ＰＧをＳＥってよびかえるのと同じ

2018/07/31(火) 04:30:42.52

SEやね

2018/07/31(火) 06:37:45.56

バスケット分析とかだろ

紙オムツを買う男は、一緒に缶ビールも買うとか、
焼肉のたれは、肉の売り場に置いた方が、よく売れるとか

2018/07/31(火) 08:55:37.87

バレー分析

2018/07/31(火) 08:59:30.99

そんな相関さえ見えればいいようなものなら専門家でなくても誰でも半自動ぐらいでできる

2018/07/31(火) 12:02:51.03

機械学習ならpythonとRどっちをマスターすべきかさっさと教えろ

2018/07/31(火) 12:04:22.30

両方

2018/07/31(火) 12:04:59.69

両方できるようになる

2018/07/31(火) 12:09:43.10

>>868
深層学習を中心にやるならpython
機械学習全般ならお好きな方を

2018/07/31(火) 12:14:26.58

今から新規に始める場合、既存のライブラリなどの資産の有無の縛りがないならpythonにしない理由はない

2018/07/31(火) 12:32:32.11

R 面白いじゃん、プログラミングが面倒に感じる人ならいいと思うけどな

… と書いてみたものの、R vs Python 論争は今更かw
好きなのやればいいいんじゃないの、不都合が発生したら両方やればいい

2018/07/31(火) 12:59:36.49

>>867
だが実際にやるとなるとめんどいんだよ。

2018/07/31(火) 14:12:18.39

今さら無駄なので両方無しよ

2018/07/31(火) 14:28:03.73

Ｒはマニュアル見て動かせばいいだけだから勉強するってほどのことがない

2018/07/31(火) 15:44:48.81

日本ハム清宮、ノースロー調整続け８・１右肘再検査
https://www.nikkansports.com/baseball/news/201807280000142.html

清宮って投手だっけ？？ w

2018/07/31(火) 15:45:17.91

ごめんなさい誤爆しました m(_ _)m

2018/07/31(火) 18:29:15.81

肩や肘けがしてたら守備も出来ないし打てない罠

2018/07/31(火) 18:30:26.13

なんか機械学習の本ポチった
スッキリした

2018/07/31(火) 18:36:14.60

機械学習の本、高いよね…

2018/07/31(火) 19:44:45.03

株価でも、何十年も相関関係を調べている

株価は実体経済よりも、半年先行している。
さらに、サザエさんの視聴率は、株価よりも3か月先行しているw

最も早い指標が、サザエさんw

視聴率が下がると、どこかの産業が活発になってきている証拠！
それが後に顕在化する

2018/07/31(火) 21:45:47.48

>>881
「すぐに使える! 業務で実践できる! Pythonによる AI・機械学習・深層学習アプリのつくり方」とかいう如何にも怪しい本買ったよ

2018/07/31(火) 22:24:54.80

>>883
ちょっとググったら github にソース置いてあるんだな、今っぽくて悪くはなさそう

2018/07/31(火) 23:18:02.32

>>882
サザエ相関は疑似だろ

2018/08/01(水) 05:30:31.83

>>883
良さそうじゃんこれ！

2018/08/01(水) 05:36:44.59

まずデータをどう集めるのかが大変だよね。

天気予測とかで、日本全国1000箇所ぐらいの温度、湿度、空の写真、海の写真とかを1分に1回計測して学習させたりとかしてみたいけど、国家プロジェクトなレベルの話になりそう。

2018/08/01(水) 07:51:44.99

だから機械学習を個人でやってもチュートリアル以外実用性のあることはほとんどできない
結局どのような組織に所属しているかが最重要

2018/08/01(水) 07:58:38.34

株のファンダでスクリーニングするくらいならそこそこいけるんじゃね
間違ってもテクニカル占いには手を出すなよ

2018/08/01(水) 11:36:03.42

>>888
すごく分かる
参考書見ながら独学でやってるけど実戦で役に立つイメージが全くわかない

2018/08/01(水) 11:51:08.69

そんなのプログラミングだって変わんないだろ

2018/08/01(水) 11:53:55.35

個人でやってるったって、
キチガイが勝手に関連付けを発見しているようなものだからな

風呂に入るタイミングでクラクションが鳴るから集団ストーキングされてる、みたいな

2018/08/01(水) 12:14:30.83

>>891
機械学習の大前提となる大量の学習データの入手の難易度が個人か企業などのそこそこ大きく組織かで天と地ほど違う
学習データを要しないプログラムであればむしろ個人の能力が大部分なので自分が優秀ならそれでいい

2018/08/01(水) 13:18:07.68

>>892
その通りだな
データサイエンスにおいて、因果関係の理解されていない相関という科学的に無価値なものにも価値が認められるのは、それが金になる可能性があるから
飯食ってウンコ垂れ流すだけの個人が金を生むデータを入手できるかというと、、

2018/08/01(水) 16:28:15.98

グーグルもtensorflowを無償公開したときに
重要なのは仕組みじゃなくて
どんなデータを持っていてどう使うかのほうが重要と言っていたね

2018/08/01(水) 16:40:24.73

例えば、カルチュアコンビニエンスクラブ（Tポイント）が持っている
データが使えたとして、何を分析し、それを、どう活かす？

2018/08/01(水) 18:00:11.47

どんな属性の人がいつどこで何を買いたがるかはあらゆる小売りが欲しがる情報だろ

2018/08/01(水) 18:02:53.77

>>896
エロ本は入り口右側より左側の方が売れる

2018/08/01(水) 18:27:25.33

すぐ思いつくことはすでにやられてるんだよな。

2018/08/01(水) 18:53:25.23

機械学習で何ができないか分かってきた。
機械学習ブームもいよいよ終焉か。

◆QZaw55cn4c (ﾜｯﾁｮｲ b260-tjON) · 2018/08/01(水) 19:19:33.34

>>900
＞いよいよ終焉か
…もう終わってしまうのですか？今からやろうと思っていました
そうだ、今までのブームのなかで出た最良の参考書を教えてください

2018/08/01(水) 19:39:11.85

0,1のようにクラス分けされたものではなく、連続値の要因分析をしたいと(連続値が高い時に効いているであろう要因など)考えた時に検討されるアルゴリズムはどういうものになるのでしょうか？
回帰木なのかな？と考えたのですが知識も浅く決定木くらいしかイメージが付かないのでそう考えたのですが他にはどのようなアルゴリズムを検討すべきでしょうか？
かなり初歩的な質問ですいません

2018/08/01(水) 19:44:14.28

>>902
それでどう木が関係するのかわかってないが。
2つの関係すべてで類似度を計算すれば似通ったのはわかるが。

2018/08/01(水) 22:26:39.25

>>902
重回帰分析

2018/08/01(水) 23:14:53.43

Google が良いのは、関連広告

アイドルで検索すれば、アイドルの広告、
プログラミングで検索すれば、プログラミングの広告のように、
その人に必要な広告を表示するから、有益

肉売り場に、焼肉のたれが置いてあるようなもので、便利

例えばギャンブルとか、会議室とか、
ユーザーに関係のない広告を見せられても、邪魔なだけ

自分に関係のない広告など、見ないし

2018/08/01(水) 23:25:23.98

>>905
前まではそういうターゲッティング広告が万能という風潮もあったけど、全くの新規顧客を開拓するのには向いてなくて、今はまたマスの誘導のための広告をどうするかが流行ってきてるってもっぱらの噂だよな

2018/08/02(木) 04:34:32.80

検索実績ないユーザーが新規に何を検索したかを調べればいいだけだな

2018/08/02(木) 05:54:22.94

そもそも志向性の無い人に、CMを見せて、嗜好を促すという毛色の違うアプローチなのである

2018/08/02(木) 07:15:57.20

ただのリコメンデーションじゃないの？

2018/08/02(木) 09:32:09.64

毛染めの宣伝？

2018/08/02(木) 10:17:36.43

欲しい商品をちょっと調べたりすると同じジャンルの広告ばかり出るようになるよね
もう買ったからその広告出しても意味ないのに、と思うことが多い

2018/08/03(金) 08:52:59.24

単体の決定木の可視化は作成出来たのですが、ランダムフォレストは可視化可能なのでしょうか？
ランダムフォレストの資料は沢山あるのですが可視化について書かれているものが見当たらないので質問させて頂きました
何百という木を作るので可視化しても意味が捉えにくいから可視化させないのかそもそも出来ないのかどちらなのでしょうか？

2018/08/03(金) 10:25:46.37

文字通り森だから無理
富士の樹海の写真でも貼っとけ

2018/08/03(金) 11:10:13.65

何をどう可視化したら満足するのだろう。

2018/08/03(金) 11:37:06.87

dot言語を吐いて見れば？

2018/08/03(金) 11:50:06.15

>>913
>>914
>>915

ありがとうございます
単体の決定木は見れたのでランダムフォレストのような大量の木はどんな風に見えるのか気になったのでやってみたかったのです
export_graphvizを使おうとするとエラーが出て、その内容で検索してみると不可能だという記事も見つかりました

2018/08/03(金) 13:53:04.88

>>916
多分pythonのsklearn使ってるんだと思うけどできるよ。
ただ、見てどうするんだろうとは思う。

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.tree import export_graphviz

X, y = load_iris(return_X_y=True)
cls = RandomForestClassifier()
cls.fit(X, y)

for i, t in enumerate(cls.estimators_):
　 export_graphviz(t, "tree_%02d.dot" % i)

2018/08/03(金) 17:34:15.59

>>900
結局、AIブームで儲かったのは
エンジニアにGPUを売ったエヌビディアだけというオチだったな

エヌビディアのGPU買ってAI開発して儲けた話は一つも聞いたことがない

2018/08/03(金) 17:55:26.25

そんなにGPUが売れたとは思えないが（笑）

2018/08/03(金) 17:55:47.34

普通に各社webサービス内部などでAI開発の成果が金稼いでるだろ

2018/08/03(金) 18:24:52.93

ＡＩで超儲けた！
って話は出ないね
ゴールドマンサックスがトレードに使ってるという公式発表は出たが、どこまで事実か

2018/08/03(金) 18:49:39.00

NvidiaのGPU売上はAIブームに乗って2015年以降3倍に増加
株価は10倍化

2018/08/03(金) 18:52:06.33

AIとトレードを結び付けないほうが良い。
ここで前も書いた気がするが、株価はAIでも、どんな手段でも予測できない可能性がある。
効率的市場仮説というやつだが。

2018/08/03(金) 18:56:03.53

正しいなら、いかなる手段でも予測できない事になるからAIですら無意味。

効率的市場仮説（こうりつてきしじょうかせつ）
現時点での株式市場には利用可能なすべての新たな情報が直ちに織り込まれており、超過リターンを得ることはできず、株価の予測は不可能であるという学説である。
ランダム・ウォークを説明する考え方になるが、科学的に証明はされてはおらず、確からしいという仮説の域を出ていない。
効率的市場仮説の下、株価指数連動型インデックスファンドとETF（上場投資信託）が誕生し、目覚ましく普及してきた。

https://www.nomura.co.jp/terms/japan/ko/A02426.html