【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/08/01(水) 18:53:25.23

機械学習で何ができないか分かってきた。
機械学習ブームもいよいよ終焉か。

◆QZaw55cn4c (ﾜｯﾁｮｲ b260-tjON) · 2018/08/01(水) 19:19:33.34

>>900
＞いよいよ終焉か
…もう終わってしまうのですか？今からやろうと思っていました
そうだ、今までのブームのなかで出た最良の参考書を教えてください

2018/08/01(水) 19:39:11.85

0,1のようにクラス分けされたものではなく、連続値の要因分析をしたいと(連続値が高い時に効いているであろう要因など)考えた時に検討されるアルゴリズムはどういうものになるのでしょうか？
回帰木なのかな？と考えたのですが知識も浅く決定木くらいしかイメージが付かないのでそう考えたのですが他にはどのようなアルゴリズムを検討すべきでしょうか？
かなり初歩的な質問ですいません

2018/08/01(水) 19:44:14.28

>>902
それでどう木が関係するのかわかってないが。
2つの関係すべてで類似度を計算すれば似通ったのはわかるが。

2018/08/01(水) 22:26:39.25

>>902
重回帰分析

2018/08/01(水) 23:14:53.43

Google が良いのは、関連広告

アイドルで検索すれば、アイドルの広告、
プログラミングで検索すれば、プログラミングの広告のように、
その人に必要な広告を表示するから、有益

肉売り場に、焼肉のたれが置いてあるようなもので、便利

例えばギャンブルとか、会議室とか、
ユーザーに関係のない広告を見せられても、邪魔なだけ

自分に関係のない広告など、見ないし

2018/08/01(水) 23:25:23.98

>>905
前まではそういうターゲッティング広告が万能という風潮もあったけど、全くの新規顧客を開拓するのには向いてなくて、今はまたマスの誘導のための広告をどうするかが流行ってきてるってもっぱらの噂だよな

2018/08/02(木) 04:34:32.80

検索実績ないユーザーが新規に何を検索したかを調べればいいだけだな

2018/08/02(木) 05:54:22.94

そもそも志向性の無い人に、CMを見せて、嗜好を促すという毛色の違うアプローチなのである

2018/08/02(木) 07:15:57.20

ただのリコメンデーションじゃないの？

2018/08/02(木) 09:32:09.64

毛染めの宣伝？

2018/08/02(木) 10:17:36.43

欲しい商品をちょっと調べたりすると同じジャンルの広告ばかり出るようになるよね
もう買ったからその広告出しても意味ないのに、と思うことが多い

2018/08/03(金) 08:52:59.24

単体の決定木の可視化は作成出来たのですが、ランダムフォレストは可視化可能なのでしょうか？
ランダムフォレストの資料は沢山あるのですが可視化について書かれているものが見当たらないので質問させて頂きました
何百という木を作るので可視化しても意味が捉えにくいから可視化させないのかそもそも出来ないのかどちらなのでしょうか？

2018/08/03(金) 10:25:46.37

文字通り森だから無理
富士の樹海の写真でも貼っとけ

2018/08/03(金) 11:10:13.65

何をどう可視化したら満足するのだろう。

2018/08/03(金) 11:37:06.87

dot言語を吐いて見れば？

2018/08/03(金) 11:50:06.15

>>913
>>914
>>915

ありがとうございます
単体の決定木は見れたのでランダムフォレストのような大量の木はどんな風に見えるのか気になったのでやってみたかったのです
export_graphvizを使おうとするとエラーが出て、その内容で検索してみると不可能だという記事も見つかりました

2018/08/03(金) 13:53:04.88

>>916
多分pythonのsklearn使ってるんだと思うけどできるよ。
ただ、見てどうするんだろうとは思う。

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.tree import export_graphviz

X, y = load_iris(return_X_y=True)
cls = RandomForestClassifier()
cls.fit(X, y)

for i, t in enumerate(cls.estimators_):
　 export_graphviz(t, "tree_%02d.dot" % i)

2018/08/03(金) 17:34:15.59

>>900
結局、AIブームで儲かったのは
エンジニアにGPUを売ったエヌビディアだけというオチだったな

エヌビディアのGPU買ってAI開発して儲けた話は一つも聞いたことがない

2018/08/03(金) 17:55:26.25

そんなにGPUが売れたとは思えないが（笑）

2018/08/03(金) 17:55:47.34

普通に各社webサービス内部などでAI開発の成果が金稼いでるだろ

2018/08/03(金) 18:24:52.93

ＡＩで超儲けた！
って話は出ないね
ゴールドマンサックスがトレードに使ってるという公式発表は出たが、どこまで事実か

2018/08/03(金) 18:49:39.00

NvidiaのGPU売上はAIブームに乗って2015年以降3倍に増加
株価は10倍化

2018/08/03(金) 18:52:06.33

AIとトレードを結び付けないほうが良い。
ここで前も書いた気がするが、株価はAIでも、どんな手段でも予測できない可能性がある。
効率的市場仮説というやつだが。

2018/08/03(金) 18:56:03.53

正しいなら、いかなる手段でも予測できない事になるからAIですら無意味。

効率的市場仮説（こうりつてきしじょうかせつ）
現時点での株式市場には利用可能なすべての新たな情報が直ちに織り込まれており、超過リターンを得ることはできず、株価の予測は不可能であるという学説である。
ランダム・ウォークを説明する考え方になるが、科学的に証明はされてはおらず、確からしいという仮説の域を出ていない。
効率的市場仮説の下、株価指数連動型インデックスファンドとETF（上場投資信託）が誕生し、目覚ましく普及してきた。

https://www.nomura.co.jp/terms/japan/ko/A02426.html

2018/08/03(金) 19:05:59.42

株の目的は予測することじゃない
儲けることだ

2018/08/03(金) 19:09:08.19

システムが一切、予測できてないのに、儲かるんだったら運でしか無い。

2018/08/03(金) 19:11:52.62

ゴールドラッシュから、同じ事の繰り返しだな
金を掘る人よりも、金を掘る人に道具を売る人が金持ちになる

2018/08/03(金) 19:20:09.97

AIを使った投資で儲かるならグーグルがとっくに手を付けて成功しているはず
最先端の技術が真っ先に注ぎ込まれるのは軍事と金融

2018/08/03(金) 21:29:57.30

AIを使っているヘッジファンドが高リターンを出しているのは事実だし、
開発メンバーは、GoogleやIBMの最前線からヘッドハントされた精鋭揃い。

データに隠れている情報を引っ張り出し、
AIとして活用できることが出来る人間は、本当に、ごく僅かしか存在しないと思われる。

日本国内のポイントカード各社が、
6,000万～8,000万件の顧客の購買データを持っていながら、
広告ぐらいしか活かせていないのに象徴されるように

2018/08/03(金) 21:51:30.99

伝聞じゃなくて自分の経験談を話ししたら？w

2018/08/03(金) 21:54:11.13

与太話を聞いても嬉しくない

2018/08/03(金) 22:17:51.07

kaggleの電話番号認証のSMSが来ないんだけど
なんでかな？
+818012345678
+81-80-1234-5678
+8180-1234-5678
みたいの全部ダメ

2018/08/03(金) 22:51:10.13

GoogleやIBMの最前線からヘッドハントされた精鋭揃い

www

2018/08/04(土) 00:22:44.65

機械学習を使いこなすNetflix社員の年収は5300万円

2018/08/04(土) 03:09:52.81

ポイントカードじゃ何買ったかしかわからないだろ

2018/08/04(土) 07:10:35.49

ちょっと待って
PyTorch神じゃね？

2018/08/04(土) 09:00:52.22

今の言葉、じゃない

2018/08/04(土) 10:49:37.19

>>935
どこで誰がいつ何を買ったかまではわかるんじゃないの？

2018/08/04(土) 18:59:36.68

日本にいる限り、機械学習の論文をスクラッチで実装できるレベルになっても
大していい収入は得られないみたいだなあ
まあ。海の向こうでも5000万とかもらっているのは、
機械学習で新しいビジネスを開拓できる一部の人間だけみたいだけど

2018/08/04(土) 19:38:16.91

プリファード何とかの人たちは結構もらってると思うけど

2018/08/04(土) 20:03:19.36

論文読んで実装するだけで高級もらえる仕事なんて世界中どこにもねえだろ

2018/08/04(土) 20:04:54.18

>>939
いわゆるAI産業って基本的に詐欺だから、コンサルできないと金にはならないだろうな
実業で実質的な大きな利益を出すのはほぼ不可能でしょ

2018/08/04(土) 20:08:07.01

AIが詐欺ってそもそもアホな考えだぞ。
グーグルのアルファ碁でAIの実力が示されてて有効だ。
AIが、人間がプログラムするよりも、人間のプロよりも強くなった。

2018/08/04(土) 20:18:25.50

>>943
うん。AIすごいね。で、どうやって金を生み出すの？
そう聞かれて相手に夢を見せられるような回答ができる？
それがコンサル力だよ
実際に利益が出るかどうかは問題じゃないし、問題にしてはいけない
そこに自ら手を突っ込んでしまうと一気に泥臭くなって単価が下がる

2018/08/04(土) 20:43:50.24

そんなものに金払わねーよ、素人丸分かり

2018/08/04(土) 22:09:04.47

たいして売上実績もないのに将来性だけで上場したHEROSの社長が一番AIを上手く活用してるよね

2018/08/04(土) 23:07:24.74

>>945
君はもちろん払わないだろうけど、基本的にデータ分析やAI系の商売相手ってITについて素人同然のユーザー企業だからね
流行りだからなんかやってみることになったけどよくわかんないんだよね～予算あるけど何やったらいいのかな～くらいの意識よ
で金取ってPoCして「やれることはやった。期待したほどの効果が出なかったのは、お前らが選定したテーマとデータが悪いから。」で客に押し付けて逃げる
それがAIビジネス

2018/08/04(土) 23:08:37.31

データ突っ込んだら必要な前処理と
最適な学習手法と
最適な評価指標を自動で教えてくれるツールが欲しいわ。

2018/08/05(日) 02:02:53.14

1銘柄の株価上下を予測するのが精度はでなくても、
1000銘柄くらい一気に同時学習させて
好調な上位10銘柄を出力させてそれらに
分散投資すればいいのではないだろうか。
問題は売却タイミングだな。
1度買ってしまったものはその銘柄の上下を
予測しなけりゃならんからな。
となると1ヶ月後に株価の増分が最大になる銘柄の
上位10を予測させて1ヶ月後に必ず売却すれば
いいのか。
テスト精度がそれなりに良くて、
勿論時系列データのSARIMAXを考慮すれば上手く
行きそうな気もするが…

2018/08/05(日) 05:33:16.06

じゃあやれよ

2018/08/05(日) 05:40:51.48

>「やれることはやった。期待したほどの効果が出なかったのは、お前らが選定したテーマとデータが悪いから。」で客に押し付けて逃げる
それがAIビジネス
請負ならそれでいいんだろうけどね

2018/08/05(日) 06:51:28.64

自社事業ならそれが社内の部門同士の話に置き換わるだけだよ
AIやる人はコストセンターだから厳格な利益目標を求められる立場ではない
プロフィットでデータやってる人って技術的にはエクセルとBIの職人でしかないよ

2018/08/05(日) 06:58:51.26

>>948
DataRobotがそれできるんじゃないの？

2018/08/05(日) 07:33:50.32

>949
マジレスすると市場でそれやっている連中の時間軸はms単位やで

2018/08/05(日) 07:53:53.49

株やるならインデックスの対象銘柄をファンダメンタルで半分くらいに絞って、中期くらいで分散投資するのはどうだろう
ベンチマークを少し上回るくらいは難しくなさそうだし、
チャートを学習させるよりは経済の本質的な勉強になるから結果的にダメでも得るものがあるだろう

2018/08/05(日) 07:54:30.68

今更ながらアルファ碁とアルファゼロの論文読んでるけど、
これで碁が強くなるのは分かるけど、将棋まで強くなったってのは眉唾だな

序盤は強くなりそうだけど、中盤と終盤は従来の方法の方が絶対に強そう

2018/08/05(日) 08:47:38.75

論文読んで囲碁、将棋強くなる（苦笑）

2018/08/05(日) 10:29:47.35

>>956
そこは俺も引っかかる。
確かモンテカルロサーチはAI将棋やってる人達が色々試したけどあんまり結果出なかったって話だと思った。
というのも将棋は囲碁と違って良い手、悪い手の差が激しいからより深いサーチが有効って
ゲームだから。

2018/08/05(日) 10:33:29.99

>>947
てかユーザーはユーザーで普通にまともにデータを用意できないというか、
そもそもスキーマーがぶっ壊れまくってるのを押し付けてくるユーザーも普通にいて
機械学習以前の問題。

はっきり言ってどっちもどっちで腐りまくってんだよ。

2018/08/05(日) 15:24:20.69

chainerって結構お手軽なんじゃね？
kerasはラップされすぎてよくわからん

2018/08/05(日) 15:25:54.00

>>921
100%事実でしょ、特に仮想通貨がやばい
単純なsdf(FXと現物の価格乖離を防ぐシステム)のBOT+AIで
売り板や買い板出してる奴が機械か人間かを
出してる板の枚数と取引のキャンセルスピードなんかで判別できる
成行か指値かも同様に判別できて、sdfの境界を利用して取引命令の更新が遅い人間から
一気に証拠金を搾り取る事が可能になる
一度そいつから絞り取ったら、大資本のAIは基本的にそいつがロスカットされるまで相場を急変はさせない

いまFX(特に仮想通貨の)をやる奴は博打どころかほぼAIに証拠金巻き上げられるってことを理解してやるべき
例外は直後のニュース要素のみだからな

2018/08/05(日) 15:28:37.32

sfdBOTだった

2018/08/05(日) 16:22:13.64

>>961
そのAI、CNNと関係ないじゃん

2018/08/05(日) 17:01:38.23

なんで日本って投資後進国って言われてるのにFXや仮想通貨は活発なんだろう

2018/08/05(日) 17:14:16.34

投機先進国

2018/08/05(日) 19:49:13.56

仮想通貨の利益の源泉は
株やFXに比べて異常に広いスプレッドと
取引所によって提示価格が大きく違うことが
あるのを利用したサヤ取りだろう
タイミングを見計らってこれらの取引を行うのは
システム取引ではあるけれどAIは無関係と思われる

2018/08/06(月) 04:50:06.88

騙されやすいから

2018/08/06(月) 08:51:13.71

違うスレで答え貰えないのでちょっと話ずれてるかもしれないですがここで質問させてください
ニューラルネットの質問なんですがバイアスを入力1、重みbとして扱う時に
X=[x1,...,xn,1]
W=[[w11,...,w1k],...[wn1,...,wnk],
[b1,...,bk]]
Y=XW=(1,n+1)
になりますよね
隠れ層がある場合は次の層のバイアスのためにXWの最後の列が出力1になるようにしないといけないと思うのですが
W=[[w11,...,w1k,0],...[wn1,...,wnk,0],
[b1,...,bk,1]]
こうしてもいいのでしょうか

2018/08/06(月) 13:49:02.15

素直に行列の足し算を使って
[XW+B]の形にした方がすっきりすると思う

**デフォルトの名無しさん** (ｽﾌｯ Sd1f-kxWV) · 2018/08/06(月) 14:51:06.04

すいません。
肌の領域判定をsklearn使ってやろうと思ってるですけど、識別機でおすすめとかありましたら教えて下さい。

2018/08/06(月) 15:18:36.24

昨晩サイエンスZEROで内視鏡のガン検診で人間の医者より精度良いって言ってたな

2018/08/06(月) 15:49:22.85

普通にsegnetでよくね

2018/08/06(月) 19:29:14.78

とりあえず何も考えずxgboostにでも突っ込んどけ。

2018/08/06(月) 20:59:21.55

高卒低学歴だけど機械学習の勉強始めて数学とか分からないまま参考書進めてたけど出てくる結果が全然分からなくて統計の勉強も始めた
めちゃめちゃ遠回りだけど先に繋がると信じたい

2018/08/06(月) 21:08:26.17

高いのか低いのかはっきりしたまえ

2018/08/06(月) 23:40:41.40

実戦データマイニング: AIによる株と為替の予測単行本 – 2018/6/20
https://www.amazon.co.jp/dp/4274222373/

この本どうなのだろう？
なんかユーザーレビューの評価が極端に悪いのだが

2018/08/06(月) 23:54:40.18

AIに、株やFXは向いてないとおもってるが。
上で効率的市場仮説をいってたが。これが成立するならAI無効。
そもそも、システムトレードでAIを使ってるのか?
人間がやる思考、作業を自動化してるだけかもしれない。

2018/08/07(火) 00:00:42.44

実践以前に株やFXで、AIが有効である可能性がある理屈、理論を考えるべき。
有効でない物をいくらいじくっても何もならない。
簡単にいえば確実に勝てる手法ともいえるし、膨大な学習すればそれが可能だったらそれでもいいし。
理屈上、ありえるのか。

2018/08/07(火) 00:36:28.37

ファンダメンタルなら有効でしょ
アドホック色が強くなるし真面目に経済の勉強しなきゃいけないから人気ないけど

2018/08/07(火) 00:52:19.79

株は短期情報戦になったらインサイダー最強なのでムリ
長期の安いトコ拾って塩漬け戦法しかないからAIの出る幕はない

2018/08/07(火) 00:55:15.88

人間のトレーダーは、絶対に、ダウ平均・日経225などの平均株価に勝てない。
人間が取引すると、平均株価を下回る

最も確実なのは、アジアなど新興国の通貨を買うこと

日本円も1ドル、360円が80円になったように、
必ず発展していくと通貨の価値が上がるから

発展途上国の通貨の価値は上がるが、先進国のは下がる。
つまり地球全体が平均化する

2018/08/07(火) 01:01:15.83

明治は１ドル１円だったのにのう

2018/08/07(火) 01:03:08.10

新興国通貨も結構なギャンブルに思えるけどね
地政学的リスクとか流動性リスクとか

2018/08/07(火) 05:57:50.59

>>976
わろた
ここまでひどいのも珍しいが
きっとひどいんだろ

2018/08/07(火) 07:18:32.72

>>976
これはすごいw

カスタマーレビュー
星1つ 100%

2018/08/07(火) 07:52:45.45

そのわりに古本高いね
ていうか金融に使われてる機械学習技術みんなひどい

2018/08/07(火) 08:46:26.35

もうかりゃだまって実行するだろ。本なんか書くよりはるかに儲かるだろう。

2018/08/07(火) 10:52:15.06

次スレよろ

2018/08/07(火) 11:49:43.63

>>987
本で儲かる手法を公開すれば同じシステムに儲けが持って行かれるしな。

2018/08/07(火) 12:21:20.57

投資関係のテクニックや新理論に対して「儲かるなら公開せず発案者が独占するだろ」とよく言われるが、
大資本を持たない場合は大して稼げないので公開してしまって業界内有名人になってセミナーや書籍等で稼ぐ方が効率的だったりする
そもそも非公開にしたってどうせ誰かがその内似たようなのを作るから

2018/08/07(火) 12:26:41.48

読者も大資本ないがなw

2018/08/07(火) 12:35:30.69

理想は買うだけ買って読まれない本
赤旗新聞や朝日新聞や聖教新聞のように

2018/08/07(火) 12:42:56.30

大企業は数学上の重要な発見とかを企業秘密にしているらしいね。

2018/08/07(火) 12:45:23.47

バフェットみたいに超有名になれば自己実現的に儲かる気もするけど

2018/08/07(火) 12:48:29.05

>>993
ビットコインωのことか

2018/08/07(火) 18:59:59.13

次スレ

【統計分析】機械学習・データマイニング20
http://mevius.2ch.net/test/read.cgi/tech/1533635797/

2018/08/07(火) 19:15:36.55

2018/08/07(火) 20:06:55.17

>大資本を持たない場合は大して稼げないので公開してしまって業界内有名人になってセミナーや書籍等で稼ぐ方が効率的だったりする
糞セミナーや本を出してるのは
予算だけもってる素人に教えたいから
物を知らない人間には物が売れる

2018/08/07(火) 20:24:18.28

明地文男の3点チャージ投資法は、

本も出てるし、サイトでも公開してるけど、勝ち続けているだろ