【統計分析】機械学習・データマイニング20

2018/08/07(火) 18:56:37.59

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/08/13(月) 23:24:39.35

まさにその種の話題が満載の良書を推薦しとく

実戦データマイニング: AIによる株と為替の予測単行本 – 2018/6/20
https://www.amazon.co.jp/dp/4274222373/

2018/08/13(月) 23:55:31.30

ランダムフォレストならいけるかも

2018/08/13(月) 23:56:55.40

失敬。時系列に依存してるからランダムフォレストはない。RNNがいいかも。

2018/08/14(火) 05:40:58.83

>>54
コメント辛辣すぎワロタ
★☆☆☆☆「再現できない」
★☆☆☆☆「まったく実戦ではない」
★☆☆☆☆「返品しました」
★☆☆☆☆「内容が薄い」

2018/08/14(火) 19:43:58.53

何十年か昔のニューロン研究のブームのときもヒューリスティックに株価のパターンを発見して儲けるみたいな研究が紹介されてた記憶があるけど、その後下火になったような

株価はやはりランダムウォークで、テクニカルな分析なんて無効だと思うけど、完全に否定も出来ないから機械学習だなんだと新手のバズワードが出てくるんじゃないかな性懲りもなく

といいつつ俺もツイッターの株に関する書き込みや日銀短観の文の感情分析との関係で予測出来ないか研究してるよ

でも仮に儲かる仕組みを見つけても誰にも教えないでこっそり自分だけ儲けるけどね

2018/08/14(火) 20:12:48.53

よかったね

2018/08/14(火) 21:52:45.73

今の機会学習って人間にできることをやらせてるだけで、
株価予測とか人間にできないものは判別できないんじゃない。

2018/08/14(火) 22:41:28.26

人間がやる昔ながらの投資手法はなぜかファンダメンタルとかいう呼び名になっている
値動きだけ見て売り買いするのは昭和の頃は相場師とか言った物だ

2018/08/15(水) 00:03:39.66

相場師=テクニカルなんて使い方する人いないだろ
デタラメすぎる

◆QZaw55cn4c (ﾜｯﾁｮｲ ea60-Qb5F) · 2018/08/15(水) 00:07:24.44

>>61
今は世界中で緩和しまくりだから、本当の価値なんてわからない、ファンダメンタルなんてあてにならないと考えます

2018/08/15(水) 00:21:10.81

経済学的に「価値」と「価格」は関係ない。
独立。混同すると嵌る。

2018/08/15(水) 01:05:46.03

多種の銘柄の平均期待値は中心極限定理から正規分布に従うので気にすべきことはいかにその分散を減らすかのみ

2018/08/15(水) 06:46:53.06

>>64
オレオレ語録
価値は自分が決める
価格は他人が決める

2018/08/15(水) 09:24:37.87

小僧は俺がやりたいことをやる

2018/08/15(水) 11:17:23.49

今夜のNHKスペシャルは、ノモンハン事件の発掘映像をＡＩにより自動カラー化

どうせナレーションは糞だから、映像だけみたい

2018/08/15(水) 12:59:17.34

小野田少尉のやつもひどかった

2018/08/15(水) 13:24:02.67

NHKが作ったAI凄いね。これからどんどん戦前の映像がカラー化されそう

人間のように成長するAl（人工知能）！ 80年前の白黒映像がカラーで蘇る!
https://www.nhk.or.jp/ten5/articles/17/003065.html

> この最新技術を活用する初めての番組が、８月に放送されます。
> NHKスペシャル「ノモンハン事件（仮）」ぜひご覧ください。

2018/08/15(水) 13:38:38.38

>>60
人間にできることしかできないわけじゃない。分かりやすいとこで将棋AIとかな。

2018/08/15(水) 13:47:30.19

>>71
将棋こそ人間が出来ることの代表じゃん

2018/08/15(水) 14:23:32.45

できることのレベルが違う。

自動車や電車を、走ることなら人間でもできるといっても無理。
自動車や電車のようには人間は走れないし、
ＡＩのように人間はゲームに強くない。

2018/08/15(水) 15:23:52.00

元が白黒のものに着色しても資料としての価値はないのにさっそく誤解される言い方してるのが
さすがＮＨＫというか

2018/08/15(水) 15:52:29.71

>>74
価値がないどころか価値が下がる

2018/08/15(水) 16:02:21.39

ＴＶはエンタメなので歴史なんて自由自在に改変しまくり

2018/08/15(水) 16:09:30.39

歴史は勝者が書いたもの（笑）

2018/08/15(水) 17:06:05.10

写真に関しての資料としての価値とは現実をより正確に表現することであり、それなら当然カラーの方が価値は高いだろう
白黒写真を白黒写真としてできる限り良い状態で保存できていることが価値の高さを示すものでは決してない

2018/08/15(水) 17:36:14.40

原画は原画として残してあるだろう。番組としての映像の価値だろ

2018/08/15(水) 17:50:33.01

現実はカラーである以上、映像としての価値だって白黒よりカラーの方が上だろう

2018/08/15(水) 17:53:51.37

着色だって改変だ
見栄えだったりの価値は上がるとしても
歴史的価値はオリジナルの状態を保たなきゃらなんだろ

2018/08/15(水) 18:23:59.54

ＴＶはエンタメなので見た目のみだな

2018/08/15(水) 18:24:30.41

異常検知と株式予測って同じ技術使えるのかね。
株式予測は「異常に変化する点」を予測できればいいんでしょ？
しかし完全に物理要因の機械故障の予測と、
人間の思惑が絡み合う市場経済に違いがあるかってことが重要だな。
RNNやLSTMは一般向けの技術書はまだ少ないね？
ちょっと論文から読む気にはならんわ。
やっぱり画像処理や自然言語なんかより、金そのもののほうがモチベーション全然
違うよな。

2018/08/15(水) 18:41:00.14

金額だけ見るんじゃなくて
事件とかのニュースも見ればいいんじゃね

2018/08/15(水) 18:53:35.96

たかがはじパタ本を読んだぐらいで

「もう理論の基本的なところは理解してるから、
　識別機のコードを書くぐらい簡単に出来るだろう♪」

などと息巻いていたが最近になってやっと現実を思い知った
機械学習のプログラミング、マジむずい
写経を繰り返せば身につくのかなあ(遠い目)

2018/08/15(水) 19:15:44.40

>>84
それだと事件とかニュースをデータ化しないといけないじゃん。
そうすると自然言語処理をしないといけない。
ファンダメンタル情報も体系化されていれば分析もできなくもないが、
基本的に株価情報のみに基づく予測じゃないと、前処理が大変だ。

2018/08/15(水) 22:02:06.26

>>85
向いてないだけだよ

2018/08/15(水) 22:05:19.21

株価情報しか使わないんならモデルいじっても五十歩百歩なんかね

2018/08/15(水) 22:35:22.52

ランダムフォレストって神だな
スケールの正規化もダミー変数化も必要ないのかよ。

2018/08/15(水) 22:41:50.89

>>83
株価の異常検知なんて、わざわざ機械学習しないでも
出来高と値動きで簡単にスクリーニングできるよ

2018/08/15(水) 22:43:24.07

深層学習みたいにRandomForestを多層化したしたやつもあるよ。

2018/08/16(木) 08:26:06.49

ディープフォレストだね

2018/08/16(木) 08:35:39.93

株価情報だけに基づく予測とか転換点の見極めだと
結局のところ数多くあるテクニカル分析のどれかと
似たり寄ったりの結果にしかならなそうだ

かと言って財務情報を加えればファンダメンタル分析と変わらず
ツイッターやニュースなどの情報を加えればノイズが多すぎる

2018/08/16(木) 08:43:11.46

大口機関投資家は相場を当てに行くんではなく相場を作りに行くんだからな。

2018/08/16(木) 10:40:16.90

DL is the forest of the labyrinth.

2018/08/16(木) 17:39:09.28

>>94
だからなんだよ
相場を作れる奴なんてわずかしかいないんだから
当てるしかないんだよ。
ノイズは乗ることが前提じゃないか？
除去すればいい。
ところで既存のテクニカル分析がもともと精度いいなら
それで十分かもな。
どうしても不安なら機械学習で裏をとればいいかも。

2018/08/17(金) 07:25:52.71

AIを使ってないものがAIという名前で売られている

2018/08/17(金) 09:22:38.95

それがブームというもの

2018/08/17(金) 10:39:33.89

>>97
AIの定義も色々あるからな。

2018/08/17(金) 12:20:16.25

AI＝Artificial Intelligence＝人工的に作られ知能を持つように見えるもの、
程度の曖昧な意味しかないので内部の仕組みに関わらず知能を持ってるっぽいものは全てAIと呼んで問題ない
そもそも技術者はこんな定義の曖昧な言葉は使いたがらず、営業など技術の詳細を知らない人間が売り文句に使うだけなのであまり信用してはならない

2018/08/17(金) 12:45:30.22

人工痴能アイちゃん

2018/08/17(金) 15:08:19.34

三菱UFJ国際がAIで運用するAI投信右肩下がりなんだけど、これ誰が責任取るの？

ＡＩ日本株式オープン（絶対収益追求型）（愛称：日本ＡＩ（あい））
http://www.morningstar.co.jp/FundData/SnapShot.do?fnc=2017020106

2018/08/17(金) 15:30:26.61

投信なんだから金出した人だわな。元本保証投信なんて聞いたことない。

2018/08/17(金) 16:07:39.19

自己責任、俺が言おうと思ったのに

2018/08/17(金) 17:24:45.21

キズナアイ？

2018/08/17(金) 17:41:14.27

>>102
AI作った人美味しすぎワロタ

2018/08/17(金) 18:19:35.25

普通の機関投資家が投資する場合は損失出しまくればその部門の責任者が何らかの形で罰を受けるだろうけどAI投資なら誰も責任取らなくて済むんだろうな
開発会社が投資結果に責任負うような契約するわけないだろうし

2018/08/17(金) 19:22:06.49

社内的にはAI部門?担当の人がなんか被るんでないかい?

2018/08/18(土) 19:11:08.68

スクラッチで識別器を組む参考書ばかりやってきたから
sklearnを使う参考書を読み始めてから楽勝ムードが漂いはじめてる
案外、こんなもんか

てか、スクラッチでなにも見ないで識別器を組める奴なんて一部だけで
みんなライブラリ使って楽してるのか？そんなわけないよな

2018/08/18(土) 19:14:28.41

中身判らずにブラックボックスで楽しんでる人は多い
本人がそれでよければ周りがとやかく言うことじゃない

2018/08/18(土) 19:31:01.05

スクラッチにこだわる人は仕事で使ってないだけだろ

2018/08/18(土) 19:40:45.28

コスト意識がないのはスレに学生さんが多いのだろう。
暇なうちにゼロから作るのは悪いことじゃないけど、スクラッチ自慢する人が cuda対応とかもちゃんとやってるかは怪しいもんだがw

2018/08/18(土) 19:44:13.99

中で何をやってるのか全く分からないけど、
サンプルコードをいじって、適当にデータを与えて実験するのが主流です

2018/08/18(土) 20:12:39.72

まあ勉強のためには車輪の再発明も大切である

2018/08/18(土) 20:28:00.46

エンジン、ブレーキ、ハンドルも再発明しろよ

2018/08/18(土) 20:34:54.44

>>114
再発明は必要ない
大切なのは再開発、再実装

2018/08/18(土) 21:03:11.80

コストばかり考えて中味のわからないままプログラムが書けない人が組み立てる
バグなどの修復ができずによけいにコストがかかるという

2018/08/18(土) 22:06:31.67

わからないままプログラムを書くのならまだいいけど、バカは調子に乗ってブログや本を書いちゃうんだな

2018/08/18(土) 22:09:36.92

作った人が動作判らない代物に金を出してくれる程世の中優しくないよ

2018/08/18(土) 22:17:46.51

ただ今はまだ、分かっても居ない胡散臭い奴らも仕事を取れてるみたいだぜ
バカに金を払うぐらいならWekaあたりを自分で動かしても同じなのに

2018/08/18(土) 23:11:46.58

>>119
ＡＩ日本株式オープン（絶対収益追求型）

2018/08/19(日) 00:23:40.80

超簡単なことだけのＡＩ融資審査
ライブラリの機能そのままのソフト
そもそも機械学習使ってない自称ＡＩ

こんなのが世の中にあふれてる

2018/08/19(日) 00:41:04.65

>>119
買う側が技術のこと分かってないんだから動作の説明など適当にごまかしても問題ない

2018/08/19(日) 09:46:53.60

http://livedoor.blogimg.jp/jin115/imgs/7/4/745d74ec.jpg

2018/08/19(日) 13:02:07.73

AIちゃんおさるさん禁止

2018/08/19(日) 17:21:05.66

>>123
これな

2018/08/19(日) 21:33:10.08

非エンジニアはむしろスクラッチで一回やってみて原理を知るべき

2018/08/19(日) 21:36:11.22

エンジニアは一回経営をやってみるべきｗ

2018/08/19(日) 23:45:35.87

まあ、経営（営業？）はハッタリと詐欺みたいなもんだからな
だけどここはデータ解析のスレなんで詐欺師は他に行ってくれないかな

2018/08/20(月) 09:06:07.58

儲けてから言えよ、無駄飯食いｗ

2018/08/20(月) 09:15:46.90

>>128
知り合いの優秀なエンジニアは、独立してもみんな上手くいかないわ

正確性重視で、話にハッタリが足りない

2018/08/20(月) 09:19:57.86

ふんわりした話で相手に多幸感を与える技術

2018/08/20(月) 09:34:25.91

だから技術者が独立すんなって言ってんだろ

2018/08/20(月) 09:36:59.93

日本の技術は物まね、改善程度だろ

**デフォルトの名無しさん** (JP 0Hcf-RGzT) · 2018/08/20(月) 11:08:35.48

パクリのくせに独自技術とか言っちゃう面の皮の厚さが必要（中国みたいな）

2018/08/20(月) 11:23:40.39

あの国はやったもん勝ちだから

2018/08/20(月) 12:49:09.53

ウォズニアックは居ても、ジョブズは居ない国か
ジョブズ的なパラノイアだか人を魅了する詐欺師がいないとな

2018/08/20(月) 13:45:29.62

ウォズニアック（笑）、買ってきて分解するかハッキングで秘密情報をゲットするかだろ

2018/08/21(火) 01:36:24.60

自称データサイエンティストwにはコスト意識欠如したバカが多い
RMSE0.01の世界を仕事に持ち込むかどうかは
解こうとしてる業務課題によるってのを分かろうとしないんだよな
kaggleみたいな趣味を仕事に持ち込むなっての

2018/08/21(火) 02:01:10.52

データサイエンティストは資格団体が儲けるために宣伝してたものだから

**139** (ﾜｯﾁｮｲ 0f79-TrtP) · 2018/08/21(火) 02:55:06.78

santanderだかhomecreditだか知らんが
お前らはそのクズ脳使って現実世界で
いかに結果を出すかが勝負だろうに・・・
こんなクズらを量産してるコンペサイトも責任あるわな

2018/08/21(火) 07:38:48.25

データサイエンティストを活用できないような旧態依然の仕事の仕方しかできない企業だと自白してるようなものだな

**デフォルトの名無しさん** (JP 0H49-N245) · 2018/08/23(木) 10:00:35.80

トヨタも虜にする｢天才が憧れる天才｣AI企業
https://www.businessinsider.jp/post-173455

2018/08/23(木) 10:20:54.57

こういう宣伝するから舐められるんだよ

2018/08/23(木) 17:38:39.42

トヨタ傘下の宣伝乙

2018/08/24(金) 04:04:32.75

流行りの分野なのに過疎ってるなｗ

2018/08/24(金) 04:27:49.76

バリバリやってるような若い人は来ないんじゃね
今やひろゆきプラマイ3歳くらいのロートルおっさんの吹き溜まりでしかないから

2018/08/24(金) 18:27:13.17

kaggleを仕事の世界に持ち込むメリットそこそこあるけどな
やっぱりkaggleで称号を持つぐらいの奴が会社にいれば
営業が社の強みとしてアピールできる材料に出来るだろうし
なにより流れ作業で仕事をしないことで、知識が蓄積されるから人材が育つ

識別器のライブラリだけ暗記して、直感の力で仕事をしている奴なんて
いずれは冷や飯を食うことになるから
ブームが続いている今のうちに、早く新しい分野を開拓しないと

2018/08/24(金) 21:13:23.89

ブームは終わってる

2018/08/24(金) 22:08:26.47

>>148
中小企業ならどうかしらんが、チームで仕事するのに邪魔なだけ

2018/08/24(金) 22:17:03.65

普通に働いてたらkaggleとかやる時間ないってw

2018/08/24(金) 22:18:42.76

社畜には時間がない

2018/08/24(金) 23:45:08.95

まだkaggleのコンペって参加したことないけど個人で上位入るような人ってどれぐらい時間かけてるんだろう？

2018/08/25(土) 12:22:02.93

これから失敗作のメンテナンスの仕事が増えるのかな？