【統計分析】機械学習・データマイニング20

■ このスレッドは過去ログ倉庫に格納されています
2018/08/07(火) 18:56:37.59ID:sGPH9ejna
機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured
14デフォルトの名無しさん (ﾜｲｰﾜ2 FF82-VDz4)
垢版 |
2018/08/09(木) 10:40:56.18ID:NXkdt6vrF
うむ
2018/08/09(木) 11:35:24.97ID:QXr9RiYT0
よくある寝言
2018/08/09(木) 12:10:28.90ID:dmGenwPQa
読み書きに関しては日本の学校英語教育で十分だけどね
高校卒業まで真面目にやっていれば哲学書でもない限り読めない文章はそうそうないはず
2018/08/09(木) 12:26:40.71ID:/BnwmUrB0
>>13
能力の低い学生ほどそういうこと言うよね
2018/08/09(木) 15:53:08.15ID:RpjTpAg/0
日本の教育は洗脳教育だからな。
2018/08/09(木) 18:52:27.78ID:zr10dTEW0
機械学習なんて学校教育で教えるような分野でもないよ
寝言でもなんでもなく、基礎のある奴が本気で取り組めば一年で最先端に追いつく分野
実務で使おうと思えばやること増えるけど

てか、機械学習って日本ではそんなに需要ないよね
2018/08/09(木) 18:59:44.84ID:dPMfUDyXM
スポンサーがアホやからな
2018/08/10(金) 11:53:21.49ID:mlndH2x/0
Pythonに急速に人が集まってるから、これからPHPとJavaを駆逐しそう
2018/08/10(金) 12:03:34.10ID:tHhIb8vz0
PythonはＷｅｂには広まってないから
PHPとJavaには影響ないな
2018/08/10(金) 18:01:05.51ID:Ianm2pCwM
Rubyにnumruby,pandas,matplotlib
があれば歴史は違っていた
24デフォルトの名無しさん (ｱｳｱｳｴｰ Sac2-VDz4)
垢版 |
2018/08/10(金) 18:16:56.60ID:4q34i5cva
そうでもない
2018/08/10(金) 19:25:59.91ID:ZeKsZHvVM
ライブラリとコミュニティの違いを除いてrubyがpythonに明確に劣ってる感じはしないけどなあ。
まあバージョン1.8でrubyからpythonに乗り換えたんでそれ以降はあまり知らないんだけど。
2018/08/10(金) 19:32:32.45ID:H9lF8aPc0
>>23
静的ruby に取り組もう、と決心しました
2018/08/10(金) 19:35:39.31ID:y/s1EyzFd
>>25
機能の優劣はともかく、海外じゃRoR 以外の用途ではRubyは殆ど使われてないし
2018/08/10(金) 21:10:15.26ID:v63CZr9j0
>>27
鯖缶ツールみたいので
Rubyで書かれてるのなかったっけ？
2018/08/10(金) 21:12:35.60ID:uo68Wn/H0
科学系とかラズパイとかもpythonだねえ。利用者の裾野広い
2018/08/10(金) 21:13:25.97ID:uo68Wn/H0
>>28
serverspecとchefかな
2018/08/10(金) 21:13:53.92ID:v63CZr9j0
>>30
それそれ
2018/08/10(金) 21:35:55.97ID:6opY/YKPd
>>28
別にゼロと主張してるわけじゃないからw
2018/08/10(金) 21:59:28.73ID:RU6smc5ya
ruby にしろchainer にしろ、ユーザの多くが日本だけだときついわな。徐々に駆逐されてく
2018/08/10(金) 22:37:31.53ID:mlndH2x/0
>>33
やっぱり、人が多い所を学習しとかないとね
駆逐された時に学習した時間が無駄になる
2018/08/10(金) 23:41:03.26ID:Q4zISPxNd
>>33 >>34
同意。流行りものに飛び付いてるようで抵抗もあるけど、メインストリームは抑えておかないと後で泣くはめになる
2018/08/11(土) 00:08:20.68ID:u+woIPZK0
今まで数件ＡＩ使ったソフト納品したが、全部人がやってたものを置き換えただけだ。
2018/08/11(土) 05:52:02.72ID:dGCQYNDS0
全部使ってみて自分に合ったものを使うのがいい。
人が集まるのは初心者受けしてるだけかもしれないし。
2018/08/11(土) 07:20:37.99ID:lu9OC7qG0
入門書読んでAI始めたと喜んでいるのが8割
2018/08/11(土) 08:38:27.14ID:cEMgqD5k0
>>36
具体的にはどんなAI？
2018/08/11(土) 10:37:35.90ID:3iVckqArM
>>25
＞ライブラリとコミュニティの違いを除いてrubyがpythonに明確に劣ってる感じはしないけどなあ。

いやそれが決定的に重要だったてことじゃね？
宗教に例えればpythonはキリスト教
rubyはモルモン教
おんなじようなもんじゃんというかもしれんが輸血も剣道も禁止したりと迷惑カルトみたいなもの
2018/08/11(土) 13:15:19.23ID:u+woIPZK0
前スレでＡＩはコストセンターでしかないって書き込みあったが、結局そうなんだろうか
42デフォルトの名無しさん (ｱｳｱｳｳｰ Sa2f-BRNY)
垢版 |
2018/08/11(土) 13:15:36.99ID:ptTYphAna
>>21
バージョン1.0が出たJuliaにも集まれ。
43デフォルトの名無しさん (ﾜｯﾁｮｲ cb9b-0FQr)
垢版 |
2018/08/11(土) 13:41:33.80ID:KC+spD7B0
機械学習とその他の統計分析の手法の選択って
元データがほとんど定量的な数値だったら機械学習、
データに文字列とか定性的なカテゴリ型を多く含むのだと
したら重回帰分析とかピボットテーブルみたいな切り分けでいいの？
2018/08/11(土) 13:43:56.66ID:8+xKh9YuD
Juliaは期待してたんだけど、python が深層学習ブームに上手くのっちゃったからなぁ
2018/08/11(土) 13:51:10.10ID:ERc3omJJ0
rubyの御本尊の周りは日本語で議論を勝手に進めちゃうって不満なら聞いたことある。
2018/08/11(土) 19:30:18.54ID:UfI7tDpya
| SHINJI KAGAWA / 香川真司 @S_Kagawa0317 3分前
| イニエスタ…

香川も見てるんだな
2018/08/11(土) 19:30:51.53ID:UfI7tDpya
あ〜、誤爆った すまん無視してくれ
2018/08/11(土) 23:10:30.37ID:3fhM1exid
>>44
Juliaにも一応深層学習のライブラリあったけどな。流行ってるかは知らんが
49デフォルトの名無しさん (ﾜｯﾁｮｲ 679f-FZsK)
垢版 |
2018/08/13(月) 17:17:27.35ID:pQ0BapEF0
機械学習の説明変数にカテゴリー的なデータを
数値化したものがあってもうまく学習できますか？
たとえば
「月」のカラムに「1~12」までの数値のどれかが格納され、
「曜日」のカラムに「0~6」まで
「日」のカラムに「1~31」のどれかを格納して学習させることは
できますか？
アルゴリズムはRBFのSVM
ランダムフォレスト
ニューラルネットなどを使うつもりです。
株価などを予測したくて、
ラベルには「急上昇」「上昇」「横ばい」「下落」「急下落」の
5クラスに分類したいです。
2018/08/13(月) 17:35:47.29ID:y8RgDL+Pa
まあやってみいとしか
理想的な嘘のデータでやってみ？
2018/08/13(月) 19:23:08.17ID:e4Fxb0+B0
株価は数値だからクラス分類してはいけない
2018/08/13(月) 19:42:58.00ID:UjgLJbvH0
一律ではなく使う手法によるはず
OneHotEncodingなどの処理が必要になる手法もあれば
この特徴量はカテゴリデータであると指定すれば良い手法もある
2018/08/13(月) 23:22:01.38ID:t5/kzH150
時系列データなのでそのアーキテクチャだと学習できない
2018/08/13(月) 23:24:39.35ID:Yo+rq3iZM
まさにその種の話題が満載の良書を推薦しとく

実戦データマイニング: AIによる株と為替の予測 単行本 – 2018/6/20
https://www.amazon.co.jp/dp/4274222373/
2018/08/13(月) 23:55:31.30ID:qrNeGZ1i0
ランダムフォレストならいけるかも
2018/08/13(月) 23:56:55.40ID:qrNeGZ1i0
失敬。時系列に依存してるからランダムフォレストはない。RNNがいいかも。
2018/08/14(火) 05:40:58.83ID:ZxHufy7y0
>>54
コメント辛辣すぎワロタ
★☆☆☆☆「再現できない」
★☆☆☆☆「まったく実戦ではない」
★☆☆☆☆「返品しました」
★☆☆☆☆「内容が薄い」
2018/08/14(火) 19:43:58.53ID:o5he+gY00
何十年か昔のニューロン研究のブームのときもヒューリスティックに株価のパターンを発見して儲けるみたいな研究が紹介されてた記憶があるけど、その後下火になったような

株価はやはりランダムウォークで、テクニカルな分析なんて無効だと思うけど、完全に否定も出来ないから機械学習だなんだと新手のバズワードが出てくるんじゃないかな性懲りもなく

といいつつ俺もツイッターの株に関する書き込みや日銀短観の文の感情分析との関係で予測出来ないか研究してるよ

でも仮に儲かる仕組みを見つけても誰にも教えないでこっそり自分だけ儲けるけどね
2018/08/14(火) 20:12:48.53ID:/o4c3MCw0
よかったね
2018/08/14(火) 21:52:45.73ID:WYqpuTVZ0
今の機会学習って人間にできることをやらせてるだけで、
株価予測とか人間にできないものは判別できないんじゃない。
2018/08/14(火) 22:41:28.26ID:wMPAoB6l0
人間がやる昔ながらの投資手法はなぜかファンダメンタルとかいう呼び名になっている
値動きだけ見て売り買いするのは昭和の頃は相場師とか言った物だ
2018/08/15(水) 00:03:39.66ID:2wi8vkvV0
相場師=テクニカルなんて使い方する人いないだろ
デタラメすぎる
2018/08/15(水) 00:07:24.44ID:a3nr9Eye0
>>61
今は世界中で緩和しまくりだから、本当の価値なんてわからない、ファンダメンタルなんてあてにならないと考えます
2018/08/15(水) 00:21:10.81ID:jwG8Ua4yM
経済学的に「価値」と「価格」は関係ない。
独立。混同すると嵌る。
2018/08/15(水) 01:05:46.03ID:gfhnSfMpa
多種の銘柄の平均期待値は中心極限定理から正規分布に従うので気にすべきことはいかにその分散を減らすかのみ
2018/08/15(水) 06:46:53.06ID:3ANUg6dEp
>>64
オレオレ語録
価値は自分が決める
価格は他人が決める
2018/08/15(水) 09:24:37.87ID:DeYmOP6R0
小僧は俺がやりたいことをやる
2018/08/15(水) 11:17:23.49ID:Rh1wPTDz0
今夜のNHKスペシャルは、ノモンハン事件の発掘映像をＡＩにより自動カラー化

どうせナレーションは糞だから、映像だけみたい
69デフォルトの名無しさん (ﾜｯﾁｮｲ 5f23-VDz4)
垢版 |
2018/08/15(水) 12:59:17.34ID:Y4UT7naw0
小野田少尉のやつもひどかった
2018/08/15(水) 13:24:02.67ID:Rh1wPTDz0
NHKが作ったAI凄いね。これからどんどん戦前の映像がカラー化されそう

人間のように成長するAl（人工知能）！ 80年前の白黒映像がカラーで蘇る!
https://www.nhk.or.jp/ten5/articles/17/003065.html

> この最新技術を活用する初めての番組が、８月に放送されます。
> NHKスペシャル「ノモンハン事件（仮）」ぜひご覧ください。
2018/08/15(水) 13:38:38.38ID:SGNbZPzyM
>>60
人間にできることしかできないわけじゃない。分かりやすいとこで将棋AIとかな。
2018/08/15(水) 13:47:30.19ID:Rh1wPTDz0
>>71
将棋こそ人間が出来ることの代表じゃん
2018/08/15(水) 14:23:32.45ID:sp3AjTCJ0
できることのレベルが違う。

自動車や電車を、走ることなら人間でもできるといっても無理。
自動車や電車のようには人間は走れないし、
ＡＩのように人間はゲームに強くない。
2018/08/15(水) 15:23:52.00ID:RfMLsX630
元が白黒のものに着色しても資料としての価値はないのにさっそく誤解される言い方してるのが
さすがＮＨＫというか
75デフォルトの名無しさん (ﾜｯﾁｮｲ 5f23-VDz4)
垢版 |
2018/08/15(水) 15:52:29.71ID:Y4UT7naw0
>>74
価値がないどころか価値が下がる
2018/08/15(水) 16:02:21.39ID:TqDjOUBh0
ＴＶはエンタメなので歴史なんて自由自在に改変しまくり
2018/08/15(水) 16:09:30.39ID:0QvowbH20
歴史は勝者が書いたもの（笑）
2018/08/15(水) 17:06:05.10ID:L1yVVjUFa
写真に関しての資料としての価値とは現実をより正確に表現することであり、それなら当然カラーの方が価値は高いだろう
白黒写真を白黒写真としてできる限り良い状態で保存できていることが価値の高さを示すものでは決してない
2018/08/15(水) 17:36:14.40ID:+9Q4OCx50
原画は原画として残してあるだろう。番組としての映像の価値だろ
2018/08/15(水) 17:50:33.01ID:RQ0m8IYPa
現実はカラーである以上、映像としての価値だって白黒よりカラーの方が上だろう
2018/08/15(水) 17:53:51.37ID:ZwVzHWMHa
着色だって改変だ
見栄えだったりの価値は上がるとしても
歴史的価値はオリジナルの状態を保たなきゃらなんだろ
2018/08/15(水) 18:23:59.54ID:TqDjOUBh0
ＴＶはエンタメなので見た目のみだな
83デフォルトの名無しさん (ﾜｯﾁｮｲ 679f-FZsK)
垢版 |
2018/08/15(水) 18:24:30.41ID:evuO2JQD0
異常検知と株式予測って同じ技術使えるのかね。
株式予測は「異常に変化する点」を予測できればいいんでしょ？
しかし完全に物理要因の機械故障の予測と、
人間の思惑が絡み合う市場経済に違いがあるかってことが重要だな。
RNNやLSTMは一般向けの技術書はまだ少ないね？
ちょっと論文から読む気にはならんわ。
やっぱり画像処理や自然言語なんかより、金そのもののほうがモチベーション全然
違うよな。
84デフォルトの名無しさん (ﾜｯﾁｮｲ 5f23-VDz4)
垢版 |
2018/08/15(水) 18:41:00.14ID:Y4UT7naw0
金額だけ見るんじゃなくて
事件とかのニュースも見ればいいんじゃね
2018/08/15(水) 18:53:35.96ID:hcpx9XaF0
たかがはじパタ本を読んだぐらいで

「もう理論の基本的なところは理解してるから、
　識別機のコードを書くぐらい簡単に出来るだろう♪」

などと息巻いていたが最近になってやっと現実を思い知った
機械学習のプログラミング、マジむずい
写経を繰り返せば身につくのかなあ(遠い目)
86デフォルトの名無しさん (ﾜｯﾁｮｲ 679f-FZsK)
垢版 |
2018/08/15(水) 19:15:44.40ID:evuO2JQD0
>>84
それだと事件とかニュースをデータ化しないといけないじゃん。
そうすると自然言語処理をしないといけない。
ファンダメンタル情報も体系化されていれば分析もできなくもないが、
基本的に株価情報のみに基づく予測じゃないと、前処理が大変だ。
2018/08/15(水) 22:02:06.26ID:Molgtf9Od
>>85
向いてないだけだよ
2018/08/15(水) 22:05:19.21ID:TF9doA8B0
株価情報しか使わないんならモデルいじっても五十歩百歩なんかね
89デフォルトの名無しさん (ﾜｯﾁｮｲ 679f-FZsK)
垢版 |
2018/08/15(水) 22:35:22.52ID:evuO2JQD0
ランダムフォレストって神だな
スケールの正規化もダミー変数化も必要ないのかよ。
2018/08/15(水) 22:41:50.89ID:Rh1wPTDz0
>>83
株価の異常検知なんて、わざわざ機械学習しないでも
出来高と値動きで簡単にスクリーニングできるよ
2018/08/15(水) 22:43:24.07ID:4ayKDE5p0
深層学習みたいにRandomForestを多層化したしたやつもあるよ。
2018/08/16(木) 08:26:06.49ID:U+tTv42oM
ディープ フォレストだね
2018/08/16(木) 08:35:39.93ID:I/85hfE80
株価情報だけに基づく予測とか転換点の見極めだと
結局のところ数多くあるテクニカル分析のどれかと
似たり寄ったりの結果にしかならなそうだ

かと言って財務情報を加えればファンダメンタル分析と変わらず
ツイッターやニュースなどの情報を加えればノイズが多すぎる
94デフォルトの名無しさん (ｱｳｱｳｳｰ Sa4f-ot+S)
垢版 |
2018/08/16(木) 08:43:11.46ID:olaq8Ifaa
大口機関投資家は相場を当てに行くんではなく相場を作りに行くんだからな。
2018/08/16(木) 10:40:16.90ID:dK6faLvu0
DL is the forest of the labyrinth.
96デフォルトの名無しさん (ﾜｯﾁｮｲ db9f-f+/+)
垢版 |
2018/08/16(木) 17:39:09.28ID:G6TcbKDp0
>>94
だからなんだよ
相場を作れる奴なんてわずかしかいないんだから
当てるしかないんだよ。
ノイズは乗ることが前提じゃないか？
除去すればいい。
ところで既存のテクニカル分析がもともと精度いいなら
それで十分かもな。
どうしても不安なら機械学習で裏をとればいいかも。
2018/08/17(金) 07:25:52.71ID:iogKgGqm0
AIを使ってないものがAIという名前で売られている
2018/08/17(金) 09:22:38.95ID:GoxDl3r90
それがブームというもの
2018/08/17(金) 10:39:33.89ID:DRjuha9zM
>>97
AIの定義も色々あるからな。
2018/08/17(金) 12:20:16.25ID:sO++Wjmca
AI＝Artificial Intelligence＝人工的に作られ知能を持つように見えるもの、
程度の曖昧な意味しかないので内部の仕組みに関わらず知能を持ってるっぽいものは全てAIと呼んで問題ない
そもそも技術者はこんな定義の曖昧な言葉は使いたがらず、営業など技術の詳細を知らない人間が売り文句に使うだけなのであまり信用してはならない
101デフォルトの名無しさん (ﾜｲｰﾜ2 FF3f-HyiG)
垢版 |
2018/08/17(金) 12:45:30.22ID:23Jvz4gXF
人工痴能アイちゃん
2018/08/17(金) 15:08:19.34ID:pB0wfHJI0
三菱UFJ国際がAIで運用するAI投信右肩下がりなんだけど、これ誰が責任取るの？

ＡＩ日本株式オープン（絶対収益追求型）（愛称：日本ＡＩ（あい））
http://www.morningstar.co.jp/FundData/SnapShot.do?fnc=2017020106
2018/08/17(金) 15:30:26.61ID:IXADJa1JM
投信なんだから金出した人だわな。元本保証投信なんて聞いたことない。
2018/08/17(金) 16:07:39.19ID:eb+hmNQa0
自己責任、俺が言おうと思ったのに
2018/08/17(金) 17:24:45.21ID:iogKgGqm0
キズナアイ？
2018/08/17(金) 17:41:14.27ID:pB0wfHJI0
>>102
AI作った人美味しすぎワロタ
2018/08/17(金) 18:19:35.25ID:kTNZgpGBa
普通の機関投資家が投資する場合は損失出しまくればその部門の責任者が何らかの形で罰を受けるだろうけどAI投資なら誰も責任取らなくて済むんだろうな
開発会社が投資結果に責任負うような契約するわけないだろうし
2018/08/17(金) 19:22:06.49ID:0xyti3j20
社内的にはAI部門?担当の人がなんか被るんでないかい?
2018/08/18(土) 19:11:08.68ID:Y3qX5jYN0
スクラッチで識別器を組む参考書ばかりやってきたから
sklearnを使う参考書を読み始めてから楽勝ムードが漂いはじめてる
案外、こんなもんか

てか、スクラッチでなにも見ないで識別器を組める奴なんて一部だけで
みんなライブラリ使って楽してるのか？ そんなわけないよな
110デフォルトの名無しさん (ｱｳｱｳｴｰ Sa3f-HyiG)
垢版 |
2018/08/18(土) 19:14:28.41ID:IyhzoKxXa
中身判らずにブラックボックスで楽しんでる人は多い
本人がそれでよければ周りがとやかく言うことじゃない
2018/08/18(土) 19:31:01.05ID:BeMZGa07a
スクラッチにこだわる人は仕事で使ってないだけだろ
2018/08/18(土) 19:40:45.28ID:7isjh9bnd
コスト意識がないのはスレに学生さんが多いのだろう。
暇なうちにゼロから作るのは悪いことじゃないけど、スクラッチ自慢する人が cuda対応とかもちゃんとやってるかは怪しいもんだがw
2018/08/18(土) 19:44:13.99ID:swOBckIH0
中で何をやってるのか全く分からないけど、
サンプルコードをいじって、適当にデータを与えて実験するのが主流です
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況