【統計分析】機械学習・データマイニング24

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん (ワッチョイ 8b01-ZQWL [60.65.176.121])
垢版 |
2019/05/01(水) 10:39:45.57ID:Wg+J+pQH0
機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured
544デフォルトの名無しさん (ワッチョイ ab82-nnqq [113.20.238.175])
垢版 |
2019/05/29(水) 21:13:20.60ID:7nrnLjkN0
>>543
勉強にお勧めの書籍やサイトはありますか?
545デフォルトの名無しさん (ワッチョイ 713d-CsTB [218.229.147.47])
垢版 |
2019/05/29(水) 22:11:55.58ID:XEw54qYY0
「15分後の株価」と「30分後の株価」とか
2019/05/29(水) 22:17:48.69ID:qjKa/CEa0
>>545
株価予想って機械学習で一般人でできるのかね
どれだけ質のいい情報が入手できるかのほうが重要そう

トランプのツイッターが原因で中国の株が乱高下してても中国の個人投資家はなんで相場が動いてるのか分からんかったとかいう話聞いたし
547デフォルトの名無しさん (ワッチョイ 332d-d7ea [101.128.242.211])
垢版 |
2019/05/29(水) 22:32:21.01ID:tZl3oLaI0
株価って突発的な出来事の影響が大きそうだし予想できるもんなんかね
2019/05/29(水) 22:32:43.30ID:pf0Cg+pWx
>>543
銀行1の株価、銀行2の株価、とか?
同じ業種の株価は連動するから、入力も出力もグループ化するよ

>>545
個人でも儲かる方法はあるよ
詳細は言わないけど、どうしても大手とは違うやり方になる
2019/05/29(水) 22:36:38.33ID:uNZ63kmU0
>>546
中国株触るのにトランプの動向チェックしないなんてありえないから
たぶん中華投資家は情報統制食らってるんじゃないかな。
2019/05/29(水) 22:37:08.35ID:pf0Cg+pWx
>>547
予想というより結果を大事にする
ボラティリティ(分散)はGARCHでかなり上手くモデルに当てはまる

ボラティリティが予想できるなら、オプションで儲けられるはずだけど、そもそものオプション価格がそれを見越した価格設定がされていて手数料負けする

なので違うやり方になる

株価自身の予想は統計的には予想できないことになっている

でも、儲ける方法はある
こんな感じ?
2019/05/29(水) 22:38:46.58ID:DaGU3Mz0a
株価は短期なら意外と当たるんだが、
たまに来る、予想と違う方向へどかんと動いて固定
これが怖い。大体これにやられて退場する人が多い
最近だとリーマンショックとか。
2019/05/29(水) 22:42:11.57ID:pf0Cg+pWx
あまり儲からないけど、ほぼ確実なのは鞘どりだね
連動する株価を反対売買する
これは機械学習するまでもなく従来の時系列データ解析で十分できるけど、今なら機械学習で簡単にできるよ
この方法は手数料がとにかく安くなるようにするのがポイント
2019/05/29(水) 22:53:33.08ID:qjKa/CEa0
>>549
中国国内からは通常の方法ではtwitterとかgoogleとかyoutubeとかは見られないらしいよ
2019/05/29(水) 23:20:45.39ID:w1YMyBUf0
VPNで何とでもなりそうだけど、どうなのかね
2019/05/30(木) 06:16:41.72ID:3VEQV70R0
vpnでどうにかなった
556デフォルトの名無しさん (ワッチョイ 825a-8Ger [61.114.210.151])
垢版 |
2019/05/30(木) 09:08:02.19ID:8juV0fmw0
機械学習で株価って、ずいぶん前からやられていることだから
結果については、その人の力量次第
2019/05/30(木) 10:22:31.99ID:3C4CVC+50
>>551
それでも儲けるハゲタカ
558デフォルトの名無しさん (アウアウウー Sac5-o5HR [106.161.120.33])
垢版 |
2019/05/30(木) 10:44:39.22ID:niFMShc3a
株価の予想に頼らない売買法さや抜き。
559デフォルトの名無しさん (ワッチョイ 825a-8Ger [61.114.210.151])
垢版 |
2019/05/30(木) 14:38:28.57ID:8juV0fmw0
>>558
株であれば会員業者
為替は取引業者じゃないと
手数料の関係で儲けるのは大変難しい
560デフォルトの名無しさん (アウアウクー MM51-o3Sf [36.11.224.28])
垢版 |
2019/05/30(木) 19:09:07.15ID:aU6K3cRFM
transformerてcnnなの?
561デフォルトの名無しさん (アウウィフ FFc5-5O4J [106.171.80.231])
垢版 |
2019/05/30(木) 19:20:01.02ID:Ec3P7ZkhF
>>543
出力5通りしかないなら3bit出力でもいけるはず
2019/05/30(木) 19:52:55.23ID:0qwHKIKpa
2進数表現は分散表現だから個々のbitに意味がない限りone-hotの方がいい
563デフォルトの名無しさん (アウウィフ FFc5-5O4J [106.171.80.231])
垢版 |
2019/05/30(木) 20:41:03.18ID:Ec3P7ZkhF
人間の脳だとどっちなんだろ
2019/05/30(木) 20:45:39.63ID:s4B+etfT0
理論上はデルタヘッジしときゃ儲かるんでないの?
2019/05/30(木) 22:19:08.77ID:PBHpgwjDp
>>564
鞘どりと同じで枚数を多く買って微調整が必要だから手数料負けする
デルタヘッジは相場が動けば儲かるように書かれてるけど、実際にやると始値終値で仕掛けない限り理想の価格で買えない
あとデルタ調整を毎日できるマメな性格と、急激に動いた時に即座に対応できる暇人の能力が必要になる
2019/05/30(木) 22:57:28.17ID:s4B+etfT0
>>565
なるほど。
>実際にやると始値終値で仕掛けない限り理想の価格で買えない
この視点は完全に抜けてたわ。
2019/05/31(金) 08:33:35.49ID:8Nq4J3at0
TJOの本名ってなに?
著書を読みたい
568デフォルトの名無しさん (トンモー MM8d-OIQ8 [210.142.95.28])
垢版 |
2019/05/31(金) 08:56:09.46ID:JBiczG6TM
>>566
俺は違う考え方。
予測と売買手法はペアで考えるべきと思います。

というか関係深いので、
予測手法と売買手法の
適切な組み合わせを
模索すべきでしょう。

使ってるデータも予測手法も明らかにしてないのに
始値と終値が理想と言われても
ピンときません。
2019/05/31(金) 09:50:20.29ID:vi/KBQMNM
板情報も予測に含めるのは、出来たらいいけどデータ集めが無理そう
2019/05/31(金) 12:06:44.13ID:Ff6e28/xH
ステップ関数で閾値を超えたら1超えなかったら0
閾値を移行して+b=-thresholdでバイアスに置き換えると計算楽でなるほどー
とか思ってたんだけどさ
シグモイドなんかだと断絶してないじゃん。どの値入力されても連続的に出力されて閾値無いじゃんと思うの
んで閾値が無いなら上の定義からバイアスも無いんじゃね?って思うんだ
バイアスってなんなんだろう閾値じゃないんか
571デフォルトの名無しさん (オッペケ Sr91-bUsD [126.212.244.147])
垢版 |
2019/05/31(金) 12:25:46.27ID:anN+B1rmr
シグモイドが0.5を超えるかどうかが境目じゃね
2019/05/31(金) 13:41:13.67ID:kJS62wWPp
>>568
予測と売買手法はデルタヘッジという言葉に含まれていて分離されているわけではないよ
デルタヘッジは売買手法のことで、ボラが大きくなることを予想した場合にとる手法のこと

理想価格というのは、検証に使った価格と同じ価格で売買できるかという事
2019/05/31(金) 20:08:15.95ID:Y4zgyW5lM
【機械学習】株価予測
https://mevius.5ch.net/test/read.cgi/tech/1540525018/

過疎ってるこっちを使ってやってくれや
2019/05/31(金) 21:03:34.70ID:SYuh0ZxQ0
少なくとも今はボラティリティーはかなりでかい相場と見ていいだろう。
これでボラティリティー低いとか言ったら安定とはとか思い出すわ。
2019/06/01(土) 00:21:56.03ID:6lfNl3yX0
>>573
めっちゃ過疎ってたw
2019/06/01(土) 09:12:18.05ID:HfNJIaaua
正直株価予想興味ない
2019/06/01(土) 11:05:39.49ID:FEy0/cL3a
こんな素人レベルの考えで株価予想できるなら当然世界中の投資家が既にやっていて多額の金が動いている
そうすれば上がりそうなら買い、下がりそうなら売りが即座に入るので結果的に株価の変動がほぼなくなる
現状そうはなっていないので誰にもできていないということ
578デフォルトの名無しさん (ワッチョイ 8d7c-5O4J [122.215.159.99])
垢版 |
2019/06/01(土) 11:41:45.97ID:KmtNp3Ps0
今は予測どうこうより
他人より早く変動をとらえて
差額をかすめ取る方が勝つ
だからFPGAが流行る
579デフォルトの名無しさん (ワントンキン MMd2-/pXN [153.140.102.208])
垢版 |
2019/06/01(土) 14:42:54.57ID:RQeh12YpM
AIも結構負けてるらしいけどね
2019/06/01(土) 16:20:19.02ID:WS2F10M10
>正直株価予想興味ない
そこだよな
技術者って株やってるやつがそもそも少ないんだわ
2019/06/01(土) 16:30:05.62ID:hwSQjOfA0
取引用のAPIとか流行ってないのもあると思うけど
2019/06/01(土) 17:34:56.30ID:dhP+frpUx
>>581
GMO証券が昔やってたけど、プログラマーが業者間アービトラージやりすぎて禁止にしたんだわ

同じUSDJPYでも業者間で開きがあってね、でも基本は同じ価格だから監視して反対売買するだけでノーリスクだったんだ

そしたらシステムの不備をついての取引はなかった事にするって決められて取引ノーカン、待て待てお前らもシステムの不備で個人に損失押し付けてるだろってなって、GMOがめんどくせ、でAPIごと無くなったw
2019/06/01(土) 17:38:45.74ID:hwSQjOfA0
GMO API懐かしい。
なるほど、そんな裏話があったとはw
2019/06/01(土) 18:51:47.90ID:GYFwl+wK0
「手を動かしながら学ぶ ビジネスに活かすデータマイニング」尾崎 隆

禿げてるくせにアイコンではドフサなのなw
585デフォルトの名無しさん (ワッチョイ 7e82-sg41 [113.20.238.175])
垢版 |
2019/06/01(土) 21:33:13.93ID:q5GNYH3B0
これはひどいw

フレーム問題は解決済みというこのブログの62からの書き込みをご覧下さい。
ななしさんvs田方さんの議論が続いているけど
田方さんはひたすらコピペを繰り返すのみw

どちらの意見の方が正しいと思いますか?
https://robomind.co.jp/frameproblem/#comment-519
2019/06/01(土) 22:20:06.45ID:6lfNl3yX0
>>585
わたしはナナシさんに一票ですかねー
2019/06/01(土) 22:41:25.66ID:2XldKqBd0
双方、定義が曖昧で詰め切れてないような
言葉で説明するより、数式化した方が解りやすい議題では?
2019/06/01(土) 22:47:35.18ID:6lfNl3yX0
確かにそんな感じはするよね

ナナシさんの方は人間すら解けない一般化フレーム問題について言及してそうだし

田方さんの方は条件が揃えば有限推論にまで落とし込めるレベルまで来てるって話してる

自分はまだ後者すら怪しいと思ってる
2019/06/02(日) 03:44:15.71ID:2KxPItQH0
ボーナス出たらPC買い替えたいんだけどみんな自宅でどんなPC使ってる?
コンペ出てる人とかはモンスタースペックなんだろうか
今使ってるのが下のスペックなんだけどGPU積んでるやつそろそろほしい
ノートPC
メモリ8G
SSD128G
2019/06/02(日) 06:15:33.28ID:IIH/Ft8W0
>>589
ゲーミングPCにUbuntu入れてる
Core i7-8700
32GB
RTX-2080Ti

30万円くらいしたけど15万円くらいのノートPCにして残りはクラウドでも良かったかな
2019/06/02(日) 08:49:41.97ID:sOEEtAtn0
automlでいいじゃん
2019/06/02(日) 11:39:59.34ID:KRm86vg2a
colabでタダで使えるGPUが50万ぐらいするやつだから、それ以上の金をつぎ込むかどうしてもオフラインで使えなければならないとかでなければ
PCはできるだけ安価にして機械学習の実行はcolab使った方が圧倒的にマシ
2019/06/02(日) 11:42:57.91ID:+FZaNNUF0
EC2のp2インスタンスで優雅に実行してる
2019/06/02(日) 11:49:22.08ID:fhCQazd50
https://headlines.yahoo.co.jp/hl?a=20190602-00000003-asahi-soci
2019/06/02(日) 16:16:23.54ID:sOEEtAtn0
向こうにデータが流れちゃうんだっけ?
2019/06/02(日) 16:54:44.09ID:bAFc1zkP0
>>594
だれが責任取るんだろうな
597デフォルトの名無しさん (ワッチョイ 8d7c-5O4J [122.215.159.99])
垢版 |
2019/06/02(日) 19:01:56.94ID:J26IJNP50
AIも居眠りするんか
2019/06/03(月) 00:44:11.05ID:ovfSzwnAM
seq2seqをrnnではなくcnnでやる論文が出たの、まだ一年前か
あまりにも技術の進歩が早すぎて辛い。学習コストが高すぎてプライベートを侵食してる
599デフォルトの名無しさん (ワッチョイ 323e-JvkD [149.54.201.210])
垢版 |
2019/06/03(月) 00:59:05.77ID:XztrACRT0
初歩的な質問ですいませんがAI系の論文てどこで見れるんですか?
2019/06/03(月) 01:17:14.89ID:M+xUF/Q70
https://arxiv.org/
601デフォルトの名無しさん (ワッチョイ 323e-JvkD [149.54.201.210])
垢版 |
2019/06/03(月) 01:39:49.35ID:XztrACRT0
>>600
英語なんすね・・・(^_^;)
ありがとうございます
2019/06/03(月) 07:44:41.95ID:uDEDVvyl0
グーグル翻訳かけろよ
2019/06/03(月) 08:08:44.21ID:3/CobnB+0
てかクソみたいな日本語解説よりも良い論文てのは読みやすいもんだから。
2019/06/03(月) 08:52:30.51ID:laJYrrTta
英語なんすねと言ってる時点で論文読むのは無理
2019/06/03(月) 09:05:36.33ID:lmgaybdAM
日本語の論文?で完結する分野あるのかね。歴史、宗教、文学くらいかや
2019/06/03(月) 09:51:04.68ID:NMMhu3n80
>>605
だとしても前者ふたつは古文書という難関が待っているw
2019/06/03(月) 10:21:07.26ID:KMfIyW070
美人シリーズ第4弾
https://youtu.be/3reMykHGMtg
2019/06/03(月) 12:03:19.08ID:e0wnqHBFa
今中国がアメリカ追い越したからアメリカ人は中国語に四苦八苦してるって聞いたが
609デフォルトの名無しさん (アウウィフ FFc5-5O4J [106.171.77.65])
垢版 |
2019/06/03(月) 12:12:24.36ID:ZJy6OnVgF
日本語で書いてあっても読めんとか言うよこういうモンスターは
2019/06/03(月) 12:55:46.32ID:4oSq2JT3a
数学と英語苦手な時点でこの分野はやめた方がいい
これまでのIT土方と違ってそれなりに頭は必要な分野
611デフォルトの名無しさん (トンモー MM8d-OIQ8 [210.142.95.143])
垢版 |
2019/06/03(月) 15:18:59.46ID:KMzFsLrVM
そう
英語と数学は勉強したほうがいいね
じゃないと仕事にならんでしょ
2019/06/03(月) 15:24:19.33ID:IZ54YEPMp
プログラマー、ソフトウエアを目指す限り、英文からは逃れられないよ。
そこがクリアできてもIT土方が沢山いるのに。

そもそも何かわからなかった時に、どうやって解決法を見つけてるんだよ。 日本語で間に合ってる? よほど時代遅れの知識だな。
2019/06/03(月) 16:28:44.31ID:dNq8yLNDM
そこそこなアプリ作るのと機械学習ってどっちが難しい?
2019/06/03(月) 18:06:46.78ID:S2kjcDL10
【速報】クオカード五百円分とすかいらーく優待券をすぐ貰える   
https://pbs.twimg.com/media/D8H9xLNUYAAoI8J.jpg  
    
@ スマホでたいむばんくを入手
A 会員登録を済ませる 
B マイページへ移動する。    
C 招待コード→招待コードを入力する [Rirz Tu](スペース抜き)   
   
今なら更に4日18時までの登録でクオカードとすかいらーく優待券を両方ゲットできます    
    
数分で出来ますのでお試し下さい
2019/06/03(月) 18:44:54.25ID:IFRF1HL70
>>613
機械学習だけやるならそんなに難しくないでしょ
フレームワーク使えば理論知らなくても結果だけはだせるし
基本的にバッチ処理だし
この地味な作業を楽しいと思えるかが重要
616デフォルトの名無しさん (トンモー MM8d-OIQ8 [210.142.95.143])
垢版 |
2019/06/03(月) 19:02:00.26ID:KMzFsLrVM
今のところPythonのライブラリに
データ突っ込むだけで仕事になってしまうからなあ。

今後はそれだけじゃあダメだと思うけどね。
若い人は今のうちに英語と数学を
勉強しておくべきと思いますね。
2019/06/03(月) 19:11:49.90ID:K3p1xLZi0
>>614
CM見てインスト済み
2019/06/03(月) 19:36:10.22ID:TWqm3GopM
そんな仕事あるんか
解釈性もくそもないな
2019/06/03(月) 19:50:11.89ID:3/CobnB+0
英語は必要だとは思うがそもそも日本語で十分なところもできてない奴は多い。
そういう意味では英語わからんでも十分。
2019/06/03(月) 20:03:16.10ID:uDEDVvyl0
chainer(笑)のやつか
松尾豊(笑)のやつなら日本語だろ
2019/06/03(月) 20:29:56.17ID:VGERDnng0
>>619
意味不明、日本語を勉強したらw
2019/06/03(月) 20:36:09.49ID:4mhHvrQR0
>>608
アメリカ人に中国語は無理でしょうね…
まず漢字を1万ほど覚えなくちゃならないですから
2019/06/03(月) 20:53:44.42ID:VGERDnng0
帰化シナ畜の発言は重い
624デフォルトの名無しさん (ワントンキン MMd2-JvkD [153.147.56.91])
垢版 |
2019/06/03(月) 20:57:59.06ID:uC3eXgjBM
なんで日本人が作るAIってレベル低いの?
2019/06/03(月) 21:06:24.06ID:9zscLiuLM
AIは日本人の仕事を奪うからな。
2019/06/03(月) 21:12:54.57ID:tuBqQaKmM
ジェネラリストに作らせるからじゃない?
2019/06/03(月) 22:12:54.02ID:3/CobnB+0
アメリカだろうと中国だろうとまともに応用されてる機械学習技術なんてそう多くはない。
単純に当たりづらいものに規模で負けてりゃそりゃそうなるわ。
628デフォルトの名無しさん (ワッチョイ 323e-JvkD [149.54.201.210])
垢版 |
2019/06/03(月) 22:21:54.97ID:XztrACRT0
最新の論文を読んでないと仕事にならないとか思い込んでるからなんだよな
人のアイデアをパクってても新しいものは生まれない
2019/06/04(火) 00:45:55.87ID:8xHD1vRka
大半のエンジニアはパクる能力から発展して新しく生み出す能力を身につけるんだけどな
無から生み出せるのなんて一握りの天才だけなのでそんなのを前提に物事考えてはならない
630デフォルトの名無しさん (トンモー MM8d-OIQ8 [210.142.95.18])
垢版 |
2019/06/04(火) 02:01:41.10ID:KLSsoQXNM
無から生み出せるなんて
神のみだよ

人は脳の物理的限界を
超えられないんだ

サルと同じようなものさ
631デフォルトの名無しさん (ワッチョイ 305a-rJ7W [61.114.210.151])
垢版 |
2019/06/07(金) 22:31:32.71ID:NFFQc2wE0
>>616
>今のところPythonのライブラリに
>データ突っ込むだけで仕事になってしまうからなあ。

将来的には、似たようなことが主流になるだろう。
通常言われる専門の技術者が作ったものは信用されなくなると思う。
信用度の高いものが、パッケージのような形で供給され
それを使うのが一般化してくると思う。

今までの数理技術系と同じ流れになると思うよ。
2019/06/07(金) 22:51:34.40ID:SEIOZ3Zi0
機械学習の難所は、その突っ込むデータの選定としかるべき前処理かと
2019/06/08(土) 00:17:58.14ID:K02PGDcbH
その前処理もAIがやるようになるだろうなあ
スペシャリストの中のスペシャリスト以外は働けない世の中になりそう
634デフォルトの名無しさん (ワッチョイ 305a-rJ7W [61.114.210.151])
垢版 |
2019/06/08(土) 00:39:31.90ID:VVVFFkBt0
>>632
それはその通りなんだが
AI関係の人はほとんどが、旧来からの分析者に比べると
その辺りを嫌う傾向、および軽視するがあるように見受ける。
2019/06/08(土) 05:49:01.12ID:2hi7btAr0
データは社内のデータベースにある
そこから引っ張るとしてとりあえずSQL文は書けないといけないが
AI系の人でまともにデータベースやSQL知ってる人を知らん
画像処理や自然言語処理も知らん
コモディティ化した今のディープラーニングなら
理論知らなくても解析できるし
その辺理解してるデータエンジニアだけが生き残りそう
2019/06/08(土) 08:18:18.40ID:JxaHk6L10
>>631
知ったかしてるところ悪いが「数理技術」はそこまで安定したことは一度もない。
2019/06/08(土) 08:23:50.60ID:5drHbnb00
機械学習やってる研究者って天才の実装パックてるだけやん。。。
まあ数学者じゃないから仕方ないけどもう少し数学的なとこを考えてほしい
2019/06/08(土) 08:28:17.16ID:JxaHk6L10
CNTK とか数学的アプローチはある。ただ恐ろしく実用的ではない。
639デフォルトの名無しさん (ワッチョイ 305a-rJ7W [61.114.210.151])
垢版 |
2019/06/08(土) 09:45:57.34ID:VVVFFkBt0
>>636
おそらく言っている意味と、あなたが捉えている意味が異なるんだとおもう。
たとえば、医薬など、学会や国際的な組織に亭主るする際に、この手法は
私があらたにプログラムしましたでは、信用してもらえない。
その論文などのために、みんながデバックしろという話になってしまう。
640デフォルトの名無しさん (ワイーワ2 FF3a-x8t4 [103.5.140.151])
垢版 |
2019/06/08(土) 10:29:12.95ID:o8w0Fi6UF
そやな、閉じた世界なら何でもいいけが信頼性考えるとご免こうむる。
金融の資金運用でも自己資金ならどうでもいいが、預託資金の運用だと
説明責任もあるから、分析などのコアには信頼度の高いもの使う。
2019/06/08(土) 10:42:37.12ID:3e6+W68wH
AIやってて画像処理も自然言語処理も知らないって何やってた人なのだろうか
642デフォルトの名無しさん (ワイーワ2 FF3a-x8t4 [103.5.140.151])
垢版 |
2019/06/08(土) 10:43:11.34ID:o8w0Fi6UF
考えたら機械学習でPython利用が多いというのも、流用できるからが多いわけだから、このの世界も次第にそうなって行くだろ。業務と手法のインターフェースに成れる人、あるいは、商用パッケージ作る人以外は職が難しくなるかもまだ先だろうけど。
643デフォルトの名無しさん (ワイーワ2 FF3a-LM63 [103.5.140.151])
垢版 |
2019/06/08(土) 11:01:05.35ID:o8w0Fi6UF
>>641
AIで画像処理中心は今に始まった話だからね
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況