【統計分析】機械学習・データマイニング20

2018/08/07(火) 18:56:37.59

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/09/16(日) 18:04:12.36

>>473
具体的なコメントまだぁ？

2018/09/16(日) 21:36:06.16

>>473
具体的で独自解釈な論文まだぁ

2018/09/17(月) 01:18:13.47

スロベニア製のオレンジ使ってる人いる？

2018/09/17(月) 13:40:23.85

今日は統計解析の勉強する

2018/09/17(月) 15:07:41.13

明日はどっちだ！

2018/09/18(火) 20:40:14.73

ubuntuにjupyterをインストールしようとしたけど、これもう無理だな
英語コミュニティでも、ちゃんとは内容を理解できないけど、みんなで無理だのなんだの言ってる感じ
pythonのパッケージを管理するためだけに
linuxについてをここ二週間ずっと勉強してきたのに初手でつまずいてしまった

2018/09/18(火) 20:42:18.85

あっ、condaを使ってしまえば話は別ね

2018/09/18(火) 20:49:20.88

どういうこと？Jupyter Notebookがブラウザで立ち上がるだけじゃダメなの？

2018/09/18(火) 20:52:03.60

時系列解析の自己回帰(AR)モデルについて教えてください
「AR(1) = Rt = μ + Φ1Rt-1 + εt」という式で
次数1の時「Rt: 今回の値」は「Rt-1: 1つ前の値」から推定される
という式ですが、この「1つ前の値」は実測値ですか?
それとも「Rt-2」を使って算出された予測値を説明変数と
するのでしょうか？
前者が正しいなら1つ前の実測値がないと予測できない事になりますが、
後者が正しいなら何時点か前の初期値1つだけで何時点も後の
値を予測可能だと思うんですが、どちらでしょうか？

2018/09/18(火) 21:40:22.66

>>487
何を分析するかに依るけど
一般的には実測値だと思う

2018/09/18(火) 21:54:26.20

>>484
ありがとう。株価だよ。
すげえ悩んでたから助かったよ。

2018/09/18(火) 21:56:59.45

>>484
ごめん、正確には収益率。

2018/09/18(火) 21:58:14.97

>>482
せっかくのLINUX環境なのに、CLIで起動できない実行環境なんて悲しすぎる

なんて思ったけど、jupyterlabなら簡単にインストールできた
コレ、次世代すぎて使いこなせる気がしないけど
今ぱっと動かした感じだとpycharmの更に上を行くほど更に凄いな
てか今年の春にjupyter notebookの使用方法をマスターしたのに
もう上位互換が出るのかよ。やってらんねーよ

2018/09/18(火) 22:20:56.79

株価って機械学習で予測できるの？
こないだ質問したら人間ができないことはできないっていってなかった？

2018/09/19(水) 00:03:09.71

単純なデイトレゲームと仮定した場合

株：できる、しかし実際には法律でアウトになるのでできない
見せ板を多用した相場誘導や短時間での注文&キャンセル処理でAPIに負荷かけた時点で
法律的にアウト

仮想通貨：できる
株ではできない見せ板を多用した相場誘導が基本的に無制限で法律で取り締まられてもいない
取引所に負荷かけすぎて怒られたりBANされることは多々あり
具体的には、板を出しているのが人間かそうでないかを見分けることで
肉入りから証拠金を巻き上げるような動きが可能になる

長期的嫌気判断として見た場合

株：できる
実際に行われているのは上場企業の役員のTwitterチェックなど
マイナスやトラブルを引き起こすような発言があったとシステムが判断した場合
(要するに異常検知の一種で炎上を検知している)
AIによって一斉に売られたりする
よくマイナス異常検知のターゲットになってるのはイーロン・マスクと関連企業
マイナスの異常でなくプラスの異常検知でも同じ
ニュースに対する反応なども見る

仮想通貨：できる
しかも風説の流布の取り締まりなどが行われていない為やりたい放題できる
大手仮想通貨メディアを裏で操る人々は、この手の手法で荒稼ぎしているだろう
直近で言えば、ゴールドマン・サックスの仮想通貨トレードデスク開設中止報道etc...

まぁちょっと勉強すれば誰でも思いつくよな
仮想通貨はこんな各国の法整備状況で、ビットコインETF承認なんてされたらある意味祭り

2018/09/19(水) 00:12:36.78

取引方法がはじめからわかってたら、高速なシステムトレードやるだけだろ。
株価じたいではなく、ニュースからデータ仕入れて、何に反応するかの部分のAI化ってことか。

2018/09/19(水) 07:51:57.58

見せ板してる時点で、予想できてないじゃんｗ

2018/09/19(水) 08:01:29.20

予想の値を出すことは可能
だけどそれで目標の利益を得られるかは別じゃね？
一度上手く利益を得られたとしても
トータルでは違う結果になるかもしれない

2018/09/19(水) 11:10:21.21

AI×株の話題は荒れるから、野菜の分類でもやってろ
https://tech.nikkeibp.co.jp/it/atclact/active/17/070300314/070400002/?n_cid=nbpnxta_mled_act

2018/09/19(水) 11:32:57.12

ステマ

2018/09/19(水) 12:36:23.68

判別難し過ぎワロタ
https://tech.nikkeibp.co.jp/it/atclact/active/17/070300314/070400002/010.jpg

2018/09/19(水) 12:56:40.73

荒れるっていうか実際やってる人達が他のやつもみんなやりだすと稼げないからな
仮想通貨のデイトレゲーは大資本ないと厳しい(ただし、手数料フリーの取引所は例外)
深層異常検知の自動取引なんてすごいお手軽にリスクを最小化できる

まぁこの程度はネタバレにすらならん
大手はみんなやってることだろ

2018/09/19(水) 13:07:48.03

震災後は地震になると猛烈に先物を売る地震アルゴとかあったけど、
全戦全敗で撤退した

2018/09/19(水) 13:36:19.39

>深層異常検知の自動取引なんてすごいお手軽にリスクを最小化できる
それってどうやって性能評価してんの？

2018/09/19(水) 14:27:41.75

今日休みだから勉強してたけど5時間で参考書4ページくらいしか進んでない…
時間かけたからって理解したわけじゃないし…
ビニングとか交互作用とか多項式とか概要はまだしもなんでこれをやる必要があるのか全然分からん

2018/09/19(水) 17:46:00.61

俺はもう一冊読破したよ
コツは実践しながら読むこと

2018/09/19(水) 18:05:00.19

>>489
でも野村證券とか大手はAPIに負荷かけまくりじゃん？
おかしいよね？

見せ板も出しまくりだよね？

2018/09/19(水) 18:32:49.69

JUPYTERLAB、まじで統合開発環境になっていやがるな
機能が一気に増えたけど、余計なことまで出来るようになるのは吉か凶か

DSモドキ、機械学習エンジニア(笑)たちの御用達ツールって感じじゃなくなったな
本当にIDEだ。pythonを使って、チームで本格的な開発を行う人たちの強力なプラットホームだわ

2018/09/19(水) 19:09:37.45

jupyterlabはvim拡張がnotebookと比べて貧弱だったから使ってなかったけど今は進化したかな？

2018/09/19(水) 19:48:23.18

>>500
一冊終えるのに何ヶ月もかかるわ
だからって完全に理解してるわけじゃないし時間かかった分どんどん忘れていくし…
実際コード書きながらやるんだけど参考書の説明が分からないと先に進めず考えこむんだけど分からなくても先にとりあえず進んだ方が良いのかなぁ

2018/09/19(水) 20:10:53.74

>>495
よーし、裏山に生えてたニラでも食うかー

2018/09/19(水) 21:33:48.11

>>495
実物見りゃすぐ分かるよ

2018/09/19(水) 21:40:24.46

>>504
いちいち立ち止まって考えるのも、無理やり先に進むのも、どっちも正解だろ
どういうやり方をしてもすぐに忘れるんだから
ただ、表面的な知識を忘れても、なにか身についているような状態にするのが理想なんじゃないかなとは思う

数学、統計学、機械学習の理論、情報科学の基本的な考え方
プログラマー的な物作りの直感や、WEB系なら文系的な能力などなど
そういうものが最も大切で、ライブラリやプログラムの文法、ツールの使い方なんかは
適当にそのつどそのつどで調べながら身につければOKなんじゃないか

最近、ツール関連は流行り廃りが激しいから、使い方をいっぱんに覚えるより
使い方がわからないツールを、英語ドキュメントを読みながら、なんとなく動かして
作業をちんたらちんたら進められる能力のほうが貴重な気がしてきた

2018/09/19(水) 23:21:12.82

>>499
細かく読み進める前に、学ぶ意義付けを見直した方がいいんじゃないか。
入門書であれば章の始めなどに「何のためにこの章を学習するか」という意義付けが示されるはずだし、
示されないのであればあまり入門者向けの本ではないからもっと簡単な本から学んだ方がいい

2018/09/20(木) 10:23:59.56

ＴＦ２、高レベルに進化するんだな
数年後にｋｅｒａｓ消えてそう

https://www.hellocybernetics.tech/entry/2018/09/20/001259

2018/09/20(木) 11:30:12.09

>>509
tensorflowとpytorchか？新しいの出てくるのか？

2018/09/20(木) 12:23:04.74

開発元同じだから

2018/09/20(木) 12:23:46.76

覚えるの大変だから、これ以上新しいものは出さないでほしい

2018/09/20(木) 12:30:15.73

おまいの脳は退化してる

2018/09/20(木) 14:26:41.94

脳が学習を拒否してるだけだろ

2018/09/20(木) 20:04:23.98

その機械学習の勉強意味あるんですか？
何か後に繋がるの？って言われた

そんなこと俺が聞きてぇよ！
何も知らない分からないとこから始めて勉強方法だって手探りだしやってる内容があってるか分からんし内容だって難しいしイメージ湧かないしで本人が一番不安だわ(；ω；)
なんだよちくしょう…(；ω；)

2018/09/20(木) 21:53:45.68

>>515
向いてない、無理してやることない

2018/09/20(木) 23:50:09.61

我々の代わりにニューロンが学習してくれるのさ

2018/09/21(金) 17:00:40.03

>>509
消えるも何も TF に統合されて普通に使われてるんだが…

2018/09/21(金) 17:58:59.29

俺にも機械学習を学んだ後のゴールが見えない

2018/09/21(金) 18:09:41.64

目的がないのに無理して学んでもしょうがないんじゃない？
受託分析の会社に就職したいとかこういうプロダクト作りたいとか、何かしらゴールを設定しないと学んだ事も役に立たないと思う。

2018/09/21(金) 18:27:13.56

同意。もう素人がちょっと勉強してどうにかなるレベルじゃないし

2018/09/21(金) 19:46:22.75

仕事に付けばゴールが設定されるんでは

2018/09/21(金) 20:31:40.71

何となく流行ってるからオライリーのディープラーニング本買ったけど、
私立文系非職業プログラマが趣味で手を出せる感じじゃない？

2018/09/21(金) 20:34:15.20

趣味でやるならいいんじゃないの。ゆっくり基礎から楽しめばいい

2018/09/21(金) 20:36:04.02

deepで回帰やってる人ほとんど殆ど見ないし明らかに回帰問題な物もクラス分類に置き換えてやってるの見る限り回帰よりも分類の方がハードル低いんですかね

2018/09/21(金) 20:36:50.09

当たり前だろ
計算コストも高い

2018/09/21(金) 22:11:23.45

>>523
いや、理論が分からないんじゃなくて、
膨大なデータと強力な計算装置がないと、たいした物は作れない。

つまり、個人がチマチマと何かを作る用途には向かない

2018/09/22(土) 00:13:45.94

個人でもアイデア次第で面白いもの作れると思うけどな。
計算資源は趣味でやるレベルならクラウドサービス借りればいいし、
画像分類系ならImageNetのファインチューニングである程度は精度上げられる。
ラーメン二郎識別の人も、ベースの画像は自作のクローラーで集めた3万枚くらいでデータ拡張やGANで増やして精度を上げたと聞く。

サービスとして提供するレベルを目指すなら企業の力がいるけど、それは機械学習に限ったことではないし、
個人で楽しむ環境は自力で十分に用意できると思う。

2018/09/22(土) 00:38:25.15

AzureとかGCPとか使いたいけど無料でやりたくてもカード登録必須で無料枠越えたら勝手に課金されるのが怖い
勝手に課金せず無料枠越えたら問答無用でストップしてくれればいいのに

2018/09/22(土) 00:40:04.67

教師なしでできる事やればいいのに
強化学習とかさ

2018/09/22(土) 00:50:07.29

できるかよ
どれだけ借りるつもりだ

2018/09/22(土) 00:51:12.19

>>529
GCPは無課金枠使い切ったらクレカ開始するまでワンステップあるよ。
使い切った時点でサービスが一度止まるはず

2018/09/22(土) 02:23:42.00

ヒカキンの年収が10億超え!?明石家さんま・坂上忍も驚愕の総資産とは??
https://logtube.jp/variety/28439
HIKAKIN(ヒカキン)の年収が14億円！？トップYouTuberになるまでの道のりは？
https://youtuberhyouron.com/hikakinnensyu/
なぜか観てしまう！！サバイバル系youtuberまとめ
http://tokyohitori.hatenablog.com/entry/2016/10/01/102830
あのPewDiePieがついに、初心YouTuber向けに「視聴回数」「チャンネル登録者数」を増やすコツを公開！
http://naototube.com/2017/08/14/for-new-youtubers/
27歳で年収8億円　女性ユーチューバー「リリー・シン」の生き方
https://headlines.yahoo.co.jp/article?a=20170802-00017174-forbes-bus_all
1年で何十億円も稼ぐ高収入ユーチューバー世界ランキングトップ10
https://gigazine.net/news/20151016-highest-paid-youtuber-2015/
おもちゃのレビューで年間12億円！今、話題のYouTuberは6歳の男の子
https://www.businessinsider.jp/post-108355
彼女はいかにして750万人のファンがいるYouTubeスターとなったのか？
https://www.businessinsider.jp/post-242
1億円稼ぐ9歳のYouTuberがすごすぎる……アメリカで話題のEvanTubeHD
https://weekly.ascii.jp/elem/000/000/305/305548/
専業YouTuberがYouTubeでの稼ぎ方具体的に教えます。ネタ切れしない方法は〇〇するだけ。
https://www.youtube.com/watch?v=Co9a9fHfReo
YouTubeで稼げるジャンルは〇〇動画です。YouTube講座
https://www.youtube.com/watch?v=_Nps8xb5czQ

2018/09/22(土) 10:37:32.71

GTX1080　一枚くらいなら個人買うけど、何すべえ

2018/09/22(土) 11:17:23.77

低学歴知恵遅れが独学で機械学習を学習しても
一向に学習効果があがらない
このｽﾚみてればよくわかるだろ

それと同じだからな

まずﾊﾞｶは勉強のしかたや努力のしかたが分かってない
だからﾊﾞｶはﾊﾞｶのまま

さらにﾊﾞｶはﾊﾞｶの自覚がない
だからﾊﾞｶはﾊﾞｶのまま

もうｶﾝﾍﾟｷなﾚｽ

2018/09/22(土) 11:25:37.78

流行りのディープラーニングやりたいのはわかるけどさ
データ集めるのもチューニングするのも難しいから、初心者が自前のデータでやるのは難しいと思うよ

まずはSVMとか決定木みたいな古典的な手法から入るべき
データが少なくてもそこそこ上手くいくから

2018/09/22(土) 11:26:26.13

ディープラーニングだけが機械学習じゃないよ

2018/09/22(土) 11:28:18.51

自分はそのつもりっす。方式による計算量の多寡の検討もつかないのでまずは一通り遊んでみる

2018/09/22(土) 13:26:53.70

このスレってnlp ネタ殆ど出ないよな。あんまやってる人いないのかな。
allennlp 使いたいけど評判どう？知ってたら教えて

2018/09/22(土) 13:47:27.41

>>539
このスレは超初心者救済スレだから。LSTMもattentionもまったく出てこないw
AllenNLPは良くできてるけど少しハードル高いかも、仕様の把握が面倒

2018/09/22(土) 13:48:31.14

nipless

2018/09/22(土) 13:51:54.80

ダジャレスレ

2018/09/22(土) 13:56:57.15

>>540
サンクス、そう言えば rnn の話し見ませんね。
やっぱドキュメント読まないとダメか… pytorchもわからんとダメ？

2018/09/22(土) 17:59:22.10

ここに書いても無駄だろうけど
Attentionした時間順を特徴に埋め込んでから
CNNでその時間を考慮しつつ、初期層含め各層の時間情報を参照しながら畳み込む
ってモデルさっさとでないかなぁ
sota必至だから早く論文出てほしい

脳はやってる
https://www.eurekalert.org/pub_releases/2018-08/nuos-hyb082818.php

でも既存の機械学習では、初期の特徴に時間を付与することはほとんどやってない
RNNやLSTMが上手くいってないのは、初期から時間情報を連続的に把握して時間変化率を学習できないからだよ
いくら微分しても変化率とっても、初期状態からの時間情報を連続的に把握できないから学習できてない

一方、音声を特徴とする場合、ほとんどシークタイムが特徴に自動的に含まれるから
処理はクソ重くなるけど、高品質な結果が得られる

人間に置き換えても一緒
感覚器官は注意と畳み込みを同時に行いながら、それらの順でシーケンスを伝えて
脳はこの順番を記憶している

2018/09/22(土) 18:13:18.49

機械学習もいいが、センサーにはかなわん
ブラックボックスの中のものを重さや振った時の音で予測する・・・なんて回りくどいぜ
X線撮影で確認しろ
未来予測ならワームホール望遠鏡だ！

2018/09/22(土) 19:40:46.36

長崎は勝たないと脱落するぞ

2018/09/22(土) 19:41:06.05

ごめん、誤爆 orz

2018/09/22(土) 21:29:54.41

>>543
ドキュメントをなぞるだけなら不要

2018/09/22(土) 22:34:55.25

>>503
デフォルト設定は貧弱
カスタマイズありきで拡張性は高いんだけど、使いこなせないなら、旧版をずっと使い続けた方がよさそう
こんなツールの設定コマンドを覚える暇があったら他にやらなければならないこと五万とあるだろ
俺は覚えるつもりだけど・・・

2018/09/23(日) 12:44:56.23

俺みたいな雑魚はまずnumpyとpandasとmatplotlibを使いこなせるように頑張るとこからだな

2018/09/23(日) 15:05:02.43

>>550
的を得てるけど、深層学習が目的なら keras のサンプルでも動かすとモチベーションが保ちやすい

>>548
了解。ボチボチ覚えるつもりではいます

2018/09/24(月) 02:46:29.51

>>544
カプセルネットワークみたいにベクトルに拡張して空間情報とするのは？

2018/09/24(月) 04:22:26.78

>>544
マルコフ連鎖をモデルの中に組み込めば良いんじゃ無い？
でも微分で消えてしまうのかな．

2018/09/24(月) 09:09:25.13

>>551
chainerのサンプルコードの方が楽。

2018/09/24(月) 12:16:47.58

>>554
まだ使ってる人いるのか

2018/09/24(月) 12:26:29.26

>>554
オワコンの名前をあげていちいち絡むな
https://trends.google.co.jp/trends/explore?cat=5&;q=tensorflow,chainer

2018/09/24(月) 16:12:04.69

>>552
カプセルネットワークの手法だと
各層で獲得した特徴同士の空間的相対位置は正確になるけれど
それでは汎用性がない
脳は空間的相対位置を崩す事もできる

これは記憶している各時間情報を参照して相対位置すら入れ替え可能だからできる
注目した部分の特徴だけを切り取って、別物として貼り付けるのではなく
一定の連続的時間情報部分を切り取って、その部分の特徴を別の連続した時間情報の一部分をキーとして
完全に連結させることができる
だから本当の汎用性を獲得するためには、時間情報の連続的把握が絶対に必要になる

>>553
マルコフ性はこの場合適さない
何故ならば、脳と同様の構造を獲得するためには
過去、現在、未来すべての情報を参照する必要性があるから

2018/09/24(月) 16:27:32.53

過去・現在・未来の区別は単なる幻想にすぎない　アインシュタイン

2018/09/24(月) 17:28:14.05

そうやね

2018/09/24(月) 18:08:33.46

>>558
マルコフ連鎖的なレスやな

2018/09/24(月) 18:51:54.57

>>557
解き方知ってるんじゃないの? 自分で論文を書いた方が早いのでは。

2018/09/24(月) 19:11:49.55

https://qph.fs.quoracdn.net/main-qimg-f5ea2024de1c0fc8c5b0830450deba7e

2018/09/24(月) 21:11:14.88

隠れマルコフモデルを覚える前にマルコフモデルを覚えましょう。

2018/09/24(月) 21:12:22.33

ついでに言うとウィナー過程とマルチンゲールも知っとけ

2018/09/24(月) 21:12:23.12

じゃあ待ち行列の勉強から

2018/09/24(月) 21:42:12.44

連休に行楽地へ行って体験しよう

2018/09/24(月) 22:10:45.88

>>556
どっちも使った事なさそう

2018/09/24(月) 23:18:47.49

初歩的な質問なんだけど、tensorflowやkeras、pytorchの違いは文法的な作法だけ？
機械学習の本1冊目だけど実践しながら読み終えて完全に理解はしてないけど深層学習も興味あるしやってみたいなと思うんだけど、みんながフレームワーク選ぶ基準教えてほしい

2018/09/25(火) 00:45:33.33

・define and runとdefine by run、まあこの違いはなくなりつつある
・分野によって使われやすいのが違う気がする、arXivみてそんな気がしてるだけで統計とかはないけど

2018/09/25(火) 01:01:38.10

>>561
論文を書くためには結果が必要だけど
この手法は脳の構造模倣だけに凄まじい量のデータが必要になるのは明白
つまり現実的には、この畳込みモデルを適用したGANも組み込む必要があって
作業量的にも計算量的にも個人ではまず無理

2018/09/25(火) 03:35:03.53

割込も体験するべき

2018/09/25(火) 04:07:52.14

>>570
仮に他人の論文があっても実現はできないと言ってるように聞こえる。
個人でできる範囲で成果を取った方が有益かもね。

2018/09/25(火) 14:23:16.83

回帰における学習でデータ正規化を行った上で得られたモデルを使う場合は学習時の正規化で使った平均・標準偏差を使って入力値を変換しなければいけないと思うんだけど、
scikit-learnの使い方紹介記事とか読むとtrain_test_splitで訓練・テストデータ分離して各々別々にfit_transformで正規化している記事が大半で訓練・テストデータが異なる値で正規化されてしまうことになる
これは訓練・テストデータが大量にあればどうせ平均・標準偏差は変わらないだろうというだけの認識でいいの？

**573** (ｱｳｱｳｳｰ Sa25-wHMa) · 2018/09/25(火) 17:49:12.68

ごめん、見た記事では多分最初だけfit_transformして次では単にtransformしてたっぽい
それなら何の問題もないな

2018/09/25(火) 18:05:19.79

>>570
相対性理論とか実証は別の人がやることだってあり得る
論文を出すのはできるんじゃね
それが認められるかどうかは内容次第だし
本当に有益ならリソースを持つ組織が実証するし
必要ならその組織に所属すればいいだけ