【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/07/17(火) 10:01:41.40

研究者になって論文発表するのでなければ、>>719のスペックが理解できる範囲で十分

2018/07/17(火) 10:35:39.70

実際アドホック分析ならExcelとSQLくらいで十分

2018/07/17(火) 21:32:11.00

ディープラーニング検定ってどうよ？

2018/07/17(火) 23:04:14.62

仕事以外で機械学習勉強された方はいますか？
最近勉強を始めてまずはアルゴリズムの概要や基本的な部分の理解を進めてるのですが、演習みたいな物もやってみたいなと感じているのですが、独学で勉強された方はどのように身につけましたか？

2018/07/17(火) 23:42:34.69

>>728
https://www.coursera.org/learn/machine-learning

2018/07/18(水) 04:37:40.49

有料

2018/07/18(水) 09:03:15.48

>>728
魚の本

2018/07/18(水) 09:06:59.48

>>728

英語が読めればfast.aiやkaggleのtitanicチャレンジ
読めなければQiitaなどで初心者向けにコードを載せている人や
kaggleの解法を解説している人がたくさんいる
手元にExcelぐらいしかなければブラウザでh2oを動かすとか

2018/07/18(水) 12:50:26.39

>>729
これ、英語解説じゃないのか？

2018/07/18(水) 18:50:30.72

>>728 です
レスくださった方ありがとうございます
courseraは先月始めてみました
スケジュール的には大丈夫かと思ってたら10分の動画ですら理解するまで1時間以上かかって全然進まず、テストも1週目から全然分からずで自分の理解力の無さに絶望しました
kaggleは聞いたことなかったのでQiitaを見ながら進めてみます

2018/07/18(水) 23:06:47.00

無料

2018/07/19(木) 00:05:50.18

コーセラやってたけど俺も予定時間よりとんでもなくかかったし何より1週目のテストの問題の意味が分からなくてそこでやめた
動画見たときは分かったつもりだったのにテストは答えられない、質問の意味すら理解出来ないで自分に絶望したわ
いやー無能はつらいっす

2018/07/19(木) 04:01:32.28

♪ コーセーラ、コーセーラ
♪もーひーとーつーコーセーラ

2018/07/19(木) 13:35:48.59

わからなくてもとりあえず飛ばして先進めばいいのに

2018/07/19(木) 18:06:42.26

大学行って、嬉しかったが、いつも出てくる講義はコーセラ
今日もコーセラ、明日もコーセラ、是ぢゃ年から年中コーセラ

2018/07/19(木) 20:22:11.34

やがて中年コーセラ

2018/07/20(金) 00:19:43.13

大学行ってコーセラってどういうこと？
授業料の無駄

2018/07/20(金) 14:53:52.22

教授が書いた教科書買わされた挙げ句、授業がつまらなくて結局サボるより良心的

2018/07/20(金) 16:14:01.21

>>741
https://youtu.be/aY66ixyTdZI

2018/07/20(金) 20:09:15.62

コーセラ化粧品歌謡ベストテン

2018/07/22(日) 06:25:51.10

>>744
宮川泰丸木陽子

2018/07/22(日) 09:06:49.10

井上コーセラ

2018/07/22(日) 11:05:44.98

線形代数ってさ、ベクトルの復習みたいなのから始まって、加法、定数倍とかなんだ簡単じゃんとか
思って進んで行くと、なんか急にわからなくなる断絶感があるんだけどいい本ない？

2018/07/22(日) 11:53:42.40

線型代数入門　斉藤

2018/07/22(日) 12:00:13.26

高校数学向けに洗練された範囲とそうでない範囲の違い

◆QZaw55cn4c (ﾜｯﾁｮｲ 9f60-4GkJ) · 2018/07/22(日) 12:05:14.99

>>749
高校数学で固有値固有ベクトルってやったっけ？

2018/07/22(日) 12:06:20.94

算法大全指南車

2018/07/22(日) 13:06:47.34

>>750
うちはやった覚えがある

2018/07/22(日) 14:05:14.48

Courseraの機械学習の有名なやつ、Pythonでやってくれたらいいのに

2018/07/22(日) 14:38:53.50

>>747
線型代数長谷川浩司
線型代数学佐武一郎

2018/07/22(日) 14:51:22.05

線形代数は大学で講義受けてた頃はひたすら新しい定理を出して証明するような感じだったから意味不明だったけど
要は大量の連立方程式を解くための方法を工夫しているだけだと考えればそれほど難しくはないと思えるようになった

2018/07/22(日) 15:05:48.92

最近PAP-1がPAPPに見えるのが気になって仕方がない

2018/07/22(日) 15:50:49.51

>>755
後半は勘違いしてるよ

2018/07/22(日) 17:32:39.25

そうだね

2018/07/22(日) 18:03:20.95

つーか機械学習に数学なんていらない

2018/07/22(日) 20:35:15.90

goto 612

2018/07/22(日) 21:22:02.23

数学いらないなんて言ってると
仕事なくすよん

2018/07/22(日) 22:27:47.80

>>254
本人に渡るのは3分の1以下が相場じゃないか？

80万で発注してるとしたら、本人に渡るのは27万ぐらいで、税金やらなんやらで手取り20万強といったところ。

だから、使ってるほうは高い金払ってんのになぁ、となり、使われるほうは、大して貰ってないのにあれこれ言われんなぁ、となる。

2018/07/23(月) 08:47:36.46

機械学習に数学は必要だけど、テストじゃないんだから、数式が解けることがゴールじゃない。

数学や物理で博士号持ってる奴は理解度が全く違うと思う。

2018/07/23(月) 08:56:06.01

つまり数学的側面の理解は大前提ということ

2018/07/23(月) 09:06:21.19

数学はディープラーニングだからな。
数学は計算して答えが出るようでは駄目で、問題が出ると
答えが勝手に出てくる脳作りが一番大事。

2018/07/23(月) 10:03:50.99

暑さでやられてるｗ

2018/07/23(月) 10:10:54.97

カーブフィッティングか判断するには統計的知識は必要だよな

2018/07/23(月) 10:46:18.87

>>762
公務員がピンハネしてる総奴隷社会

2018/07/23(月) 13:14:23.65

kerasを使い、かつ新たな機械学習モデルを作らないならば
数学は必要なし
それ以外は必要
フィッティングも可視化すれば形式的に判断できるからね

Tensorflowでもkerasの使用を推薦してるから
需要過多の現状、ライブラリ知識だけでもいいんじゃね
どうせそのうち新たなモデル自体をMLで作るようになるしな

2018/07/23(月) 14:41:22.79

python+vimキーバインドでデータ解析するための環境を模索してるけど結局ブラウザで実行するjupyter notebookが一番快適だな
pycharmがいいという記事を色々見つけたから試したけどjupyter notebookとの連携ではvim拡張がmarkdownセルで効かなかったりセル間移動に使えなかったりでブラウザ版には敵わない

2018/07/23(月) 15:20:41.90

数学勉強するほうが手っ取り早い

2018/07/23(月) 15:46:23.93

超初心者だけどkaggleやりたい
どうやって勉強すればいいんだ

2018/07/23(月) 16:01:21.79

kaggleやりたいにme tooだ
微積→線形代数→大学一年程度の統計学→
最適化数学の基礎→はじパタ本→自然言語処理の基礎→
pythonの入門書→ゼロから作るdeep learning(now!)

もうそろそろ、kaggleをはじめられますかねえ
アカウント作ってみたけど、とっかかりが分からん
教えてエロい人

2018/07/23(月) 18:36:49.14

kaggleはtitanicが入り口
公開されているkernelで良さげなものをforkするとか
ダウンロードしてローカルまたはクラウド上で
パラメータを変えたり
欠損値の補完の仕方を変えたりすることから
始めてみればいいと思う

titanicの解説は日本語でも掃いて捨てるほどあるし
敷居が高いとは全く思わない

2018/07/23(月) 19:31:26.52

>>774
ありがとう。なるようにしかならないし、やるだけやってみるわ

2018/07/25(水) 07:41:32.23

宣伝乙と言われるかもしれないけど
noteで初心者向けtitanicレクチャーみたいなやつ売ってる人いたよ
それだけ本買う金あるなら買ってみたら？

あとド初心者ならSIGNATEの方がおすすめ

2018/07/25(水) 09:16:01.27

大学の数学の内容ほとんど忘れてるレベルなんですが、kaggleとかやってみたいです
スレざっと見たんですが、SIGNATEとかやった方がいいんでしょうか？
一応東大の松尾ラボのGoogle Driveに保存してある、講座があるんですけど、それから始めるべきか？
数学をやり直すべきか？
どっちがいいでしょうか？

2018/07/25(水) 10:25:39.46

諦める

2018/07/25(水) 11:40:49.39

>>778
カーネル関数も理解できてない癖に死ねよ

2018/07/25(水) 14:00:09.07

>>779
お前から先に死ねよ、カーネル関数（笑）

2018/07/25(水) 15:51:36.80

最低限、微積と線形代数

2018/07/25(水) 16:11:30.44

確率偏微分

2018/07/25(水) 16:21:38.83

カーネル関数って、非線形写像の時に出てくるアレか
線形代数をちょっとかじってればその場で理解できることだし
単語知らないぐらいならなんとかなりそうなもんだけど違うの

2018/07/25(水) 17:54:24.58

どっちがいいかとか聞いてる奴は自分で学習効率も測定できないアホ

2018/07/26(木) 08:03:25.79

>>781
ベクトル解析

2018/07/26(木) 17:04:06.80

ベクトル解析は必要かな
勾配とかナブラとか、そういう事を漠然とわかっていれば、とりあえず論文は読めるよね
いらない気がするけど自分が大したもんじゃないから実際のところは分からん

2018/07/26(木) 17:14:12.09

どうせ証明なんて自分でしないんだから
計算術だけ判ってればOK

2018/07/26(木) 17:40:36.16

機械学習に数学はいらない

ベクトル解析もいらない。そもそも>>786からしてどうみてもベクトル解析理解してないｗ

2018/07/26(木) 18:30:41.18

機械学習の線形代数なんか単なる計算テクニックに過ぎないわけだが学者さんは難しく考えたがるよね
テクニックじゃなく本質的に重要なのは統計学

2018/07/26(木) 19:21:47.98

>>786
俺もベクトル解析わかってないけど、まあ論文読めるよと言いたかっただけだ
だから必要ないんじゃないかなーと思ってるけど

でも十年後は分からないよね。なんとなく複素解析とか、フーリエ解析とかやっておいた方が良さそうな予感。やったことないけど。でも音声認識とかまだ実務では中々つかえないけど将来的には食える技術な気がする。直観

2018/07/26(木) 20:13:27.23

>>789
例えば問題によっては自分でペナルティ項考えたりしないといけないと思うけど、そういう時にどう計算すればちゃんと解が求まるかとか考えるには線形代数の知識や数値計算のテクニックとかは要るよね

2018/07/27(金) 04:22:25.03

ゼロからともう一冊読んだけどディープラーニングは数学はいらないよ。
ディープラーニングは感性で考えられてるからね。

2018/07/27(金) 04:29:49.04

アホ参上

2018/07/27(金) 04:37:51.29

数学要らない厨しつけえよ

2018/07/27(金) 06:11:40.95

実際いらないのだから仕方がない

2018/07/27(金) 06:44:40.05

いらないものをいると主張するやつの方がしつこい

2018/07/27(金) 06:50:02.55

不良などの要因分析によく使われるアルゴリズムを勉強したいのですが、決定木が適しているのかなと感じたのですが、他にはどのようなアルゴリズムがありますか？

2018/07/27(金) 06:53:39.85

アキネーターみたいなやつかな

2018/07/27(金) 11:34:12.56

ヤンキーアルゴリズム

2018/07/27(金) 11:42:48.88

ベイジアンネットワーク？

2018/07/27(金) 12:48:39.14

ベジタリアンって読んだ
アホや俺

2018/07/27(金) 14:07:38.83

tensorflow 使うだけなら多変数関数の合成関数の微分だけ知ってりゃ使える。
ただ結果の良し悪しを考えるならガウス分布、大数の原理くらいは知っとかなきゃまずい。

2018/07/27(金) 14:40:09.01

ベンダー企業で研究開発してる奴らなら数学も出来ないと辛いことはあるだろう
逆に、極端な話、機械学習エンジニアとは名ばかりのただの組み込みエンジニアなら
数学どころか理論まわりも分かってなくていいんじゃないか
結局はピンキリ

2018/07/27(金) 14:43:01.25

ゼロから読んでtensorflow始めたけどtensorflowの有り難みがよくわからん
sessonとかなんやねん

2018/07/27(金) 14:44:47.66

あとゼロから読んでも理解力低くてよくわからん
なんやねん誤差逆伝播

2018/07/27(金) 16:38:37.12

なんやねん、おまえ、因縁つけとんのかｗ

2018/07/27(金) 17:00:52.81

データサイエンス講義に下記のような一文があったけど、
どういう風に数学を勉強したら、これが解るの？

「文脈が持っている特徴を問題として捉え、数学の言葉を使って考え、
自分の知っているアルゴリズムが解こうとしている問題に
どのように対応するかを考えましょう」

2018/07/27(金) 17:09:45.16

>>805
それぞれのレイア―を関数に見立てて考えよう

レイア―1 …… y=f1(x)
レイア―2 …… z=f2(y)
レイア―3 …… o=f3(z)

f1にまずxが入力されて、f3から出力値oがでてくる
さて、いま出力値oを最大値に近づけたい

レイアー3だけ考えよう
f3()に入るzという引数を、いったん定数と置こう
このzに、限りなく0に近い Δz という値を足すと、
f3(z＋Δz) = f3(z) + g3×Δzと、出力値oがg3×Δzだけ増える

レイアー2も
yを定数と置いて、Δyをyに足すと、f2(y＋Δy)がg2×Δyだけ増える

2018/07/27(金) 17:10:42.98

レイアー3も
xにΔxを足すと、f1(x＋Δx)がg1×Δxだけ増える

ここで、g1×Δx=Δy , g2×Δy=Δz
だから、g1・g2・g3・Δx = Δo(出力値oの増加分)

このg1・g2・g3がgrad(勾配)の正体だ
誤差逆伝搬では、g3、g2、g1と反対側から各レイヤーの傾きを求めて、
最後に掛け算することで、この勾配の値を算出している

えっ、g3、g2、g1はどうやって求めてるんだって？
偏微分とか(ごにょごにょごにょ……まあ、気にするな

あと最後に言っておく
分かりやすさを優先して説明をはしょったり、捻じ曲げたりしてるから
ネットの落書きなんてあんまり信用するな。がんば

2018/07/27(金) 17:34:06.29

今朝のテレビ朝日系羽鳥慎一モーニングショーで
蚊の研究をしてる元高校生を取り上げて
ノーベル賞とか公式発見とか取り上げてたけど
ただのデータマイニングと最小自乗回帰式出しただけで
夏休みの自由研究レベルだったんだが
ここの人もし見てたら色々言いたいことあると思う

2018/07/27(金) 17:42:07.88

どうでもいいといいたい

2018/07/27(金) 17:46:15.25

論文これね
http://www.tsukuba.ac.jp/community/kagakunome/pdf/16/hg/hgs2.pdf

2018/07/27(金) 18:06:46.35

>>807
文脈が持っている特徴というのは学習対象に関する知識に基づくものであって、例えば機械の故障予知ならその機械の性質などとなる
つまり対象物に関する知識を持った上で対象物に由来する適切なパラメータを数学的理論に突っ込んでやる必要があるわけで、
数学が不要なのではなくむしろ数学は大前提の知識でありそれに加えて対象物特有の知識も必要だということ

2018/07/27(金) 18:15:50.22

>>810
その話は知らないけど、例え簡単な回帰式でも人類の発展に貢献するものならノーベル賞もありうるんじゃないの？
例えば、ガンの発症率と睡眠時間が相関があるとか。
まあイグノーベル賞っぽいけどw

2018/07/27(金) 21:00:50.87

無いわ

2018/07/27(金) 21:18:32.63

読んでみたら、割と凄い論文だった
きちんと理論武装して学術論文の体裁にすれば評価されるだろうさ
切り口が鋭い奴はなにやっても凄い

2018/07/27(金) 21:28:49.56

>>816
斜め読みして見たけど、テレビでやってる科学番組みたいな感じなのが残念だな。ああいう番組を見て育つとこういうのが研究なのだと勘違いしてしてしまうのかもしれない。

2018/07/27(金) 23:33:37.02

ちゃんとした雑誌とか載せてないなら意味ないじゃん

2018/07/27(金) 23:36:18.80

ここで話すことじゃない

2018/07/28(土) 00:04:30.99

まさか、データ分析だけじゃないだろ？

蚊を何百匹も飼育して、自分の血を吸わせて、実験しているのだろ？
大変だろ

2018/07/28(土) 00:51:59.25

ノーベル賞は選抜された世界中の研究者からの推薦数で決まるのでそこに強いコネがあるか超有名人かでなければどれだけ内容が優れていてもまず取れない

2018/07/28(土) 05:20:07.99

どさくさに紛れて東京医大をディスるのはやめたまえ

2018/07/28(土) 13:57:42.70

研究は手法よりもテーマの選び方のセンスってのはあるんだろうな。
手法なんてXGBoostでテキトーに出力してもうまくいくときはうまくいく。

2018/07/28(土) 14:27:05.51

テーマの選び方に余地がなく、上から降って来てなんとかしてくれって言われることが多いです。