【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/07/22(日) 15:05:48.92

最近PAP-1がPAPPに見えるのが気になって仕方がない

2018/07/22(日) 15:50:49.51

>>755
後半は勘違いしてるよ

2018/07/22(日) 17:32:39.25

そうだね

2018/07/22(日) 18:03:20.95

つーか機械学習に数学なんていらない

2018/07/22(日) 20:35:15.90

goto 612

2018/07/22(日) 21:22:02.23

数学いらないなんて言ってると
仕事なくすよん

2018/07/22(日) 22:27:47.80

>>254
本人に渡るのは3分の1以下が相場じゃないか？

80万で発注してるとしたら、本人に渡るのは27万ぐらいで、税金やらなんやらで手取り20万強といったところ。

だから、使ってるほうは高い金払ってんのになぁ、となり、使われるほうは、大して貰ってないのにあれこれ言われんなぁ、となる。

2018/07/23(月) 08:47:36.46

機械学習に数学は必要だけど、テストじゃないんだから、数式が解けることがゴールじゃない。

数学や物理で博士号持ってる奴は理解度が全く違うと思う。

2018/07/23(月) 08:56:06.01

つまり数学的側面の理解は大前提ということ

2018/07/23(月) 09:06:21.19

数学はディープラーニングだからな。
数学は計算して答えが出るようでは駄目で、問題が出ると
答えが勝手に出てくる脳作りが一番大事。

2018/07/23(月) 10:03:50.99

暑さでやられてるｗ

2018/07/23(月) 10:10:54.97

カーブフィッティングか判断するには統計的知識は必要だよな

2018/07/23(月) 10:46:18.87

>>762
公務員がピンハネしてる総奴隷社会

2018/07/23(月) 13:14:23.65

kerasを使い、かつ新たな機械学習モデルを作らないならば
数学は必要なし
それ以外は必要
フィッティングも可視化すれば形式的に判断できるからね

Tensorflowでもkerasの使用を推薦してるから
需要過多の現状、ライブラリ知識だけでもいいんじゃね
どうせそのうち新たなモデル自体をMLで作るようになるしな

2018/07/23(月) 14:41:22.79

python+vimキーバインドでデータ解析するための環境を模索してるけど結局ブラウザで実行するjupyter notebookが一番快適だな
pycharmがいいという記事を色々見つけたから試したけどjupyter notebookとの連携ではvim拡張がmarkdownセルで効かなかったりセル間移動に使えなかったりでブラウザ版には敵わない

2018/07/23(月) 15:20:41.90

数学勉強するほうが手っ取り早い

2018/07/23(月) 15:46:23.93

超初心者だけどkaggleやりたい
どうやって勉強すればいいんだ

2018/07/23(月) 16:01:21.79

kaggleやりたいにme tooだ
微積→線形代数→大学一年程度の統計学→
最適化数学の基礎→はじパタ本→自然言語処理の基礎→
pythonの入門書→ゼロから作るdeep learning(now!)

もうそろそろ、kaggleをはじめられますかねえ
アカウント作ってみたけど、とっかかりが分からん
教えてエロい人

2018/07/23(月) 18:36:49.14

kaggleはtitanicが入り口
公開されているkernelで良さげなものをforkするとか
ダウンロードしてローカルまたはクラウド上で
パラメータを変えたり
欠損値の補完の仕方を変えたりすることから
始めてみればいいと思う

titanicの解説は日本語でも掃いて捨てるほどあるし
敷居が高いとは全く思わない

2018/07/23(月) 19:31:26.52

>>774
ありがとう。なるようにしかならないし、やるだけやってみるわ

2018/07/25(水) 07:41:32.23

宣伝乙と言われるかもしれないけど
noteで初心者向けtitanicレクチャーみたいなやつ売ってる人いたよ
それだけ本買う金あるなら買ってみたら？

あとド初心者ならSIGNATEの方がおすすめ

2018/07/25(水) 09:16:01.27

大学の数学の内容ほとんど忘れてるレベルなんですが、kaggleとかやってみたいです
スレざっと見たんですが、SIGNATEとかやった方がいいんでしょうか？
一応東大の松尾ラボのGoogle Driveに保存してある、講座があるんですけど、それから始めるべきか？
数学をやり直すべきか？
どっちがいいでしょうか？

2018/07/25(水) 10:25:39.46

諦める

2018/07/25(水) 11:40:49.39

>>778
カーネル関数も理解できてない癖に死ねよ

2018/07/25(水) 14:00:09.07

>>779
お前から先に死ねよ、カーネル関数（笑）

2018/07/25(水) 15:51:36.80

最低限、微積と線形代数

2018/07/25(水) 16:11:30.44

確率偏微分

2018/07/25(水) 16:21:38.83

カーネル関数って、非線形写像の時に出てくるアレか
線形代数をちょっとかじってればその場で理解できることだし
単語知らないぐらいならなんとかなりそうなもんだけど違うの

2018/07/25(水) 17:54:24.58

どっちがいいかとか聞いてる奴は自分で学習効率も測定できないアホ

2018/07/26(木) 08:03:25.79

>>781
ベクトル解析

2018/07/26(木) 17:04:06.80

ベクトル解析は必要かな
勾配とかナブラとか、そういう事を漠然とわかっていれば、とりあえず論文は読めるよね
いらない気がするけど自分が大したもんじゃないから実際のところは分からん

2018/07/26(木) 17:14:12.09

どうせ証明なんて自分でしないんだから
計算術だけ判ってればOK

2018/07/26(木) 17:40:36.16

機械学習に数学はいらない

ベクトル解析もいらない。そもそも>>786からしてどうみてもベクトル解析理解してないｗ

2018/07/26(木) 18:30:41.18

機械学習の線形代数なんか単なる計算テクニックに過ぎないわけだが学者さんは難しく考えたがるよね
テクニックじゃなく本質的に重要なのは統計学

2018/07/26(木) 19:21:47.98

>>786
俺もベクトル解析わかってないけど、まあ論文読めるよと言いたかっただけだ
だから必要ないんじゃないかなーと思ってるけど

でも十年後は分からないよね。なんとなく複素解析とか、フーリエ解析とかやっておいた方が良さそうな予感。やったことないけど。でも音声認識とかまだ実務では中々つかえないけど将来的には食える技術な気がする。直観

2018/07/26(木) 20:13:27.23

>>789
例えば問題によっては自分でペナルティ項考えたりしないといけないと思うけど、そういう時にどう計算すればちゃんと解が求まるかとか考えるには線形代数の知識や数値計算のテクニックとかは要るよね

2018/07/27(金) 04:22:25.03

ゼロからともう一冊読んだけどディープラーニングは数学はいらないよ。
ディープラーニングは感性で考えられてるからね。

2018/07/27(金) 04:29:49.04

アホ参上

2018/07/27(金) 04:37:51.29

数学要らない厨しつけえよ

2018/07/27(金) 06:11:40.95

実際いらないのだから仕方がない

2018/07/27(金) 06:44:40.05

いらないものをいると主張するやつの方がしつこい

2018/07/27(金) 06:50:02.55

不良などの要因分析によく使われるアルゴリズムを勉強したいのですが、決定木が適しているのかなと感じたのですが、他にはどのようなアルゴリズムがありますか？

2018/07/27(金) 06:53:39.85

アキネーターみたいなやつかな

2018/07/27(金) 11:34:12.56

ヤンキーアルゴリズム

2018/07/27(金) 11:42:48.88

ベイジアンネットワーク？

2018/07/27(金) 12:48:39.14

ベジタリアンって読んだ
アホや俺

2018/07/27(金) 14:07:38.83

tensorflow 使うだけなら多変数関数の合成関数の微分だけ知ってりゃ使える。
ただ結果の良し悪しを考えるならガウス分布、大数の原理くらいは知っとかなきゃまずい。

2018/07/27(金) 14:40:09.01

ベンダー企業で研究開発してる奴らなら数学も出来ないと辛いことはあるだろう
逆に、極端な話、機械学習エンジニアとは名ばかりのただの組み込みエンジニアなら
数学どころか理論まわりも分かってなくていいんじゃないか
結局はピンキリ

2018/07/27(金) 14:43:01.25

ゼロから読んでtensorflow始めたけどtensorflowの有り難みがよくわからん
sessonとかなんやねん

2018/07/27(金) 14:44:47.66

あとゼロから読んでも理解力低くてよくわからん
なんやねん誤差逆伝播

2018/07/27(金) 16:38:37.12

なんやねん、おまえ、因縁つけとんのかｗ

2018/07/27(金) 17:00:52.81

データサイエンス講義に下記のような一文があったけど、
どういう風に数学を勉強したら、これが解るの？

「文脈が持っている特徴を問題として捉え、数学の言葉を使って考え、
自分の知っているアルゴリズムが解こうとしている問題に
どのように対応するかを考えましょう」

2018/07/27(金) 17:09:45.16

>>805
それぞれのレイア―を関数に見立てて考えよう

レイア―1 …… y=f1(x)
レイア―2 …… z=f2(y)
レイア―3 …… o=f3(z)

f1にまずxが入力されて、f3から出力値oがでてくる
さて、いま出力値oを最大値に近づけたい

レイアー3だけ考えよう
f3()に入るzという引数を、いったん定数と置こう
このzに、限りなく0に近い Δz という値を足すと、
f3(z＋Δz) = f3(z) + g3×Δzと、出力値oがg3×Δzだけ増える

レイアー2も
yを定数と置いて、Δyをyに足すと、f2(y＋Δy)がg2×Δyだけ増える

2018/07/27(金) 17:10:42.98

レイアー3も
xにΔxを足すと、f1(x＋Δx)がg1×Δxだけ増える

ここで、g1×Δx=Δy , g2×Δy=Δz
だから、g1・g2・g3・Δx = Δo(出力値oの増加分)

このg1・g2・g3がgrad(勾配)の正体だ
誤差逆伝搬では、g3、g2、g1と反対側から各レイヤーの傾きを求めて、
最後に掛け算することで、この勾配の値を算出している

えっ、g3、g2、g1はどうやって求めてるんだって？
偏微分とか(ごにょごにょごにょ……まあ、気にするな

あと最後に言っておく
分かりやすさを優先して説明をはしょったり、捻じ曲げたりしてるから
ネットの落書きなんてあんまり信用するな。がんば

2018/07/27(金) 17:34:06.29

今朝のテレビ朝日系羽鳥慎一モーニングショーで
蚊の研究をしてる元高校生を取り上げて
ノーベル賞とか公式発見とか取り上げてたけど
ただのデータマイニングと最小自乗回帰式出しただけで
夏休みの自由研究レベルだったんだが
ここの人もし見てたら色々言いたいことあると思う

2018/07/27(金) 17:42:07.88

どうでもいいといいたい

2018/07/27(金) 17:46:15.25

論文これね
http://www.tsukuba.ac.jp/community/kagakunome/pdf/16/hg/hgs2.pdf

2018/07/27(金) 18:06:46.35

>>807
文脈が持っている特徴というのは学習対象に関する知識に基づくものであって、例えば機械の故障予知ならその機械の性質などとなる
つまり対象物に関する知識を持った上で対象物に由来する適切なパラメータを数学的理論に突っ込んでやる必要があるわけで、
数学が不要なのではなくむしろ数学は大前提の知識でありそれに加えて対象物特有の知識も必要だということ

2018/07/27(金) 18:15:50.22

>>810
その話は知らないけど、例え簡単な回帰式でも人類の発展に貢献するものならノーベル賞もありうるんじゃないの？
例えば、ガンの発症率と睡眠時間が相関があるとか。
まあイグノーベル賞っぽいけどw

2018/07/27(金) 21:00:50.87

無いわ

2018/07/27(金) 21:18:32.63

読んでみたら、割と凄い論文だった
きちんと理論武装して学術論文の体裁にすれば評価されるだろうさ
切り口が鋭い奴はなにやっても凄い

2018/07/27(金) 21:28:49.56

>>816
斜め読みして見たけど、テレビでやってる科学番組みたいな感じなのが残念だな。ああいう番組を見て育つとこういうのが研究なのだと勘違いしてしてしまうのかもしれない。

2018/07/27(金) 23:33:37.02

ちゃんとした雑誌とか載せてないなら意味ないじゃん

2018/07/27(金) 23:36:18.80

ここで話すことじゃない

2018/07/28(土) 00:04:30.99

まさか、データ分析だけじゃないだろ？

蚊を何百匹も飼育して、自分の血を吸わせて、実験しているのだろ？
大変だろ

2018/07/28(土) 00:51:59.25

ノーベル賞は選抜された世界中の研究者からの推薦数で決まるのでそこに強いコネがあるか超有名人かでなければどれだけ内容が優れていてもまず取れない

2018/07/28(土) 05:20:07.99

どさくさに紛れて東京医大をディスるのはやめたまえ

2018/07/28(土) 13:57:42.70

研究は手法よりもテーマの選び方のセンスってのはあるんだろうな。
手法なんてXGBoostでテキトーに出力してもうまくいくときはうまくいく。

2018/07/28(土) 14:27:05.51

テーマの選び方に余地がなく、上から降って来てなんとかしてくれって言われることが多いです。

2018/07/28(土) 15:03:33.59

手法が難しいほど研究とか言ってる馬鹿がきて笑う

2018/07/28(土) 15:14:44.21

>>820
たまたま飼育していた蚊の傾向が判っただけで
同じ遺伝子の蚊だと意味がない気もする
日本中世界中の蚊で試すとか
違う種類の蚊でも試したのかな

2018/07/28(土) 15:18:54.57

>>826
こういうのは検証手法を考案し有意な結果を得たこと自体に意義があるんだよ
あとはアース製薬の仕事

2018/07/28(土) 15:24:29.04

なるほど
アースや金鳥やフマキラーが追従して論文書けばノーベル賞か

2018/07/28(土) 18:21:16.67

>>821
それだと田中耕一さんの受賞がわからない。
中村修二さんは目立ってたけど。

2018/07/28(土) 19:23:10.44

>>827
論文さらっと読んだ感じだと有意と言えるかどうか分からんけどなあ。
まあ追試して検証する必要あるね。

2018/07/28(土) 19:33:44.35

島津の田中さんみたいな発見や発明型のノーベル賞はすごいと思うけど、重力波とかニュートリノのカミオカンデとかわかってることを確認する型のノーベル賞は若干落ちる気がする

金集めて人使う経営者的能力って感じで
いやそういう能力の人も大切なのはわかるんだけどさ

◆QZaw55cn4c (ﾜｯﾁｮｲ b260-tjON) · 2018/07/28(土) 21:16:03.15

>>831
＞重力波とかニュートリノのカミオカンデとかわかってることを確認する型のノーベル賞
いや、実験をはじめた時点では、理論が嘘である可能性を織り込んでいるんだよ
理論が成立しないかもしれない、と思いながら、それでも、その理論を理解し咀嚼し（普通は、嘘かもしれない理論を学ぶ気はしない）、その理論に載って実験器具を設計する
並大抵の覚悟ではできないと思うよ…

2018/07/28(土) 21:40:34.64

>>832
所得税は納めてるの？

2018/07/29(日) 15:53:26.75

>>831
ほんそれ

2018/07/29(日) 15:55:32.35

あとカミオカンデは２回受賞してるけど
一回目のは確認型だけど
二回目のは失敗からの新発見だったかもしれない

2018/07/29(日) 21:05:29.91

底辺ワイ、すげぇ難しい話しててついていけない

2018/07/29(日) 22:04:57.12

安心しろ。偉そうに書いてるだけで書いてる人たちが何かしたわけじゃない

2018/07/29(日) 22:06:29.55

ホントにそうだよなw

2018/07/29(日) 22:07:09.93

大手のデータ分析インターン受かった

2018/07/29(日) 22:12:45.57

安心しろ。ただの崩れだ（笑）

2018/07/29(日) 22:15:38.95

企業のデータ分析なんかコンサル力がないと完全に社内ニートやで

2018/07/29(日) 23:59:37.27

社内ニートで金もらえるならむしろラッキーじゃないか

2018/07/30(月) 04:18:06.28

>>842
お茶が温いので入れ直してくれるかな

2018/07/30(月) 05:17:00.51

>>842
これコピーとって綴じてくれ５０部

2018/07/30(月) 08:48:38.99

>>842
焼きそばパン買ってきて！

2018/07/30(月) 08:52:15.48

>>839

関西P社？
このスレにそんな実力者がいるとは

2018/07/30(月) 08:54:50.86

自演乙ｗ

2018/07/30(月) 09:09:39.17

従来のseがソレになっただけのような

2018/07/30(月) 09:24:52.12

seやな

2018/07/30(月) 12:36:08.44

インターンなんてse代わりに使うには教育コストパフォーマンス悪すぎじゃないか
しかも少ししたら居なくなるわけだし

**デフォルトの名無しさん** (JP 0H5b-0+cq) · 2018/07/30(月) 12:44:40.83

そりゃあいい気持ちにしておいて
seを確保するためだろ

2018/07/30(月) 14:04:41.32

DSの底辺の仕事は、汚い前処理をひたすらやらされるポジだよ
高卒でやってる人もおる。そこからでも、がんばれば這い上がれるんだけどね
アルバイトで、未経験どころか知識がなくても受け入れてくれる求人もあるにはあるから
興味があれば突撃してみるといい

2018/07/30(月) 14:26:51.39

任天堂売れてるらしいな

2018/07/30(月) 17:10:35.28

P社って、データサイエンティスト集めてるけど、AIに力を入れるわけでも無し、
何を企んでいるのだろうか

2018/07/30(月) 17:36:55.74

真似した

2018/07/30(月) 17:43:22.51

データサイエンティストは、ガチに売上に貢献するネタ見つけたら門外不出扱いになるから、
当たり前だが外部に公開なんて出来ないよ。

上っ面撫でてるような話ばかり取り沙汰されてAIブームとか言われてるけど。