【統計分析】機械学習・データマイニング26

2019/09/15(日) 09:23:06.34

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured

2019/10/13(日) 18:43:34.64

>>217
諦めたらそこで試合終了ですよ
目の前にヒントが転がっていても見えなくなる

2019/10/13(日) 18:44:48.26

>>218
線型結合してる層を増やすとなぜ高次元になるのかを直感的に判るように説明して

2019/10/13(日) 19:30:49.94

>>221
層を増やす方が効率が高い

ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない

2019/10/13(日) 19:32:44.25

>>223
一旦中間層のニューロン数だけの次元を持つ空間を経由できるから

2019/10/13(日) 20:04:55.16

>>225
線型結合して関数を通して
また線型結合して関数を通して
の繰り返しでなぜ高次元になるの？

関数によって非線形になるなら判るけど

2019/10/13(日) 20:33:11.99

>>226
非線形な活性化関数噛ませるでしょ普通

自然に高次元になるんじゃなくてそうなる様にしてるんだよ、ニューロン数は自由に決められるから

2019/10/13(日) 20:44:50.78

ディープキスのほうがいい！
舌をからませるの
立つよね！

2019/10/13(日) 20:48:48.51

>ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
こんなことを示した論文などない。
よくこんなことをさも証明されたことの如く言えるな。

2019/10/13(日) 21:28:26.53

>>221
本質的な質問が来た
これについては俺も明確な答えは持ってないなぁ

直感的には、多層の方が中間層に保持できるパラメータ数が多く
そこには活性化関数を通した非線形の効果も含まれているので
ほどほどにノイズが消されていて抽象的な状態を保持できるから

と思うんだが、本当かどうかは分からない

2019/10/13(日) 21:37:08.64

>>229
Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." Advances in neural information processing systems. 2014.

NIPSの論文だが
何を根拠に「こんなことを示した論文などない(ｷﾘｯ」なんて言えたのか

2019/10/13(日) 21:45:22.38

>>226
ちょうどいいので>>220で示したXORを例に説明しよう

入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる

すなわちx3をx1, x2から作れれば良いので

a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2

として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である

2019/10/13(日) 21:46:31.38

>>226
ちょうどいいので>>220で示したXORを例に説明しよう

入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる

すなわちx3をx1, x2から作れれば良いので

a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2

として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である

2019/10/13(日) 22:05:13.10

五、六層でいいのかと思いきや
ものすごく多層にするよねえ
うまくいくからという説明しかないのか?

2019/10/13(日) 22:18:18.69

>>221
〉二層あれば大抵の関数は模倣できる

その『大抵』とは、どの程度なんですか？
それが示されてないのですから
まったく意味をなさないですよね？

>>230
その意味をなさない書き込みに、
本質的とかって、
レベル低すぎですね。

2019/10/13(日) 22:20:28.84

>>235
完全な関数の導入じゃなくて疑似的な関数が解ればいいから

2019/10/13(日) 22:35:14.55

>>235
あんたは性格悪いなぁ・・・
ニューラルネットワークの普遍性についての質問が本質的でないなら何が本質的なんだ?
知ってて聞いてるなら教えてやれよ

2019/10/14(月) 00:26:24.00

専門的な知識はほとんどなく説明されても理解できる頭も持ってないけどマウントとりたいからとにかく突っかかる癖のある人が多すぎる

2019/10/14(月) 00:50:17.12

初等関数?
特殊関数?

2019/10/14(月) 07:16:20.36

>>232
それだと
x1, x2の入力を受けるニューロンと
それからx3を計算するニューロンを並列に並べたら良い

x1-x1\
x2-x2-out
\x3/
みたいに

次元を増やすの意味として変数増加とx^2などと混同しやすい
これらを区別する言い方は何？
変数増加→高次元
x^2など→非線形
とか？

2019/10/14(月) 12:29:28.91

前に『ゼロから作るディープラーニング』買ったけど
これ3千円はする高額な本だけど、計算や式の意味がわからず挫折したなあ…。

やっぱノートに書いて解き方や意味を学習するしかないと思うねん。

2019/10/14(月) 12:54:25.27

>>241
ならば『excelでわかるディープラーニング超入門』がオススメ
続編もある

2019/10/14(月) 13:19:28.08

>>241
あの本は線型代数と微積分の知識は必須だと思う

2019/10/14(月) 13:53:05.51

機械学習に数学はいらないよ

2019/10/14(月) 14:01:22.69

機械学習に数学はいらないよおじさん「機械学習に数学はいらないよ」

2019/10/14(月) 14:23:44.68

ソフト使うだけなら数学いらんわね

2019/10/14(月) 14:26:05.12

適当にデータ放り込んで適当な手法を選択してなんとなく精度が良さそうなのを選ぶだけで成立する仕事なら数学など不要
普通の企業や研究室ではそんなものに金なんて出してくれないがな

2019/10/14(月) 14:31:10.41

>>247
そういう仕事は既にAutoMLに取られつつあるね

2019/10/14(月) 14:31:49.76

というかこの世界ももう土方がいるのか

2019/10/14(月) 14:40:16.73

>>240
並列に並べるために(x1, x2)からx3を作るための層が最低1つ必要なんだ
0か1かのような2値分類は、つまるところ出力層と全く同じ出力をする新しい次元を作って、その次元に直行する超平面で分類する作業なので

言い方は高次元や非線形で良いと思うけど、次元についてはニューロンの数が、非線形については活性化関数が深く関係している

もう少し詳しく説明しよう
より一般的な関数があったとして、入力が(x1, x2)のとき、最後の出力層への入力としては

(f1(x1, x2), f2(x1, x2), f3(x1, x2), …, fN(x1, x2)) … (1)

となっている
Nは最後の隠れ層のニューロンの数なので、次元と読んでいるのはニューロンの数だということが分かる

(1)を如何にして作るのかが重要になり、層を深くして(1)を作らなくても、ニューロン増やせばいいんじゃね?となる
隠れ層1層と出力層1層の2層あれば大抵の関数は模倣できると指摘している>>221はかなり鋭くて実にその通り

それでもなんで層を深くするのかというと>>224の効率が良いというのが一般な回答なんだが、Deep Learningを回している人なら実感があると思うけど、第一層のニューロンの数がある一定数ないと学習がうまくいかないことが往往にしてある
単に層を深くすればよいというのは明らかに直感と異なり、そうすると「どの層にどれだけのニューロンを配置すると良いか」という問題になり、これに対して自分なりの回答はまだ全然持っていない

2019/10/14(月) 14:42:39.82

最初から土方しかいないから。
今もほとんど土方。
できる人は研究者か大学教員になってる。

2019/10/14(月) 14:47:46.87

この分野はむしろ大学より民間の方がやりやすいから本来なら博士行くような人も修士までにしてとっとと成果出せる環境に移ろうとする人が多くなってきた印象

2019/10/14(月) 15:08:32.93

>>242
ありがとう。調べてみます。

2019/10/14(月) 15:10:40.92

今ならまだ簡単にデータエンジニア目指せるけど、
早い者勝ちなのかな
すぐベテランにしか仕事がこなくなるよね

2019/10/14(月) 15:13:07.19

>>241
あの本のレベルの数学が分からないと厳しい
数学が分からないと言いながらＤＳやってる人たちでも理解できる程度の内容

2019/10/14(月) 15:22:52.88

博士持ち or ベテラン　＜　精度の高い競馬予測モデル開発者

データを集めてくるところが始まるから、Kaggleより難易度高い

2019/10/14(月) 16:12:47.05

博士号持ちといってもピンキリ

天才的な人もいるし、
とんでもない馬鹿もいる。

2、3枚の感想文のようなレポートで
博士号取れる院も
日本にある。
そこは博士号とりたい中国人ばかりが
留学生としてやってくる。
日本の恥！

2019/10/14(月) 17:26:03.50

>>257
例えばどこの院

2019/10/14(月) 18:51:16.60

>>255
DSって何ですか？

2019/10/14(月) 18:55:58.36

Deta
Saiensu

2019/10/14(月) 19:22:19.56

サイエンティストな

2019/10/14(月) 20:18:41.61

>>258
知り合いが現在
そこの教員やってるので
大学名は書かないけど
博士論文は国会図書館に
全て収蔵されるので
みればすぐわかる。

ヒントとしては、
なんと中国語でレポート2枚ぐらいの
博士論文がある！
日本の恥！
抹殺したい！

2019/10/14(月) 21:29:45.45

ディープラーニング発明した人に
ノーベル賞やるべきだと思う。

2019/10/14(月) 21:34:26.95

そんな人おらん
ローゼン・ブラッドからはじまって(もっと前から遡れる？
カナダ人のチームがドロップアウトを考えた時点で弾けたんだ

2019/10/14(月) 21:35:46.34

メダル獲れなかったkaggle用のnoteをgithubに載せてしまった。はずかしー
これで就活だあ～。おーッ！

2019/10/14(月) 23:09:10.36

>>263
チューリング賞はとった

2019/10/14(月) 23:23:40.59

チューリング賞は賞自体よりも取ってる人のがたいてい有名っていう。。

2019/10/15(火) 02:28:14.05

甘利さんか？

2019/10/15(火) 06:10:05.34

競馬予想みたいにデータ収集含めて特定の領域に特化したモデル作れる人だけが勝つようになるかね、、、全く潰しのきかない職業になりそうですね。

2019/10/15(火) 06:37:37.44

ゲームの自動生成やりたいから勉強してるけどそういう職業目指してない

2019/10/15(火) 07:35:51.98

>>269
田倉寛史は失業するな。

2019/10/15(火) 09:11:20.62

競馬って予想して勝てるゲームなの？

2019/10/15(火) 09:52:34.15

kerasしかわかんね

2019/10/15(火) 10:04:58.88

統計学で競馬で食ってる人いる見たいよ
10年くらい前に聞いた話しだけど

2019/10/15(火) 10:08:19.91

統計学やらなくてもきちんと研究すれば勝てるらしいけど
才能の使い方としては空しいな

2019/10/15(火) 10:31:23.58

佐々木洋佑の予想。

2019/10/15(火) 10:36:34.51

控除率25%の競馬で勝とうとするならもっと楽に勝てるとこに注力した方がましやろ

2019/10/15(火) 10:52:22.27

>>277
FXとか？

2019/10/15(火) 11:24:20.27

FXより競馬の方が百倍楽でしょ
勝つために必要なデータを取れればだけど

2019/10/15(火) 12:32:17.34

>>221
層が多いほうが表現力が高い
教師データ数に対して異常に多いパラメータは、なんで性能が伸びるかよく分からない。

パラメータの中にはあたりくじがあるのかもという、宝くじ仮設なるものがあるけれどどうなのでしょう？

2019/10/15(火) 13:03:36.76

テーブルデータの解析って、nnをつかっても2層や3層だから、ぜんぜんdeepじゃないよね
営業の人はそれでもディープラーニングっていうんだろうなあ

2019/10/15(火) 13:13:25.51

テーブルデータってなーに？

2019/10/15(火) 16:36:14.39

>>221
深くする程損失関数が凸関数に近くなり最適解に辿り着きやすくなるかも知れないことが最近の理論研究で判明してきている

2019/10/15(火) 23:48:10.86

層を増やすと普通にバックプロパゲーションだけでは上手く学習できないんじゃね
どうするんだっけ

2019/10/16(水) 07:22:30.93

甘利さんに聞く

2019/10/16(水) 12:21:07.84

ドロップアウトって
実際に人間の脳でも行われているのでしょうか？

2019/10/16(水) 12:33:04.35

インドのリキシャの話は知ってるか？
人間は一度認識すれば多少形は違ってもリキシャだとわかる
おそらく人間は逆で、学習したデータを柔軟に他の認識の補助とすることができる

2019/10/16(水) 12:49:56.91

シミュラクラ現象のことか

2019/10/16(水) 12:55:37.60

kerasで作ったモデルをtfjsで読み込んだんだが
訓練してたときのinputがnp.arrayみたいで
tfjsでpred出来なくて積んだんだが(´・ω・｀)

numjsとnumpyって同値じゃないよね？(´・ω・｀)

2019/10/16(水) 13:17:05.59

>>287
当たり前のことすぎて
どう反応していいかわからんよ。
どういうレスが欲しかったの？

2019/10/16(水) 15:01:44.54

>>290
は？誰？どゆこと？w

2019/10/16(水) 18:21:05.32

>>286
どうだろうね
短期記憶が長期記憶に移るときに、移らなかった記憶はドロップアウトされたと考えられなくもないかなぁ

2019/10/16(水) 18:25:30.68

>>292
ドロップアウトは過学習を抑制するためにやるやつだし
記憶の結び付きとは違うだろ

2019/10/16(水) 20:46:35.90

>>286
可塑性を示すものは発見されてるけどシナプス伝達におけるフィードバック機構は見つかってない
神経回路で見ればフィードバックの投射は当たり前に存在するけどそれでは誤差伝播にはなり得ない

2019/10/16(水) 20:46:41.74

一度見た画像をぼんやりとしか覚えてない、という奴はドロップアウト臭い
だから>>292には個人的には賛成できるんだけど
ただ長期記憶が短期記憶うんぬんはリカレントＮＮを連想するから
このスレ的にはわかりにくいわ

2019/10/16(水) 20:48:32.70

>>294
これま？

2019/10/16(水) 21:07:54.87

>>295
>一度見た画像をぼんやりとしか覚えてない
そもそも観察メッシュが雑（現物→キャッシュ的なところ　の時点で情報がだいぶ落ちてしまう）なヤツの場合・・・

2019/10/16(水) 21:15:52.71

BPの話かと思ったらdropoutの方だったすまん
そっちに関連するものは知らん

2019/10/17(木) 08:31:12.53

>>283
KKT条件？

2019/10/17(木) 15:21:49.83

違うぞ

2019/10/17(木) 15:30:38.70

mnistのデータをインストール出来なかったから
直接.npz型データを落としてきてこれを.kerasのdatasetsフォルダに入れたら
使えるようになった

こういうのは邪道なのか

2019/10/18(金) 20:19:51.03

きみたちSparkとかHadoopとか使ってるの？
深層学習の理論の話しは出るけども

2019/10/18(金) 22:12:26.25

Sparkは競争に負けたシステムだし、Hadoopはゴミ

2019/10/18(金) 22:12:50.99

>>301
たぶん正道

2019/10/19(土) 10:20:09.74

hadoopなんてまともに使おうとしたらgoogle並みの回線チューニングが必要なんでしょ？

2019/10/19(土) 11:27:09.87

ググってると、ときどき尾崎隆のブログが検索結果に出てくる。
みなさんもご存じ（？）の、
　「渋谷駅前で働くデータサイエンティストのブログ」というやつ。

名前を公開して堂々とブログを書いているのであるから、
間違いがあっても、実名でよく書いた！ほめてあげよう。
だって、5chなんて匿名だから批判とか妬みとか罵詈雑言ばかりだもんな。

尾崎は偉いと思う。実名で書いてるから。
ちょっと自信過剰すぎて、ブログの間違いを見つけるたびに
笑えるけどそれもまたいい！
尾崎はいいやつ！
これからもブログをどんどん書いてくれ！

2019/10/19(土) 12:29:08.69

自信過剰

2019/10/19(土) 13:48:35.47

馬鹿乙

2019/10/19(土) 14:19:40.09

>>302
＞　きみたちSparkとかHadoopとか使ってるの？

使っていない。
仕事でAzureとAWSを使っていて
もはやHadoopとか必要ねーじゃんとか思ってる
何か使う理由がある？

2019/10/19(土) 15:03:04.15

オンプレ環境でリアルタイムのビックデータ解析やりたいシチュ
データ容量は1TB程度……あんまりないよね

2019/10/19(土) 16:11:23.85

使いまくるなら圧倒的にローカルで環境構築する方が安いし自由度高いからな
クラウドコンピューティング万能説を説いている人を見ると「それで十分な程度でしか使っていないんだな」という感想しかない

2019/10/19(土) 17:05:53.24

安さは開発費込みで圧倒的ではないだろう
自由度は同意

2019/10/19(土) 17:42:12.86

よく知らんけど調達コスト高いのでは
特に期間

2019/10/19(土) 17:52:06.40

クラウド万能とは思わんが数百GB単位でボコボコ組むならまずクラウドで組んだ方がいいと思うがな。
自前のオンプレで組むならかなり正確な見積もりないと怖いわ。

2019/10/19(土) 19:39:02.78

最近は大手メーカーがオンプレのGPU買うケースが増えてる
彼らはアンチクラウドだから絶対使わないし
データを外部に置くことを極端に嫌う

2019/10/19(土) 20:33:07.47

あくまで自分の肌感覚だけど、最近そういう風潮もなくなってきたというか、
コストカットで見境がなくなってきた印象がある
日本は海外ほどクラウドの導入が進まないけど、そのうち一気にくるだろう

2019/10/19(土) 21:05:40.70

kerasの経験ばかり増えたが、いきなり生のtensorflowのコードを見たりchainerを見せられたり

日々勉強だなあ
データセットもある日はnpzある日はpkl

2019/10/20(日) 00:03:48.28

>>315
セキュリティが心配なんだろうと思う

2019/10/20(日) 00:44:54.23

セキュリティというよりデータを抜かれるのが心配
特に画像処理

2019/10/20(日) 01:42:29.38

自然言語処理は近頃 word2vec 一択なの?

2019/10/20(日) 03:49:01.05

>>320
word2vec一択とはどゆ意味なのかわからんけど、
それだけでは人と会話できないじゃん？