【統計分析】機械学習・データマイニング26

[1 デフォルトの名無しさん (ﾜｯﾁｮｲ efda-zBa2) 2019/09/15(日) 09:23:06.34 ID:bjsiNRs40]

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

---

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured

[196 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-CdT3) 2019/10/13(日) 00:57:27.47 ID:0ePwtCDKa]

各店の平均化する前の採点が同一母集団に従うという仮定に無理がありすぎる
例えばラーメン屋とスイーツ店の採点者が同じ傾向の採点するなんて仮定は不自然

[197 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-3Hkb) 2019/10/13(日) 00:59:42.54 ID:kaSZg9r20]

>>196
すまん、焼肉屋しか見てなかった
実にその通り

[198 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-KA+R) 2019/10/13(日) 06:54:46.01 ID:ObLeezZqa]

>>159
Juliaでしょう。

[199 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-KA+R) 2019/10/13(日) 06:56:55.49 ID:ObLeezZqa]

>>160
Flux

[200 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/13(日) 07:21:13.99 ID:Fxu1r5BT0]

>>195
大数の法則は標本数を増やすと標本平均が母平均に近づくということ

中心極限定理は平均値の分布に関する定理
食べログの評価の数が30になった時点で平均値を計算して
一度リセットするのを繰り返す
その平均値の分布は正規分布に近づく

今の評価の分布がその店に行く人の評価の分布を表している
のであれば今の評価分布から30標本を取って平均値を求める
操作を復元抽出で繰り返しても同じような結果になるだろう

[201 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/13(日) 07:23:54.12 ID:Fxu1r5BT0]

ある店の評価分布は標本数が多くなっても正規分布になるとは言えない
分散が広くなるのはその店のサービスや品質が安定していない事が原因になりうる
その店の特徴が分布に反映される

同様に店を評価する側の特徴も反映されるだろう

[202 デフォルトの名無しさん (ﾌﾞｰｲﾓ MM89-ToAo) 2019/10/13(日) 07:58:04.98 ID:S6cUkNQoM]

深層学習の凄いことのひとつは特徴量を人が設計する必要がない、と本とかに書いてありますが、どう理解すればいいのか分からず教えてください！

ここでいう深層学習とはニューラルネットのことですか？(線形回帰やSVMと違って説明変数を人間が決めてないから？ )

[203 デフォルトの名無しさん (ﾜｯﾁｮｲ 8302-o74w) 2019/10/13(日) 08:07:52.14 ID:A69S9ntC0]

レビューを投稿する行動を取る時点で母集団にサンプルバイアス

[204 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-3Hkb) 2019/10/13(日) 08:55:43.76 ID:kaSZg9r20]

>>201
言ってることの一つ一つは正しいことは理解できるんだけど、何が言いたいのか理解できないんだ

食べログが評価を操作しているかどうか、は今説明してくれた事を駆使すれば判別できるんだろうか？

あるいは、Twitterの書き込みのおかしさ、は今説明してくれた事を駆使すれば、ココがおかしいと指摘されるんだろうか

[205 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-vt6R) 2019/10/13(日) 09:26:19.57 ID:vNAU+AUMa]

>>201
各店舗の分散は各店舗の分布には影響しても全店舗の平均値の分布には影響しないでしょ

[206 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-CdT3) 2019/10/13(日) 10:08:21.52 ID:uKg8mtfTa]

中心極限定理はあくまで「同一の母集団から得た独立な確率変数であれば、十分な数の平均値を集めたものの分布が正規分布に近似できる」というもの
全店舗の採点者が同一の基準に従う採点を行うという前提が成り立たなければ成立しない定理

[207 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-3Hkb) 2019/10/13(日) 10:56:42.24 ID:kaSZg9r20]

>>206
個々の採点者が同じ基準でないのに中心極限定理を持ち出しているのがおかしいと主張しているわけか、なるほど

同じ基準ではないにしろ、少し幅をつけてみよう
個々の採点者はある得点を中心に正規分布で配点する、もしくは一様分布で採点する、あるいは同じ点数しかつけないものとする

正規分布で採点する者は、正規分布の合成が正規分布になることから、平均値の分布もまた正規分布
一様分布で採点する者は、分布関数の底上げにはなるが平均値には影響を与えない
同じ点数しかつけない者も、平均値そのものをずらす事にはなるが正規分布の形は歪めない

つまるところ上記の前提が成り立つ場合には、平均値の分布は厳密に正規分布になる
毎回1点で、たまに4点をつけるような人が大量にいないと、この評点と言う平均値分布を正規分布から歪めるのは難しいように思う

[208 デフォルトの名無しさん (ﾜｯﾁｮｲ 9501-o74w) 2019/10/13(日) 12:13:54.05 ID:pJwii1Hg0]

>>202
多分、画像データを深層学習(ニューラルネット)で学習することを念頭に置いてる話だろう。
もっと広い文脈で使えるときもあるがたいていは画像でうまくいった話を誇張して言ってることが多い。

[209 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/13(日) 12:41:16.37 ID:Fxu1r5BT0]

>>205
平均値についても同様の事が言える
仮に評価する側が同じだとしても
店舗の特徴によって分布の形は変わる
分布の形を見る事で店舗の特徴を把握してその店を利用するかどうかを事前に利用者が判断できるようにするサービス
が本来目標としたものかもしれない

分布を意図的に操作する事で金儲けに利用しようとした疑いが上がっているという問題だと思う

[210 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/13(日) 12:44:15.71 ID:Fxu1r5BT0]

>>207
評価尺度はただの順序尺度で間隔尺度ではないだろう

[211 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/13(日) 12:53:02.60 ID:sm0sVhGqM]

>>159
大規模ですけどC、C++、アセンブラです。
現在、全部で数百万ステップです

[212 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j) 2019/10/13(日) 13:19:59.66 ID:kaSZg9r20]

いかん、ラーメン屋の得点とスイーツ屋の得点を合わせて平均するとか謎なことをしていた
改めてデータに立ち戻ろう

3.6にピークがあるのは、とりあえず4に入れておこう層が2/3くらいいて、残りの1/3がとりあえず3に入れておこうということ4*2/3+3*1/3=11/3=3.67で説明できそうだ
逆に言えば、ここにピークが立つのは「とりあえず3か4に入れとけ層」が一定数いるということで、これは直感と合うのであまり怪しくはなさそうだ

次に3.8にギャップがある理由を考えてみる
元のデータを見た所、２つのガウス関数の和で表現できそうだ
一つは平均3.6で3σが0.3にあるピーク、もう一つは平均3.75で3σが0.05のピーク
こう仮定すると3.8にギャップができているのは、この2つ目のガウス関数の裾野に原因がある

この2つのガウス関数が意味するところは
ラーメン屋に通う「オヤジ層」とスイーツ屋に行く「レディー層」の違いを表すのか、
あるいは「関東に住んでいる層」と「関西に住んでいる層」を地域差表すのか、
はたまた疑惑の「操作されていない層」と「操作されている層」の人為操作の違いを表すのか

ラーメン屋だけの分布、特定地域だけの分布は作れそうだが、疑惑の操作に辿り着くのは難しそうだ

[213 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/13(日) 13:25:37.35 ID:Fxu1r5BT0]

操作がなかったという帰無仮説を棄却できるかどうかじゃね？

[214 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j) 2019/10/13(日) 13:39:33.29 ID:kaSZg9r20]

>>202
まぁ>>208でも言っているけど画像をCNNで処理することを汎用化して言ってる気はするなぁ
少し古いけど

https://deepage.net/deep_learning/2016/11/07/convolutional_neural_network.html

にある

CNNはこういった特徴を抽出するための検出器であるフィルタのパラメータを自動で学習していく

ということなんだろう
RNNでも同じ話はあるので画像だけってことはないけど、なんでもかんでも特徴量を自動抽出ってことではないよ

[215 デフォルトの名無しさん (ｱｳｱｳｴｰ Sa13-NJTS) 2019/10/13(日) 13:45:19.51 ID:48i2xCpca]

三層のニューラルネットワークでは xor を分離できないという問題は
さらに多層になったことで何で解消されたの?

[216 デフォルトの名無しさん (ﾜｯﾁｮｲ e394-P4H7) 2019/10/13(日) 14:17:08.81 ID:25TC8kRG0]

3.8を超えた評価を3.6に落としてるって仮定したらほぼ同じヒストグラムになる
https://i.imgur.com/NrNIWrn.jpg
平均3.8標準偏差0.5で正規分布を生成して、3.8を超えた評価値を90%の確率で平均3.6標準偏差0.01の正規分布で取り直す操作をした（N=1000）
ただ同じだからと言って>>212のように元データの特徴量ごとの性質の違いを反映しているだけかもしれない

[217 デフォルトの名無しさん (ｱｳｱｳｴｰ Sa13-P4H7) 2019/10/13(日) 14:21:02.62 ID:qY0pTgmia]

>>213
操作がないという帰無仮説について仮説検定の方法で検証するには操作がない場合の点数の理想的な分布を知っていなければならない
その理想分布に基づいて実際の分布がどの程度ずれているのかを確認するのが仮説検定なのだから
しかしそんなもの知り得ないので検定のしようがない

[218 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag) 2019/10/13(日) 14:23:09.86 ID:llG9wcVha]

>>215
出来ないのは2層
3層にすると一度高次元空間に写してからシンプルな境界で分離出来る

[219 デフォルトの名無しさん (ﾌﾞｰｲﾓ MM59-ToAo) 2019/10/13(日) 14:45:50.67 ID:TJDkUn5hM]

>>208
>>214
ありがとうございます。ほぼCNNのことと思って良さそうなんですね
CNNが凄い！っことを深層学習という言葉に拡大して凄い！って言ってるイメージですね

[220 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j) 2019/10/13(日) 15:01:05.43 ID:kaSZg9r20]

>> 215

細かいけど、まず層の数え方から
入力層は層に数えないので、ANDとORは1層で、XORは2層で表現できる

次にXORはなぜ2層で表現可能か
単純に、AND(正確にはNAND)とORの出力をANDで受ければXORが作れるから

ググったら以下のような図を見つけた
https://www.infiniteloop.co.jp/blog/wp-content/uploads/2017/12/XOR.png

>>218の回答はエレガントだけども、少し説明を加えると
(0, 0) → 0
(0, 1) → 1
(1, 0) → 1
(1, 1) → 0
を分ける直線は2次元平面内では書けないけど、3次元に拡張して
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
を分ける平面はa,b,c,dを適当に決めれば作れる(例えばa=d=0, b=c=1としてz=0.5の平面)

a,b,c,dを適当に決めて分離できるってそんなんアリかよ！？って最初は思うかもしれないけど
そんな純粋な気持ちは最初だけで、どうせa, b, c, dは見ないし分離できたら何でもOKになる

[221 デフォルトの名無しさん (ｱｳｱｳｴｰ Sa13-NJTS) 2019/10/13(日) 18:39:55.88 ID:48i2xCpca]

二層あれば大抵の関数は模倣できるのに
何でもっと多層が必要なの?

[222 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/13(日) 18:43:34.64 ID:Fxu1r5BT0]

>>217
諦めたらそこで試合終了ですよ
目の前にヒントが転がっていても見えなくなる

[223 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/13(日) 18:44:48.26 ID:Fxu1r5BT0]

>>218
線型結合してる層を増やすとなぜ高次元になるのかを直感的に判るように説明して

[224 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag) 2019/10/13(日) 19:30:49.94 ID:llG9wcVha]

>>221
層を増やす方が効率が高い

ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない

[225 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag) 2019/10/13(日) 19:32:44.25 ID:llG9wcVha]

>>223
一旦中間層のニューロン数だけの次元を持つ空間を経由できるから

[226 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/13(日) 20:04:55.16 ID:Fxu1r5BT0]

>>225
線型結合して関数を通して
また線型結合して関数を通して
の繰り返しでなぜ高次元になるの？

関数によって非線形になるなら判るけど

[227 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag) 2019/10/13(日) 20:33:11.99 ID:llG9wcVha]

>>226
非線形な活性化関数噛ませるでしょ普通

自然に高次元になるんじゃなくてそうなる様にしてるんだよ、ニューロン数は自由に決められるから

[228 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/13(日) 20:44:50.78 ID:/3kPh57iM]

ディープキスのほうがいい！
舌をからませるの
立つよね！

[229 デフォルトの名無しさん (ﾜｯﾁｮｲ 9501-qBpa) 2019/10/13(日) 20:48:48.51 ID:P1vmVh210]

>ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
こんなことを示した論文などない。
よくこんなことをさも証明されたことの如く言えるな。

[230 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j) 2019/10/13(日) 21:28:26.53 ID:kaSZg9r20]

>>221
本質的な質問が来た
これについては俺も明確な答えは持ってないなぁ

直感的には、多層の方が中間層に保持できるパラメータ数が多く
そこには活性化関数を通した非線形の効果も含まれているので
ほどほどにノイズが消されていて抽象的な状態を保持できるから

と思うんだが、本当かどうかは分からない

[231 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag) 2019/10/13(日) 21:37:08.64 ID:llG9wcVha]

>>229
Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." Advances in neural information processing systems. 2014.

NIPSの論文だが
何を根拠に「こんなことを示した論文などない(ｷﾘｯ」なんて言えたのか

[232 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j) 2019/10/13(日) 21:45:22.38 ID:kaSZg9r20]

>>226
ちょうどいいので>>220で示したXORを例に説明しよう

入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる

すなわちx3をx1, x2から作れれば良いので

a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2

として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である

[233 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j) 2019/10/13(日) 21:46:31.38 ID:kaSZg9r20]

>>226
ちょうどいいので>>220で示したXORを例に説明しよう

入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる

すなわちx3をx1, x2から作れれば良いので

a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2

として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である

[234 デフォルトの名無しさん (ｱｳｱｳｴｰ Sa13-NJTS) 2019/10/13(日) 22:05:13.10 ID:48i2xCpca]

五、六層でいいのかと思いきや
ものすごく多層にするよねえ
うまくいくからという説明しかないのか?

[235 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/13(日) 22:18:18.69 ID:/3kPh57iM]

>>221
〉二層あれば大抵の関数は模倣できる

その『大抵』とは、どの程度なんですか？
それが示されてないのですから
まったく意味をなさないですよね？

>>230
その意味をなさない書き込みに、
本質的とかって、
レベル低すぎですね。

[236 デフォルトの名無しさん (ﾜｯﾁｮｲ 0da5-X53N) 2019/10/13(日) 22:20:28.84 ID:mSmeGM2p0]

>>235
完全な関数の導入じゃなくて疑似的な関数が解ればいいから

[237 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j) 2019/10/13(日) 22:35:14.55 ID:kaSZg9r20]

>>235
あんたは性格悪いなぁ・・・
ニューラルネットワークの普遍性についての質問が本質的でないなら何が本質的なんだ?
知ってて聞いてるなら教えてやれよ

[238 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-CdT3) 2019/10/14(月) 00:26:24.00 ID:Xj3JYQcoa]

専門的な知識はほとんどなく説明されても理解できる頭も持ってないけどマウントとりたいからとにかく突っかかる癖のある人が多すぎる

[239 デフォルトの名無しさん (ｱｳｱｳｴｰ Sa13-NJTS) 2019/10/14(月) 00:50:17.12 ID:yAy44Gfva]

初等関数?
特殊関数?

[240 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/14(月) 07:16:20.36 ID:KQ95R8h/0]

>>232
それだと
x1, x2の入力を受けるニューロンと
それからx3を計算するニューロンを並列に並べたら良い

x1-x1\
x2-x2-out
\x3/
みたいに

次元を増やすの意味として変数増加とx^2などと混同しやすい
これらを区別する言い方は何？
変数増加→高次元
x^2など→非線形
とか？

[241 デフォルトの名無しさん (ｽﾌﾟﾌﾟ Sd43-IE9o) 2019/10/14(月) 12:29:28.91 ID:utYACZDud]

前に『ゼロから作るディープラーニング』買ったけど
これ3千円はする高額な本だけど、計算や式の意味がわからず挫折したなあ…。

やっぱノートに書いて解き方や意味を学習するしかないと思うねん。

[242 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/14(月) 12:54:25.27 ID:syyLl6c1M]

>>241
ならば『excelでわかるディープラーニング超入門』がオススメ
続編もある

[243 デフォルトの名無しさん (ﾜｯﾁｮｲ 35b0-+TD/) 2019/10/14(月) 13:19:28.08 ID:aq/jCORe0]

>>241
あの本は線型代数と微積分の知識は必須だと思う

[244 デフォルトの名無しさん (ﾜｯﾁｮｲ a3bd-NJTS) 2019/10/14(月) 13:53:05.51 ID:pO8Bz3ni0]

機械学習に数学はいらないよ

[245 デフォルトの名無しさん (ｵｯﾍﾟｹ Sr61-B2ag) 2019/10/14(月) 14:01:22.69 ID:htBbaZR2r]

機械学習に数学はいらないよおじさん「機械学習に数学はいらないよ」

[246 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/14(月) 14:23:44.68 ID:syyLl6c1M]

ソフト使うだけなら数学いらんわね

[247 デフォルトの名無しさん (ﾐｶｶｳｨ FF59-CdT3) 2019/10/14(月) 14:26:05.12 ID:daX/fZMnF]

適当にデータ放り込んで適当な手法を選択してなんとなく精度が良さそうなのを選ぶだけで成立する仕事なら数学など不要
普通の企業や研究室ではそんなものに金なんて出してくれないがな

[248 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag) 2019/10/14(月) 14:31:10.41 ID:JdA0BOgta]

>>247
そういう仕事は既にAutoMLに取られつつあるね

[249 デフォルトの名無しさん (ｱﾒ MM29-2D7i) 2019/10/14(月) 14:31:49.76 ID:XFqMr8NbM]

というかこの世界ももう土方がいるのか

[250 デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j) 2019/10/14(月) 14:40:16.73 ID:VuPQ6UMJ0]

>>240
並列に並べるために(x1, x2)からx3を作るための層が最低1つ必要なんだ
0か1かのような2値分類は、つまるところ出力層と全く同じ出力をする新しい次元を作って、その次元に直行する超平面で分類する作業なので

言い方は高次元や非線形で良いと思うけど、次元についてはニューロンの数が、非線形については活性化関数が深く関係している

もう少し詳しく説明しよう
より一般的な関数があったとして、入力が(x1, x2)のとき、最後の出力層への入力としては

(f1(x1, x2), f2(x1, x2), f3(x1, x2), …, fN(x1, x2)) … (1)

となっている
Nは最後の隠れ層のニューロンの数なので、次元と読んでいるのはニューロンの数だということが分かる

(1)を如何にして作るのかが重要になり、層を深くして(1)を作らなくても、ニューロン増やせばいいんじゃね?となる
隠れ層1層と出力層1層の2層あれば大抵の関数は模倣できると指摘している>>221はかなり鋭くて実にその通り

それでもなんで層を深くするのかというと>>224の効率が良いというのが一般な回答なんだが、Deep Learningを回している人なら実感があると思うけど、第一層のニューロンの数がある一定数ないと学習がうまくいかないことが往往にしてある
単に層を深くすればよいというのは明らかに直感と異なり、そうすると「どの層にどれだけのニューロンを配置すると良いか」という問題になり、これに対して自分なりの回答はまだ全然持っていない

[251 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/14(月) 14:42:39.82 ID:syyLl6c1M]

最初から土方しかいないから。
今もほとんど土方。
できる人は研究者か大学教員になってる。

[252 デフォルトの名無しさん (ﾐｶｶｳｨ FF59-CdT3) 2019/10/14(月) 14:47:46.87 ID:daX/fZMnF]

この分野はむしろ大学より民間の方がやりやすいから本来なら博士行くような人も修士までにしてとっとと成果出せる環境に移ろうとする人が多くなってきた印象

[253 デフォルトの名無しさん (ｽﾌﾟﾌﾟ Sd43-IE9o) 2019/10/14(月) 15:08:32.93 ID:utYACZDud]

>>242
ありがとう。調べてみます。

[254 デフォルトの名無しさん (ﾜｯﾁｮｲ 0359-o74w) 2019/10/14(月) 15:10:40.92 ID:4WTqwCCG0]

今ならまだ簡単にデータエンジニア目指せるけど、
早い者勝ちなのかな
すぐベテランにしか仕事がこなくなるよね

[255 デフォルトの名無しさん (ﾜｯﾁｮｲ 0359-o74w) 2019/10/14(月) 15:13:07.19 ID:4WTqwCCG0]

>>241
あの本のレベルの数学が分からないと厳しい
数学が分からないと言いながらＤＳやってる人たちでも理解できる程度の内容

[256 デフォルトの名無しさん (ﾜｯﾁｮｲ 8302-o74w) 2019/10/14(月) 15:22:52.88 ID:drx0D0Vb0]

博士持ち or ベテラン　＜　精度の高い競馬予測モデル開発者

データを集めてくるところが始まるから、Kaggleより難易度高い

[257 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/14(月) 16:12:47.05 ID:syyLl6c1M]

博士号持ちといってもピンキリ

天才的な人もいるし、
とんでもない馬鹿もいる。

2、3枚の感想文のようなレポートで
博士号取れる院も
日本にある。
そこは博士号とりたい中国人ばかりが
留学生としてやってくる。
日本の恥！

[258 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag) 2019/10/14(月) 17:26:03.50 ID:JdA0BOgta]

>>257
例えばどこの院

[259 デフォルトの名無しさん (ﾜｯﾁｮｲ ab82-IE9o) 2019/10/14(月) 18:51:16.60 ID:/yNf4ic50]

>>255
DSって何ですか？

[260 デフォルトの名無しさん (ｴﾑｿﾞﾈ FF43-1wBF) 2019/10/14(月) 18:55:58.36 ID:ljIrzJ7BF]

Deta
Saiensu

[261 デフォルトの名無しさん (ｱｳｱｳｸｰ MMe1-o74w) 2019/10/14(月) 19:22:19.56 ID:lAL0R9ntM]

サイエンティストな

[262 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/14(月) 20:18:41.61 ID:DQ9Yh+dwM]

>>258
知り合いが現在
そこの教員やってるので
大学名は書かないけど
博士論文は国会図書館に
全て収蔵されるので
みればすぐわかる。

ヒントとしては、
なんと中国語でレポート2枚ぐらいの
博士論文がある！
日本の恥！
抹殺したい！

[263 デフォルトの名無しさん (ﾜｯﾁｮｲ ab82-IE9o) 2019/10/14(月) 21:29:45.45 ID:/yNf4ic50]

ディープラーニング発明した人に
ノーベル賞やるべきだと思う。

[264 デフォルトの名無しさん (ｱｳｱｳｸｰ MMe1-o74w) 2019/10/14(月) 21:34:26.95 ID:lAL0R9ntM]

そんな人おらん
ローゼン・ブラッドからはじまって(もっと前から遡れる？
カナダ人のチームがドロップアウトを考えた時点で弾けたんだ

[265 デフォルトの名無しさん (ｱｳｱｳｸｰ MMe1-o74w) 2019/10/14(月) 21:35:46.34 ID:lAL0R9ntM]

メダル獲れなかったkaggle用のnoteをgithubに載せてしまった。はずかしー
これで就活だあ〜。おーッ！

[266 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag) 2019/10/14(月) 23:09:10.36 ID:JdA0BOgta]

>>263
チューリング賞はとった

[267 デフォルトの名無しさん (ﾜｯﾁｮｲ 9501-o74w) 2019/10/14(月) 23:23:40.59 ID:Dfy8oKXF0]

チューリング賞は賞自体よりも取ってる人のがたいてい有名っていう。。

[268 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/15(火) 02:28:14.05 ID:KLW/euVzM]

甘利さんか？

[269 デフォルトの名無しさん (ﾌﾞｰｲﾓ MM43-HLBv) 2019/10/15(火) 06:10:05.34 ID:I8iXAPqNM]

競馬予想みたいにデータ収集含めて特定の領域に特化したモデル作れる人だけが勝つようになるかね、、、全く潰しのきかない職業になりそうですね。

[270 デフォルトの名無しさん (ﾜｯﾁｮｲ 35b0-+TD/) 2019/10/15(火) 06:37:37.44 ID:7FHw0Vhl0]

ゲームの自動生成やりたいから勉強してるけどそういう職業目指してない

[271 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-KA+R) 2019/10/15(火) 07:35:51.98 ID:5lPGjOaaa]

>>269
田倉寛史は失業するな。

[272 デフォルトの名無しさん (ﾜﾝﾄﾝｷﾝ MMa3-Hjv8) 2019/10/15(火) 09:11:20.62 ID:CGH1vHQcM]

競馬って予想して勝てるゲームなの？

[273 デフォルトの名無しさん (ﾜｯﾁｮｲ 1bd2-jjWQ) 2019/10/15(火) 09:52:34.15 ID:BuCrjnSD0]

kerasしかわかんね

[274 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-Eud4) 2019/10/15(火) 10:04:58.88 ID:ST5HgM4Ya]

統計学で競馬で食ってる人いる見たいよ
10年くらい前に聞いた話しだけど

[275 デフォルトの名無しさん (ｱｳｱｳｸｰ MMe1-o74w) 2019/10/15(火) 10:08:19.91 ID:CpmUKzMvM]

統計学やらなくてもきちんと研究すれば勝てるらしいけど
才能の使い方としては空しいな

[276 デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-KA+R) 2019/10/15(火) 10:31:23.58 ID:YjTx8zIDa]

佐々木洋佑の予想。

[277 デフォルトの名無しさん (ｽﾌｯ Sd43-w6Hz) 2019/10/15(火) 10:36:34.51 ID:tidBIruUd]

控除率25%の競馬で勝とうとするならもっと楽に勝てるとこに注力した方がましやろ

[278 デフォルトの名無しさん (ﾜｯﾁｮｲ 3555-TmsB) 2019/10/15(火) 10:52:22.27 ID:AlK2cYWx0]

>>277
FXとか？

[279 デフォルトの名無しさん (ｱｳｱｳｸｰ MMe1-o74w) 2019/10/15(火) 11:24:20.27 ID:CpmUKzMvM]

FXより競馬の方が百倍楽でしょ
勝つために必要なデータを取れればだけど

[280 デフォルトの名無しさん (ｵｯﾍﾟｹ Sr61-uMWA) 2019/10/15(火) 12:32:17.34 ID:2+ahF6drr]

>>221
層が多いほうが表現力が高い
教師データ数に対して異常に多いパラメータは、なんで性能が伸びるかよく分からない。

パラメータの中にはあたりくじがあるのかもという、宝くじ仮設なるものがあるけれどどうなのでしょう？

[281 デフォルトの名無しさん (ﾜｯﾁｮｲ 35a0-o74w) 2019/10/15(火) 13:03:36.76 ID:uSQ3MvZ60]

テーブルデータの解析って、nnをつかっても2層や3層だから、ぜんぜんdeepじゃないよね
営業の人はそれでもディープラーニングっていうんだろうなあ

[282 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/15(火) 13:13:25.51 ID:KLW/euVzM]

テーブルデータってなーに？

[283 デフォルトの名無しさん (ｵｯﾍﾟｹ Sr61-B2ag) 2019/10/15(火) 16:36:14.39 ID:OfiTiE/Hr]

>>221
深くする程損失関数が凸関数に近くなり最適解に辿り着きやすくなるかも知れないことが最近の理論研究で判明してきている

[284 デフォルトの名無しさん (ﾜｯﾁｮｲ cb10-vzjJ) 2019/10/15(火) 23:48:10.86 ID:1HOx40aj0]

層を増やすと普通にバックプロパゲーションだけでは上手く学習できないんじゃね
どうするんだっけ

[285 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/16(水) 07:22:30.93 ID:399vjxSUM]

甘利さんに聞く

[286 デフォルトの名無しさん (ｽﾌﾟﾌﾟ Sd43-IE9o) 2019/10/16(水) 12:21:07.84 ID:KK2SmrYwd]

ドロップアウトって
実際に人間の脳でも行われているのでしょうか？

[287 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-Eud4) 2019/10/16(水) 12:33:04.35 ID:ur38NdBia]

インドのリキシャの話は知ってるか？
人間は一度認識すれば多少形は違ってもリキシャだとわかる
おそらく人間は逆で、学習したデータを柔軟に他の認識の補助とすることができる

[288 デフォルトの名無しさん (ﾜｯﾁｮｲ 9501-tBfs) 2019/10/16(水) 12:49:56.91 ID:Bk7OFSs90]

シミュラクラ現象のことか

[289 デフォルトの名無しさん (ﾜｯﾁｮｲ 1bad-wpN8) 2019/10/16(水) 12:55:37.60 ID:/VU6ev+W0]

kerasで作ったモデルをtfjsで読み込んだんだが
訓練してたときのinputがnp.arrayみたいで
tfjsでpred出来なくて積んだんだが(´・ω・｀)

numjsとnumpyって同値じゃないよね？(´・ω・｀)

[290 デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+) 2019/10/16(水) 13:17:05.59 ID:YrOVtgjKM]

>>287
当たり前のことすぎて
どう反応していいかわからんよ。
どういうレスが欲しかったの？

[291 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-Eud4) 2019/10/16(水) 15:01:44.54 ID:ur38NdBia]

>>290
は？誰？どゆこと？w

[292 デフォルトの名無しさん (ｻｻｸｯﾃﾛ Sp61-zuf7) 2019/10/16(水) 18:21:05.32 ID:aRt+pAGAp]

>>286
どうだろうね
短期記憶が長期記憶に移るときに、移らなかった記憶はドロップアウトされたと考えられなくもないかなぁ

[293 デフォルトの名無しさん (ｽﾌｯ Sd43-v2l4) 2019/10/16(水) 18:25:30.68 ID:mV5OOZvVd]

>>292
ドロップアウトは過学習を抑制するためにやるやつだし
記憶の結び付きとは違うだろ

[294 デフォルトの名無しさん (ｱｳｱｳｶｰ Sa51-vt6R) 2019/10/16(水) 20:46:35.90 ID:h/NO83zwa]

>>286
可塑性を示すものは発見されてるけどシナプス伝達におけるフィードバック機構は見つかってない
神経回路で見ればフィードバックの投射は当たり前に存在するけどそれでは誤差伝播にはなり得ない

[295 デフォルトの名無しさん (ﾜｯﾁｮｲ a359-i1P6) 2019/10/16(水) 20:46:41.74 ID:wE+aWwg30]

一度見た画像をぼんやりとしか覚えてない、という奴はドロップアウト臭い
だから>>292には個人的には賛成できるんだけど
ただ長期記憶が短期記憶うんぬんはリカレントＮＮを連想するから
このスレ的にはわかりにくいわ