【統計分析】機械学習・データマイニング29

レス数が900を超えています。1000を超えると表示できなくなるよ。
2020/08/20(木) 09:16:43.41ID:Av1Lrhjm0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に1行ずつ減るので、減ってたら3回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

*機械学習に意識・知能は存在しません。
  人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング28
https://mevius.5ch.net/test/read.cgi/tech/1588293154/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2020/12/10(木) 19:17:10.67ID:/Tdm9YCRa
誤差関数ってネットワークそのもの?
2020/12/10(木) 19:19:51.95ID:+ZlzWDd90
>>811
調べてみたら?
いそうな気がする
2020/12/10(木) 19:34:03.65ID:qJWGxKCt0
目的関数が異なるモデル同士は性能を比較できないんじゃない?
目的関数の他に最適性の指標となる評価関数があるなら別だけど。
2020/12/10(木) 20:12:15.89ID:4I880zB/0
>>811
具体例を出せなくて申し訳ないが、誤差を補正して過学習を防ぐ正則化手法には
いろんな研究分野があるらしい

いま過学習に悩まされてて調べてみようかなと思ってたところ
816デフォルトの名無しさん (ワッチョイ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/10(木) 20:53:11.62ID:7nBpTtaz0
>>812
どういうことでしょうか?

>>813-815
ありがとうございました.


岡谷貴之著『深層学習』を読んでいるのですが,確率的勾配降下法についての素朴な質問です.

Nは全訓練サンプルの数です.
E(w) = Σ_{n=1}^{N} E_n(w)

確率的勾配降下法では,極端な場合,サンプル1つだけを使ってパラメータの更新を行うと書いてあります.
たとえば,n=1のサンプルを使って,wを更新したとします.
このとき,E_1(w)の値は,(学習係数の値が十分小さければ,)少し小さくなりますが,他のnについてのE_n(w)の値は逆に増えてしまい,
トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか?

岡谷の本にはそのことについて全く触れていません.
2020/12/10(木) 20:54:09.43ID:Zy+JpGE80
Courseraを勉強して自慢していた馬鹿アスペ
2020/12/10(木) 21:00:00.66ID:7nBpTtaz0
バッチ学習をした後で,テストデータに対して,誤差関数の値が本当に小さくなるのかというのと似たような問題かもしれませんね.
2020/12/10(木) 21:12:09.60ID:4I880zB/0
>>816
> トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか?

普通にあるよ
増えたり減ったりしながら徐々に正解に近づいていくイメージ
振動するおかげで極小解から脱出できるチャンスが増える
2020/12/10(木) 21:15:25.35ID:7nBpTtaz0
>>819
確率的勾配降下法によって,極小値を与えるwにかならず近づいていくということは証明できるのでしょうか?

勾配降下法では,学習係数が十分小さければ,単調に誤差が減少していき,最終的に,極小値を与えるwに近づいていくことは自明ですが.
2020/12/10(木) 21:27:23.48ID:3MNDS+Jy0
>>814
最終的な性能は正解率とか指標があるでしょう
2020/12/10(木) 21:30:19.62ID:3MNDS+Jy0
>>811
教師信号、正解と出力の差、距離の計算方法を変えたら評価関数、誤差関数は違うものになるだろう
ただそれで学習時間や性能にどんな影響があるかは自分は判らない
2020/12/10(木) 21:40:43.82ID:4I880zB/0
>>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない

ところで、欲しいのは極小解じゃなくて大域的最適解だよね?
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習
2020/12/10(木) 21:40:45.06ID:3MNDS+Jy0
>>816
自分で実験してみるのが1つの方法
初期化後に全データで評価値を計算して
簡単なNNを作ってデータ1つで重みを更新してから
全データで評価値を再計算する

多分増える事もあると思うけどデータを変えて重みを更新していく事で徐々に出力と正解の誤差が小さくなっていくと思う

同じ出力をする入力は同じニューロンが発火して
別の出力をする入力はそれと違うニューロンが発火するよつな感じに学習が進んでいくのかな
2020/12/10(木) 21:45:21.96ID:3MNDS+Jy0
>>820
勾配降下法は深層学習に限らず研究されているんじゃないかと思う
そっち方面で局所的最適値を得られる条件とか判ってるかもしれない
凸関数とかそんなのが条件になっていたりするかも
2020/12/10(木) 22:51:59.08ID:3MNDS+Jy0
思い出した
鞍点とかあるとそこで止まるとかあったような
2020/12/10(木) 23:37:19.21ID:feZOjJB+0
正しいけれど全く意味のない話というやつだな。
2020/12/11(金) 09:59:56.91ID:YXM/kAxOp
意味があるかは解釈によっても変わる
道具が同じでも上手く使える人とそうではない人がいる
既存の技術を上手く使って問題解決できた人もいるからな
2020/12/11(金) 10:40:32.12ID:Fdk3ZWWm0
馬鹿アスペの相手してる5902-LBAIだろ
830デフォルトの名無しさん (ワッチョイ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/11(金) 11:31:24.82ID:SUhg1yPU0
みなさん,ありがとうございました.

いろいろな日本語のディープラーニングの本を見てみましたが,確率的勾配降下法がなぜうまくいのかについての説明は全くありませんでした.
831デフォルトの名無しさん (ワッチョイ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/11(金) 11:34:06.26ID:SUhg1yPU0
まるで,うまくいくのが自明であるかのような扱いです.
確率的勾配降下法に限らず,この分野は常にこのような感じですよね.
2020/12/11(金) 12:05:23.95ID:Fdk3ZWWm0
1355-orE1は馬鹿アスペなのでスルーよろしく
2020/12/11(金) 12:12:51.28ID:vXWM25Of0
わかんないことがあれば自分で調べればいいのにね(笑)
2020/12/11(金) 12:31:18.86ID:Fdk3ZWWm0
馬鹿アスペは岡山県なんだ
835デフォルトの名無しさん (オッペケ Sra5-6xLJ [126.208.198.69])
垢版 |
2020/12/11(金) 12:57:31.82ID:P9V8rC1yr
>>830
この辺の理論が解明され始めたのは去年頃からだから、まだ本にはなってないよ
知りたければ論文読むかslideshareを探すといい
2020/12/11(金) 13:21:05.48ID:Wsx93R0l0
馬鹿と決めつけるより具体的に反論した方が生産的な気もする
2020/12/11(金) 14:21:14.42ID:keBMi+cGa
深層学習じゃない機械学習では誤差が小さくなる事とか条件とか証明されていると思うけどな
深層学習もそれからの類推か包含しているかじゃないか?
2020/12/11(金) 14:24:14.84ID:76SqqmH2a
>>831
発表されていないけど考えられる限りの
それ以外の方法を
多数の人が試していて
性能が出ないので発表されていないだけ
技術の分野ではよくあるんだよな
それを知らないと時間を大きく損する
2020/12/11(金) 14:59:05.47ID:Fdk3ZWWm0
荒らしに反論するのが生産的w、2ch素人かよ
2020/12/11(金) 15:07:06.98ID:XbH1RnBla
暇な数学者が冷やかしに来たようだ
2020/12/11(金) 15:58:16.06ID:Fdk3ZWWm0
数学者?何処にいるの?
2020/12/11(金) 16:05:14.18ID:XbH1RnBla
数学徒にしとく
2020/12/11(金) 16:18:38.39ID:Wsx93R0l0
荒らしってほどでもないような…
判らないのであれば、判らないと答えればいい。
それか参考になりそうな論文を紹介するとかね。
2020/12/11(金) 16:23:08.91ID:Fdk3ZWWm0
ぷ板にあげるよ、遊んであげてw
2020/12/11(金) 17:08:46.05ID:Fdk3ZWWm0
それから馬鹿アスぺはアルゴリズムの本を読んでいてプログラムの才能はないとぷ板の住人にで言われてる
846デフォルトの名無しさん (アウアウエー Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/11(金) 20:04:32.76ID:BgeuQOWca
>>837
深層学習を従来の理論に当てはめると過学習しまくって使い物にならんはず
だが実際学習できて性能も良い
この差は既存の理論では最適化(勾配降下法)のダイナミクスが考慮されていないから
最適化までを考慮して統計理論に結びつける研究が近年進んでいる
2020/12/11(金) 20:20:07.66ID:5sai34i/0
最適化関連の過去の研究結果が何一つ活用できない?
数学的にある値、例えば誤差がある範囲に入る確率とか、の上限が示されていたりする事は活用できるだろう
2020/12/11(金) 20:21:49.67ID:5sai34i/0
他の機械学習に勾配降下と同等の操作をしていないと言うのは何故そう思う?
849デフォルトの名無しさん (アウアウエー Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/11(金) 20:32:43.52ID:BgeuQOWca
していないなんて言ってないよ。考慮されていないと言っただけ
従来はそれで多いな問題はなかったが、深層学習ではパラメーター空間が広大になり最適化法それ自体の制約としての側面が目立つようになった
850デフォルトの名無しさん (アウアウエー Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/11(金) 20:36:27.83ID:BgeuQOWca
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2020/intensive2/KyusyuStatZemi2020.pdf
最近の深層学習理論が纏められている
読むと良い
851デフォルトの名無しさん (アウアウエー Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/11(金) 20:40:10.09ID:BgeuQOWca
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2020/intensive2/Kyusyu_2020_Deep.pdf
852デフォルトの名無しさん (ブーイモ MM3d-SCev [202.214.231.57])
垢版 |
2020/12/11(金) 20:46:05.84ID:OnRhFRT3M
> お前は毎朝起きるたびに俺に負けたことを思い出すよ^^

あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な ことはよーくわかったよ。 ホントなにもできない朝鮮ゴキブリBot君!

クソチョンw

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw
853デフォルトの名無しさん (スップ Sd33-EgOZ [49.97.106.249])
垢版 |
2020/12/12(土) 10:33:01.32ID:4+CF+8cud
>>850
とてもためになりました。ありがとう。
2020/12/12(土) 13:35:25.09ID:9H+yvdp50
偉い人(゚∀゚ 三 ゚∀゚)来てた
この資料いい
855デフォルトの名無しさん (ワッチョイ 0b10-LBAI [153.131.102.129])
垢版 |
2020/12/12(土) 13:53:24.93ID:D9gFLJkJ0
850, 851のpdfを読むと
層の横幅Mが広い(素子数が多い)と大域的最適解を得られるっぽいけど
どのくらいの素子数なのか実現可能な数なのかはよくわからなかったな
その素子数を計算で求めることができるのかも

P20に初期化は1/Mって書いてあるけど、横幅Mを計算するλminが何か書いてないような
wの初期化するN(0,I)のIも何か判らない
NTKで調べたら出てくるのか?

逆温度βもどんな値になるのか、変化するのかも判らないな

非凸性→深層学習
その他→他の機械学習(ランダムフォレストとか)
が適しているって感じ?
856デフォルトの名無しさん (ワッチョイ 13ad-MyGI [125.13.183.98])
垢版 |
2020/12/12(土) 13:53:44.49ID:qFkF8Df00
勾配降下法の意味は理解できましたが、使う意味がよく分からないです。
初めから勾配ベクトルが零ベクトルになるように偏微分の連立方程式解いて
その解を損失関数に代入したものの中から最小のものを選べば済むんじゃないですか?
そうすれば局所最適解に陥ることも避けられますし
2020/12/12(土) 14:05:36.18ID:9H+yvdp50
わかんない😭💦💦
858デフォルトの名無しさん (オッペケ Sra5-6xLJ [126.194.64.89])
垢版 |
2020/12/12(土) 14:07:28.60ID:lSvR9P/Gr
>>856
数千万次元の非線形連立方程式が解けるのならね
2020/12/12(土) 14:23:15.47ID:FBvDYARoM
高校生なのかな。。
860デフォルトの名無しさん (ワッチョイ 51ad-8thv [42.148.220.186])
垢版 |
2020/12/12(土) 15:03:16.60ID:uoFruwVO0
損失関数の導関数が4次方程式までなら頑張れば解析的に解ける希ガスとか言ってるテスト
861デフォルトの名無しさん (ワッチョイ 13ad-MyGI [125.13.183.98])
垢版 |
2020/12/12(土) 15:52:55.84ID:qFkF8Df00
次元(変数の数?)が膨大な上に、偏微分で得られた導関数が5次以上になると
代数的に解くことができなくなるからってことなんですね
勉強になりました、ありがとうございます
2020/12/12(土) 16:15:01.19ID:cW0yBRdh0
意味がねーw
2020/12/12(土) 16:29:51.26ID:Qgp/l0qJ0
>>861
計算量の問題もあるが、それだけじゃないんだぜ
学習データだけで最適解を求めてしまうと過学習に陥りやすくなる
いろいろ制約つけて、学習を途中で止めた方が汎化性能が高くなる
アーリーストップとかで調べてみるといいよ
2020/12/12(土) 17:27:15.16ID:9H+yvdp50
解析的に求められないってことを知った上での発言かと思ってた
2020/12/12(土) 19:10:37.14ID:cvY7SZ8Va
極端な話n次元ならn次方程式を用意すれば
サンプルを完全にトレースできる
でもそれだと過学習
一つ別のデータに出会ったとたん破綻する
2020/12/12(土) 19:25:51.39ID:D9gFLJkJ0
非線形だから簡単じゃないんだろう
わざわざより高次元空間に写して線形判別しないと上手くいかない
2020/12/12(土) 19:30:18.23ID:D9gFLJkJ0
>>865
それは違う気がするな
重みやパラメータをデータから決めただけで
モデルの出力が学習に使用したデータから少しずれたら判別でしなくなるのとは違う

例えば2値判別する時に2点のデータからその中間で判別する境界線を学習したら
データの2点から少しズレても正しく判別できる
2020/12/13(日) 15:04:12.55ID:QUI91bME0
>>864
多分「解析的に求められない」の意味もわかってないと思われる。
2020/12/13(日) 17:00:04.31ID:tqYTVUHS0
>>867
同じグループに判別されるデータが飛び飛びではなくて連続しているという前提が成り立つ空間ではそうなるけど
少しズレたら別のグループに判別される様な空間では複雑な境界線になるだろうな
2020/12/13(日) 17:57:39.41ID:25RZkjwia
>>869
それを解消するために座標変換するんじゃないのか?
2020/12/13(日) 18:03:07.74ID:DA9wJKZga
その通り
飛び飛びかどうかなど自分で勝手に決めた空間での話に過ぎない
2020/12/13(日) 19:15:07.22ID:tqYTVUHS0
>>870
それは判っているけど
具体的にどんな変換をしたら良いかはどうやって見つける?
2020/12/13(日) 21:11:16.73ID:25RZkjwia
>>872
片っ端から試してみる
2020/12/13(日) 21:42:26.60ID:tqYTVUHS0
試したものより良いものがあるかもしれない
試したものが良くないものばかりの場合は幾ら試しても大して改善しない
2020/12/13(日) 21:52:06.68ID:PRaoFZ6s0
2020/12/14(月) 00:23:44.30ID:ZA1fGlD1a
>>874
そもそも真の分布などが分からないものを扱うために分析者の判断で何らかの近似をするのが機械学習を含む統計的分析なので「その方法よりいい方法があるかもしれない」は常に発生する問題
2020/12/14(月) 00:50:35.50ID:Uxl3N8rs0
>>876
必要な次元とか空間の特徴とか計算料を少なくする条件とか
判る事がゼロなのかどうかで違ってくるだろう
2020/12/14(月) 11:04:36.51ID:oqEGCmVFM
アルゴリズムにも人権を与えて
自動運転でミスったりしたら
減点すればいい

運転免許もアルゴリズムに与えて
失敗したアルゴリズムには免許与えない

アルゴリズムが得た給料を
損害時の補償に使う

人を殺したらそのアルゴリズムを死刑つまり廃止する
879デフォルトの名無しさん (アウアウエー Sae3-6xLJ [111.239.184.222])
垢版 |
2020/12/14(月) 11:59:16.54ID:hG9yFSana
そして機械学習は禁止され、技術の発展は止まりましたとさ
880デフォルトの名無しさん (アウアウエー Sae3-6xLJ [111.239.184.222])
垢版 |
2020/12/14(月) 12:02:43.92ID:hG9yFSana
問題が発生したとき思考停止で禁止にして表面的に解決した事にするのはよくないよ
2020/12/14(月) 12:05:47.51ID:UL+KPlxuM
タチコマみたいにクローン沢山作って同期させて、問題が起きたらその手前まで巻き戻せばいいんじゃね。知らんけど
2020/12/14(月) 14:16:48.97ID:mBCs7faG0
ぼーくらはみんなーいーきているー♪
2020/12/14(月) 14:45:36.70ID:oqEGCmVFM
富士通が次元の呪いを解決していたとは知らなかった(笑)
2020/12/14(月) 15:59:36.18ID:eKlmCy2P0
メビウスの帯
2020/12/14(月) 19:55:52.98ID:x73SwTqZ0
>>878
人と違ってアルゴリズムが厳密に同じか違うかは判定できなないだろ
2020/12/14(月) 20:26:26.89ID:Uxl3N8rs0
会社がそのアルゴリズムを採用する
会社は損失を負うリスクを回避するようになる
つまり良くないアルゴリズムは淘汰されていく
2020/12/14(月) 20:27:33.96ID:RKD6T7Qa0
初期値で大分変わるじゃん
2020/12/14(月) 20:41:14.50ID:x73SwTqZ0
企業はそのリスクを背負う気はないようだが?
2020/12/14(月) 21:07:07.90ID:RKD6T7Qa0
さあね
わからないだろ
890デフォルトの名無しさん (JP 0Hf5-Rfte [172.94.56.42])
垢版 |
2020/12/14(月) 23:00:30.31ID:zMVEQPEWH
これどう思う?

https://twitter.com/AnimaAnandkumar/status/1338282250614411264

AI研究者はひどい。
https://twitter.com/5chan_nel (5ch newer account)
2020/12/14(月) 23:29:54.38ID:RKD6T7Qa0
最近解雇されたGoogle の AI 研究者はヒドイjsw

黒人で女だから差別されたって言えば最強、誰も何も言えなくなるのを利用した卑怯者

正義面して、ポリコレがいきすぎてる
2020/12/15(火) 06:12:32.08ID:Tkipkp+V0
奇怪学習
2020/12/15(火) 11:20:26.15ID:+XiYuWE0M
仲間内の揉め事って感じだよね。他の失業者も沢山いるんやが
2020/12/15(火) 19:44:22.58ID:DgOkpJ7c0
>>891
ハイハイ、逆張り俺すげー言いたいのはよくわかったよ。
こういう馬鹿がトランプ支持してんだろうね。
2020/12/15(火) 20:43:52.56ID:+7r3AYVf0
逆張りってどういうこと
2020/12/15(火) 21:00:46.70ID:cZJnynS70
敵対的生成ネットワークを実世界で
展開する俺すげー

かな?
897デフォルトの名無しさん (アウアウエー Sae3-6xLJ [111.239.184.222])
垢版 |
2020/12/15(火) 22:32:21.93ID:EFJMX327a
敵対するだけして何も生成せん
2020/12/15(火) 22:54:29.21ID:DgOkpJ7c0
いや普通に差別されて訴えてるだけだろ。それを裏がある(ドヤ)とかやってるから馬鹿だと言ってる。
2020/12/16(水) 00:18:34.82ID:5+uASLd0a
ttps://ic4-a.wowma.net/mis/gr/114/image.wowma.jp/43123942/others/strapless-panty.jpg
2020/12/16(水) 15:42:13.61ID:Y9gDOksI0
>>898
残念な人だなぁ
2020/12/16(水) 19:13:38.18ID:3ThseEil0
ネットで話題になるっていうことは
そういうことだろう

糞みたいな動画をいろんなSNSに貼りつけ
煽ったり叩いたり擁護する奴が現れ書き込みが増えて行き
同時期にスタートした同じテーマの質の良い動画をうpしている
youtuberより3桁、4桁上の視聴数を稼ぐことになっていた

人気の動画っていうのも
そういうことだろう

炎上してネットで話題になった案件でも
そこで何回も投稿している奴は数人しかいない
2020/12/17(木) 00:42:55.37ID:X4tT/GwL0
>>900
普通にピチャイが謝罪してるんだが。。やっぱトランプ脳やな。。
https://thebridge.jp/2020/12/timnit-gebru-googles-dehumanizing-memo-paints-me-as-an-angry-black-woman-the-first-part
903デフォルトの名無しさん (アウアウウー Sa45-RwoH [106.128.105.161])
垢版 |
2020/12/17(木) 18:33:27.73ID:t0+hLX1Aa
画像認識でロス0まで学習を行っても教師画像を数枚誤認識するんですけどなんでですか?
2020/12/17(木) 19:03:27.64ID:JXtU/ezP0
ロスを計算するときに前データを使っていないから?
2020/12/17(木) 19:04:04.34ID:JXtU/ezP0
前データ→全データに訂正
2020/12/21(月) 11:57:35.55ID:ti5XkJR+M
「AI」に納税の義務はあるのか? 「汎用人工知能」(AGI)が議論に一石
https://techtarget.itmedia.co.jp/tt/spv/2012/19/news01.html
2020/12/21(月) 21:38:36.11ID:+SAQjiFw0
Appleも自分の所で車作ってるんだな
ウォルマートが2021年から完全無人の自動運転トラック配送をスタートするし
日本の自動車業界と配送業者の終焉も近そうだけど
2020/12/21(月) 21:52:09.49ID:mi7JHDt40
全ての国道を自動運転対応にする公共事業をやればいい
2020/12/21(月) 22:38:50.40ID:+SAQjiFw0
2021年9月にApple Carを発売する見込み、、、らしい

倒産寸前から時価総額1兆ドルになったアップルがここまで成長した理由に
ジョブズの改革を上げてたけど
損益計算書を持つ独立した事業単位を持つことを廃止したとか
マネジメントしかできない管理職を解雇し、企業が作る製品の「専門家」が管理職に投入されることになったとか
日本の技術系企業の創業者とか発明、開発した人が社長になる時代の方式に近そうだけど
組織がある程度の規模になった時にやってくる
「僕ちゃんが数値を良くしてあげますよ」的な怪しい奴等は
その場凌ぎの増強剤で逃げ切るばかりで
糞の役にも立たないってことをジョブズは見抜いていたな
上も下も中間も片っ端から首をはねたらしいからな

時計もパソコンもスマホも車もAppleの時代になるんだな
910デフォルトの名無しさん (ワッチョイ 0255-FZ4g [59.147.205.222])
垢版 |
2020/12/21(月) 22:53:13.36ID:bkHld8Ff0
Windowsパソコンのほうがシェアは高いのに,コンピュータサイエンティストとかが講義で使っているパソコンがほぼ必ずと言っていいほど,Appleのパソコンなのはなぜでしょうか?
2020/12/21(月) 23:05:38.48ID:McahQZSYM
>>910
画面が綺麗なのと、ターミナルでシェルが使えるからじゃね。知らんけど
レス数が900を超えています。1000を超えると表示できなくなるよ。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況