【統計分析】機械学習・データマイニング29
レス数が900を超えています。1000を超えると表示できなくなるよ。
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１行ずつ減るので、減ってたら３回に増やしてたてること。
機械学習とデータマイニングについて語れ若人
＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです。
■前スレ
【統計分析】機械学習・データマイニング28
https://mevius.5ch.net/test/read.cgi/tech/1588293154/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured >>811
具体例を出せなくて申し訳ないが、誤差を補正して過学習を防ぐ正則化手法には
いろんな研究分野があるらしい
いま過学習に悩まされてて調べてみようかなと思ってたところ >>812
どういうことでしょうか？
>>813-815
ありがとうございました．
岡谷貴之著『深層学習』を読んでいるのですが，確率的勾配降下法についての素朴な質問です．
Nは全訓練サンプルの数です．
E(w) = Σ_{n=1}^{N} E_n(w)
確率的勾配降下法では，極端な場合，サンプル1つだけを使ってパラメータの更新を行うと書いてあります．
たとえば，n=1のサンプルを使って，wを更新したとします．
このとき，E_1(w)の値は，（学習係数の値が十分小さければ，）少し小さくなりますが，他のnについてのE_n(w)の値は逆に増えてしまい，
トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？
岡谷の本にはそのことについて全く触れていません． バッチ学習をした後で，テストデータに対して，誤差関数の値が本当に小さくなるのかというのと似たような問題かもしれませんね． >>816
> トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？
普通にあるよ
増えたり減ったりしながら徐々に正解に近づいていくイメージ
振動するおかげで極小解から脱出できるチャンスが増える >>819
確率的勾配降下法によって，極小値を与えるwにかならず近づいていくということは証明できるのでしょうか？
勾配降下法では，学習係数が十分小さければ，単調に誤差が減少していき，最終的に，極小値を与えるwに近づいていくことは自明ですが． >>814
最終的な性能は正解率とか指標があるでしょう >>811
教師信号、正解と出力の差、距離の計算方法を変えたら評価関数、誤差関数は違うものになるだろう
ただそれで学習時間や性能にどんな影響があるかは自分は判らない >>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない
ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習 >>816
自分で実験してみるのが１つの方法
初期化後に全データで評価値を計算して
簡単なNNを作ってデータ１つで重みを更新してから
全データで評価値を再計算する
多分増える事もあると思うけどデータを変えて重みを更新していく事で徐々に出力と正解の誤差が小さくなっていくと思う
同じ出力をする入力は同じニューロンが発火して
別の出力をする入力はそれと違うニューロンが発火するよつな感じに学習が進んでいくのかな >>820
勾配降下法は深層学習に限らず研究されているんじゃないかと思う
そっち方面で局所的最適値を得られる条件とか判ってるかもしれない
凸関数とかそんなのが条件になっていたりするかも 思い出した
鞍点とかあるとそこで止まるとかあったような 意味があるかは解釈によっても変わる
道具が同じでも上手く使える人とそうではない人がいる
既存の技術を上手く使って問題解決できた人もいるからな みなさん，ありがとうございました．
いろいろな日本語のディープラーニングの本を見てみましたが，確率的勾配降下法がなぜうまくいのかについての説明は全くありませんでした． まるで，うまくいくのが自明であるかのような扱いです．
確率的勾配降下法に限らず，この分野は常にこのような感じですよね． 1355-orE1は馬鹿アスペなのでスルーよろしく わかんないことがあれば自分で調べればいいのにね(笑) >>830
この辺の理論が解明され始めたのは去年頃からだから、まだ本にはなってないよ
知りたければ論文読むかslideshareを探すといい 馬鹿と決めつけるより具体的に反論した方が生産的な気もする 深層学習じゃない機械学習では誤差が小さくなる事とか条件とか証明されていると思うけどな
深層学習もそれからの類推か包含しているかじゃないか？ >>831
発表されていないけど考えられる限りの
それ以外の方法を
多数の人が試していて
性能が出ないので発表されていないだけ
技術の分野ではよくあるんだよな
それを知らないと時間を大きく損する 荒らしってほどでもないような…
判らないのであれば、判らないと答えればいい。
それか参考になりそうな論文を紹介するとかね。 それから馬鹿アスぺはアルゴリズムの本を読んでいてプログラムの才能はないとぷ板の住人にで言われてる >>837
深層学習を従来の理論に当てはめると過学習しまくって使い物にならんはず
だが実際学習できて性能も良い
この差は既存の理論では最適化(勾配降下法)のダイナミクスが考慮されていないから
最適化までを考慮して統計理論に結びつける研究が近年進んでいる 最適化関連の過去の研究結果が何一つ活用できない？
数学的にある値、例えば誤差がある範囲に入る確率とか、の上限が示されていたりする事は活用できるだろう 他の機械学習に勾配降下と同等の操作をしていないと言うのは何故そう思う？ していないなんて言ってないよ。考慮されていないと言っただけ
従来はそれで多いな問題はなかったが、深層学習ではパラメーター空間が広大になり最適化法それ自体の制約としての側面が目立つようになった ＞ お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な ことはよーくわかったよ。 ホントなにもできない朝鮮ゴキブリBot君！
クソチョンｗ
Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw
日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw 850, 851のpdfを読むと
層の横幅Mが広い（素子数が多い）と大域的最適解を得られるっぽいけど
どのくらいの素子数なのか実現可能な数なのかはよくわからなかったな
その素子数を計算で求めることができるのかも
P20に初期化は1/Mって書いてあるけど、横幅Mを計算するλminが何か書いてないような
wの初期化するN(0,I)のIも何か判らない
NTKで調べたら出てくるのか？
逆温度βもどんな値になるのか、変化するのかも判らないな
非凸性→深層学習
その他→他の機械学習（ランダムフォレストとか）
が適しているって感じ？ 勾配降下法の意味は理解できましたが、使う意味がよく分からないです。
初めから勾配ベクトルが零ベクトルになるように偏微分の連立方程式解いて
その解を損失関数に代入したものの中から最小のものを選べば済むんじゃないですか？
そうすれば局所最適解に陥ることも避けられますし >>856
数千万次元の非線形連立方程式が解けるのならね 損失関数の導関数が4次方程式までなら頑張れば解析的に解ける希ガスとか言ってるテスト 次元（変数の数？）が膨大な上に、偏微分で得られた導関数が5次以上になると
代数的に解くことができなくなるからってことなんですね
勉強になりました、ありがとうございます >>861
計算量の問題もあるが、それだけじゃないんだぜ
学習データだけで最適解を求めてしまうと過学習に陥りやすくなる
いろいろ制約つけて、学習を途中で止めた方が汎化性能が高くなる
アーリーストップとかで調べてみるといいよ 解析的に求められないってことを知った上での発言かと思ってた 極端な話n次元ならn次方程式を用意すれば
サンプルを完全にトレースできる
でもそれだと過学習
一つ別のデータに出会ったとたん破綻する 非線形だから簡単じゃないんだろう
わざわざより高次元空間に写して線形判別しないと上手くいかない >>865
それは違う気がするな
重みやパラメータをデータから決めただけで
モデルの出力が学習に使用したデータから少しずれたら判別でしなくなるのとは違う
例えば2値判別する時に2点のデータからその中間で判別する境界線を学習したら
データの2点から少しズレても正しく判別できる >>864
多分「解析的に求められない」の意味もわかってないと思われる。 >>867
同じグループに判別されるデータが飛び飛びではなくて連続しているという前提が成り立つ空間ではそうなるけど
少しズレたら別のグループに判別される様な空間では複雑な境界線になるだろうな >>869
それを解消するために座標変換するんじゃないのか? その通り
飛び飛びかどうかなど自分で勝手に決めた空間での話に過ぎない >>870
それは判っているけど
具体的にどんな変換をしたら良いかはどうやって見つける？ 試したものより良いものがあるかもしれない
試したものが良くないものばかりの場合は幾ら試しても大して改善しない >>874
そもそも真の分布などが分からないものを扱うために分析者の判断で何らかの近似をするのが機械学習を含む統計的分析なので「その方法よりいい方法があるかもしれない」は常に発生する問題 >>876
必要な次元とか空間の特徴とか計算料を少なくする条件とか
判る事がゼロなのかどうかで違ってくるだろう アルゴリズムにも人権を与えて
自動運転でミスったりしたら
減点すればいい
運転免許もアルゴリズムに与えて
失敗したアルゴリズムには免許与えない
アルゴリズムが得た給料を
損害時の補償に使う
人を殺したらそのアルゴリズムを死刑つまり廃止する そして機械学習は禁止され、技術の発展は止まりましたとさ 問題が発生したとき思考停止で禁止にして表面的に解決した事にするのはよくないよ タチコマみたいにクローン沢山作って同期させて、問題が起きたらその手前まで巻き戻せばいいんじゃね。知らんけど 富士通が次元の呪いを解決していたとは知らなかった(笑) >>878
人と違ってアルゴリズムが厳密に同じか違うかは判定できなないだろ 会社がそのアルゴリズムを採用する
会社は損失を負うリスクを回避するようになる
つまり良くないアルゴリズムは淘汰されていく 最近解雇されたGoogle の AI 研究者はヒドイjsw
黒人で女だから差別されたって言えば最強、誰も何も言えなくなるのを利用した卑怯者
正義面して、ポリコレがいきすぎてる 仲間内の揉め事って感じだよね。他の失業者も沢山いるんやが >>891
ハイハイ、逆張り俺すげー言いたいのはよくわかったよ。
こういう馬鹿がトランプ支持してんだろうね。 敵対的生成ネットワークを実世界で
展開する俺すげー
かな？ いや普通に差別されて訴えてるだけだろ。それを裏がある（ドヤ）とかやってるから馬鹿だと言ってる。 ttps://ic4-a.wowma.net/mis/gr/114/image.wowma.jp/43123942/others/strapless-panty.jpg ネットで話題になるっていうことは
そういうことだろう
糞みたいな動画をいろんなSNSに貼りつけ
煽ったり叩いたり擁護する奴が現れ書き込みが増えて行き
同時期にスタートした同じテーマの質の良い動画をうｐしている
youtuberより3桁、4桁上の視聴数を稼ぐことになっていた
人気の動画っていうのも
そういうことだろう
炎上してネットで話題になった案件でも
そこで何回も投稿している奴は数人しかいない 画像認識でロス0まで学習を行っても教師画像を数枚誤認識するんですけどなんでですか？ Appleも自分の所で車作ってるんだな
ウォルマートが2021年から完全無人の自動運転トラック配送をスタートするし
日本の自動車業界と配送業者の終焉も近そうだけど 全ての国道を自動運転対応にする公共事業をやればいい 2021年9月にApple Carを発売する見込み、、、らしい
倒産寸前から時価総額1兆ドルになったアップルがここまで成長した理由に
ジョブズの改革を上げてたけど
損益計算書を持つ独立した事業単位を持つことを廃止したとか
マネジメントしかできない管理職を解雇し、企業が作る製品の「専門家」が管理職に投入されることになったとか
日本の技術系企業の創業者とか発明、開発した人が社長になる時代の方式に近そうだけど
組織がある程度の規模になった時にやってくる
「僕ちゃんが数値を良くしてあげますよ」的な怪しい奴等は
その場凌ぎの増強剤で逃げ切るばかりで
糞の役にも立たないってことをジョブズは見抜いていたな
上も下も中間も片っ端から首をはねたらしいからな
時計もパソコンもスマホも車もAppleの時代になるんだな Windowsパソコンのほうがシェアは高いのに，コンピュータサイエンティストとかが講義で使っているパソコンがほぼ必ずと言っていいほど，Appleのパソコンなのはなぜでしょうか？ >>910
画面が綺麗なのと、ターミナルでシェルが使えるからじゃね。知らんけど Mac を使っている香具師は、情弱w
Linux を知らないから、BSD のMacを使う
プロは、Windows 10 Home 版でさえ、WSL2 で、Ubuntu 18.04 などの、Linuxを使う。
Windows10 Home用のDocker も入れる。
それには、Kubernetes も入っている
Linux, Docker, AWS が基幹技術。
それと、シェルスクリプト・Ruby が出来れば、環境構築できる
Docker Compose ? はあ？
もう、Kubernetesが入っているけどw
こういう話についていけない香具師が、Macを買うw
結局、いつまで経っても、Linux API を学ばないから、単なるプログラマーにしかならない CUDAを使えるGPUが入っているPCはWindowsかLinuxだよなあ
MacだとAMDだけだから深層学習に限ればやりにくい レス数が900を超えています。1000を超えると表示できなくなるよ。
