【統計分析】機械学習・データマイニング29

■ このスレッドは過去ログ倉庫に格納されています
2020/08/20(木) 09:16:43.41ID:Av1Lrhjm0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１行ずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング28
https://mevius.5ch.net/test/read.cgi/tech/1588293154/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2020/12/06(日) 21:55:08.75ID:+8xXEz990
＞推定量がyに関して2次以下ならこの仮定だけで計算できませんか？

意味不明

＞nがサンプル数でβ∈Rを想定していますが、特に変更なくm変数でも議論できる気がしています。

これも意味不明だが、回帰分析において推定したいパラメータの次元は
２でも一般のmでも（サンプルサイズを下回っている限りは）特に議論は変わらない


というか、こんなの学部生レベルのお話なんだからこんなところで聞かなくても
ググれば計算過程込みでいくらでも出てくるだろ…
答えだけ書けば（仮定にもよるが標準的な仮定の下では）
\hat{α}, \hat{β}は不偏推定量になる
770デフォルトの名無しさん (ｵｯﾍﾟｹ Sr27-l649 [126.194.204.198])
垢版 |
2020/12/06(日) 21:58:03.70ID:goV+sQHPr
>>768
R^n上の確率分布pで、
平均μ=E_p[x]=(βかけるx_1,...,βかけるx_n)で、
分散共分散行列がn×n行列で対角線上にσ^2が並んだものを想定しています。
例えば正規分布などはこれに当てはまると思います。
771デフォルトの名無しさん (ﾜｯﾁｮｲ 7f55-jrSk [59.147.205.222])
垢版 |
2020/12/06(日) 22:01:55.24ID:u9kukm0H0
岡谷貴之の本のバックプロパゲーションの説明が一番わかり易いようです．
2020/12/06(日) 22:04:28.76ID:IFrNRKVs0
n次元ベクトルでデータ数はn？
データ足りないような
最小二乗法ならn次元ベクトルは確率変数じゃなくても良いんじゃないの？
回帰式がn個あるのと実質同じじゃないのかな？
773デフォルトの名無しさん (ｵｯﾍﾟｹ Sr27-l649 [126.194.204.198])
垢版 |
2020/12/06(日) 22:10:30.75ID:goV+sQHPr
>>772
推定しようとしている傾きβはスカラーですよ？
2020/12/06(日) 22:18:21.61ID:qwI8u5MK0
>>770
何の平均が？
主語が足りない
2020/12/06(日) 22:23:26.26ID:jgMLA0Dn0
俺俺
776デフォルトの名無しさん (ｵｯﾍﾟｹ Sr27-l649 [126.194.204.198])
垢版 |
2020/12/06(日) 22:28:19.17ID:goV+sQHPr
>>774
確率分布pの平均です。
μ=E_p[x]でちゃんと明示したつもりでした。
2020/12/06(日) 22:31:39.99ID:qwI8u5MK0
その確率分布pに従うのはなに？それを聞いてるんだが
2020/12/06(日) 22:32:43.51ID:E6YSEnmp0
例えば、株価予測にCNNを使う場合、畳み込みのカーネルはどんなの用意すればええんや？
2020/12/06(日) 22:32:59.63ID:qwI8u5MK0
ん？μ=E_p[x]ってことは説明変数の期待値がμだって言いたいの？
780デフォルトの名無しさん (ｵｯﾍﾟｹ Sr27-l649 [126.194.204.198])
垢版 |
2020/12/06(日) 22:34:23.05ID:goV+sQHPr
>>777
(Y_1, ... , Y_n) ~ pです。
781デフォルトの名無しさん (ｵｯﾍﾟｹ Sr27-l649 [126.194.204.198])
垢版 |
2020/12/06(日) 22:36:01.56ID:goV+sQHPr
>>779
あ、ごめんなさい。
E_p[y]ですね。ここでy=(y_1,...,y_n)∈R^nです。
2020/12/06(日) 22:41:05.48ID:qwI8u5MK0
yの平均値ならαを足さないとだめでしょ
それとも定数項なしのモデルでも考えたいの？
783デフォルトの名無しさん (ｵｯﾍﾟｹ Sr27-l649 [126.194.204.198])
垢版 |
2020/12/06(日) 22:43:41.40ID:goV+sQHPr
>>782
簡単のために定数項なしのモデルで考えています。
761で言及したのでずっとそのつもりでした。
2020/12/06(日) 23:02:45.31ID:8X+3nqvD0
>>778
転移学習したいってこと？
別にカーネルも自分で学習させればいいと思うけど
785デフォルトの名無しさん (ﾜｯﾁｮｲ 7f55-jrSk [59.147.205.222])
垢版 |
2020/12/07(月) 12:44:07.26ID:n2wcT9Ah0
みなさん，ありがとうございました．

岡谷の本を見ていますが，やはり，バックプロパゲーションは偏導関数のある点での値をより速く求める方法にすぎないということのようですね．
そしてその偏導関数の値を勾配降下法で利用するということですね．

ディープラーニングというのは結局の所，あるタイプの最小化したい誤差関数を一つ定め，それを勾配降下法でできる限り小さくする手法ということのようですね．

最適化の一分野ということですね．
786デフォルトの名無しさん (ﾜｯﾁｮｲ 7f55-jrSk [59.147.205.222])
垢版 |
2020/12/07(月) 12:48:00.49ID:n2wcT9Ah0
パラメーターで変化する誤差関数のテストデータに対する値をパラメーターを変化させて，できる限り小さくするというだけのことのようですね．

夢も何もないただの最適化法の一分野ですね．
2020/12/07(月) 12:58:43.69ID:IRFWetkha
昔はそれが出来なかったんやで
2020/12/07(月) 13:21:17.07ID:hKQAJJ360
当たり前の事をw

最近はバックグラウンドまで教えないのかな
2020/12/07(月) 13:47:12.12ID:IRFWetkha
夢でもなんでもないことを組み合わせたら精度が人間並になる場合があり、こいつらの得意分野は任せちゃっていいかもな。って感じだっしょ
790デフォルトの名無しさん (ﾜｯﾁｮｲ 7f55-jrSk [59.147.205.222])
垢版 |
2020/12/07(月) 13:49:29.21ID:n2wcT9Ah0
https://www.youtube.com/playlist?list=PLUl4u3cNGP63oMNUHXqIUcrkS2PivhN3k

Strang教授のこのビデオ講義シリーズを見た人はいませんか？
なんか非常に簡単なことでつっかえて，結局何も示せずに，簡単だから自分でやってくださいとかいう場面が多すぎます．
2020/12/07(月) 13:53:25.11ID:BAhcRg/D0
ID:n2wcT9Ah0は馬鹿アスペという荒らしなのでスルーしてね
2020/12/07(月) 19:29:51.63ID:HAgX6+pQ0
最適化も局所最適解でしかないかもしれない
大極的な最適解かどうかは組合せ爆発して解けない事が多い
2020/12/08(火) 20:56:04.92ID:4EYeOh4b0
技術的にフルバッチで最適化できてたら汎化性能が出なかったわけで、deep learningが最適化というと
なんか違う気はする。
2020/12/08(火) 22:45:24.29ID:WiM29EDw0
それってノーフリーランチ定理と関係ある？
2020/12/09(水) 15:22:39.17ID:4uClczgm0
ノーブリーフは気持ちがいい
2020/12/09(水) 17:41:00.51ID:kJMhAlw60
「Waymo」の自動運転車に60回以上乗って分かったその安全性とは？
https://gigazine.net/news/20201208-waymo-driverless-tech/

「Waymo」の完全自動運転は評価いいみたいだぞ
2020/12/09(水) 19:08:22.67ID:+JEohQBS0
>>793
評価関数を最適化するって事で
学習データに対して最適化すると
過学習して汎化性能が悪い事になる

学習データと運用データの差があるのが問題の１つ
実運用データを完全網羅して学習したら過学習にはならないんじゃないかと思う
2020/12/09(水) 19:12:58.69ID:O9/kA4vd0
>>796
慎重すぎるって批判されてるやん
2020/12/09(水) 19:19:54.28ID:kJMhAlw60
Ars Technicaはこの点について、「歩行者がいる場面では、Waymoは慎重すぎます。人間のドライバーであれば、
間違いなくもっと速く動けるでしょう。しかし、このことでWaymoを責めるのは困難です。人をはねる危険を冒すくらいなら、
多少待たされた方がはるかにマシですから」とコメントしました。

不満はあれど批判できないってところだろうな
2020/12/09(水) 20:15:28.61ID:EU/X14pa0
パナソニックがこんなのを始めるらしいが、人込みでは遠隔手動操作なんだな。。。
https://news.yahoo.co.jp/articles/e8eb753857c1b796b95d9f5346b9af0a9873f921
2020/12/09(水) 21:13:02.28ID:O9/kA4vd0
まあこういう実証実験を積み重ねていけばいつかはものになるだろ
2020/12/09(水) 21:47:02.66ID:4uClczgm0
どこでもやってる
2020/12/09(水) 23:05:26.02ID:kJMhAlw60
日本は装置内のハードやソフトだけで成り立たせて製品単体として売るぐらいだろう
「危ないところは人が見てくださいね」っていう仕様で
IT云々と絡めたり、別のサービスと絡むようなことはないだろう
日本が出来るのは
製品単体をマニアック仕様にして高く売りつけることぐらいで

車内のカメラも踏まえ、、、いろんなデータをいち早く収集し
売上に繋げて行くんだろうな
804デフォルトの名無しさん (ﾜｯﾁｮｲ 5952-ojTD [118.243.75.50])
垢版 |
2020/12/10(木) 11:21:32.39ID:+ZlzWDd90
Transformer-based Double-token Bidirectional Autoregressive Decodingin Neural Machine Translation
https://www.aclweb.org/anthology/2020.wat-1.3.pdf

精度を上げるつもりでL2RとR2Lを組み込んだんだろうけど
精度を下げてて草

しょうもなくて「速度が〜」に方針転換しててさらに草
805デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/10(木) 16:34:54.00ID:7nBpTtaz0
茨木俊秀著『AI時代の離散数学』に以下の記述があります．

「ディープラーニングがいろいろな分野で成功を収めているのは，多層NNは，複雑でありながら柔軟な構造をもっているので，全体的な最適解でなくても，
品質の高い局所最適解が多数存在するため，最急降下法によってそれらへ至る経路を見出しやすいからではないかと考えられる．」

確かにそうなのではないかと思わざるを得ないのですが，「品質の高い局所最適解が多数存在する」ことについての研究はあるのでしょうか？
806デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/10(木) 16:36:55.29ID:7nBpTtaz0
損失関数のグラフが一般にどういう形状をしているのかについての研究はないのでしょうか？
2020/12/10(木) 17:05:54.60ID:/Tdm9YCRa
一般にかあ。それは大変な研究になりそう
808デフォルトの名無しさん (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/10(木) 17:33:01.48ID:sa6E7lY5a
>>806
Visualizing the Loss Landscape of Neural Nets
https://arxiv.org/abs/1712.09913
2020/12/10(木) 19:01:42.77ID:+ZlzWDd90
問題やパラメータによって形状は変わるんじゃないの？
一般的な議論をするのって難しくない？
810デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/10(木) 19:07:23.07ID:7nBpTtaz0
>>808
ありがとうございます．

>>809
たとえば，f(x) = a*x^2 + b*x + cという関数のグラフは（a≠0であれば）パラメータによらず放物線です．
811デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/10(木) 19:11:38.70ID:7nBpTtaz0
ところで，ディープラーニングでは，ニューラルネットワークを使って，誤差関数を決めます．

誤差関数を全く別の考え方で決めてやるともっと性能の良い人工知能ができないかと考えて研究している人はいるのでしょうか？
2020/12/10(木) 19:17:10.67ID:/Tdm9YCRa
誤差関数ってネットワークそのもの?
2020/12/10(木) 19:19:51.95ID:+ZlzWDd90
>>811
調べてみたら？
いそうな気がする
2020/12/10(木) 19:34:03.65ID:qJWGxKCt0
目的関数が異なるモデル同士は性能を比較できないんじゃない？
目的関数の他に最適性の指標となる評価関数があるなら別だけど。
2020/12/10(木) 20:12:15.89ID:4I880zB/0
>>811
具体例を出せなくて申し訳ないが、誤差を補正して過学習を防ぐ正則化手法には
いろんな研究分野があるらしい

いま過学習に悩まされてて調べてみようかなと思ってたところ
816デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/10(木) 20:53:11.62ID:7nBpTtaz0
>>812
どういうことでしょうか？

>>813-815
ありがとうございました．


岡谷貴之著『深層学習』を読んでいるのですが，確率的勾配降下法についての素朴な質問です．

Nは全訓練サンプルの数です．
E(w) = Σ_{n=1}^{N} E_n(w)

確率的勾配降下法では，極端な場合，サンプル1つだけを使ってパラメータの更新を行うと書いてあります．
たとえば，n=1のサンプルを使って，wを更新したとします．
このとき，E_1(w)の値は，（学習係数の値が十分小さければ，）少し小さくなりますが，他のnについてのE_n(w)の値は逆に増えてしまい，
トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？

岡谷の本にはそのことについて全く触れていません．
2020/12/10(木) 20:54:09.43ID:Zy+JpGE80
Courseraを勉強して自慢していた馬鹿アスペ
2020/12/10(木) 21:00:00.66ID:7nBpTtaz0
バッチ学習をした後で，テストデータに対して，誤差関数の値が本当に小さくなるのかというのと似たような問題かもしれませんね．
2020/12/10(木) 21:12:09.60ID:4I880zB/0
>>816
> トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？

普通にあるよ
増えたり減ったりしながら徐々に正解に近づいていくイメージ
振動するおかげで極小解から脱出できるチャンスが増える
2020/12/10(木) 21:15:25.35ID:7nBpTtaz0
>>819
確率的勾配降下法によって，極小値を与えるwにかならず近づいていくということは証明できるのでしょうか？

勾配降下法では，学習係数が十分小さければ，単調に誤差が減少していき，最終的に，極小値を与えるwに近づいていくことは自明ですが．
2020/12/10(木) 21:27:23.48ID:3MNDS+Jy0
>>814
最終的な性能は正解率とか指標があるでしょう
2020/12/10(木) 21:30:19.62ID:3MNDS+Jy0
>>811
教師信号、正解と出力の差、距離の計算方法を変えたら評価関数、誤差関数は違うものになるだろう
ただそれで学習時間や性能にどんな影響があるかは自分は判らない
2020/12/10(木) 21:40:43.82ID:4I880zB/0
>>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない

ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習
2020/12/10(木) 21:40:45.06ID:3MNDS+Jy0
>>816
自分で実験してみるのが１つの方法
初期化後に全データで評価値を計算して
簡単なNNを作ってデータ１つで重みを更新してから
全データで評価値を再計算する

多分増える事もあると思うけどデータを変えて重みを更新していく事で徐々に出力と正解の誤差が小さくなっていくと思う

同じ出力をする入力は同じニューロンが発火して
別の出力をする入力はそれと違うニューロンが発火するよつな感じに学習が進んでいくのかな
2020/12/10(木) 21:45:21.96ID:3MNDS+Jy0
>>820
勾配降下法は深層学習に限らず研究されているんじゃないかと思う
そっち方面で局所的最適値を得られる条件とか判ってるかもしれない
凸関数とかそんなのが条件になっていたりするかも
2020/12/10(木) 22:51:59.08ID:3MNDS+Jy0
思い出した
鞍点とかあるとそこで止まるとかあったような
2020/12/10(木) 23:37:19.21ID:feZOjJB+0
正しいけれど全く意味のない話というやつだな。
2020/12/11(金) 09:59:56.91ID:YXM/kAxOp
意味があるかは解釈によっても変わる
道具が同じでも上手く使える人とそうではない人がいる
既存の技術を上手く使って問題解決できた人もいるからな
2020/12/11(金) 10:40:32.12ID:Fdk3ZWWm0
馬鹿アスペの相手してる5902-LBAIだろ
830デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/11(金) 11:31:24.82ID:SUhg1yPU0
みなさん，ありがとうございました．

いろいろな日本語のディープラーニングの本を見てみましたが，確率的勾配降下法がなぜうまくいのかについての説明は全くありませんでした．
831デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222])
垢版 |
2020/12/11(金) 11:34:06.26ID:SUhg1yPU0
まるで，うまくいくのが自明であるかのような扱いです．
確率的勾配降下法に限らず，この分野は常にこのような感じですよね．
2020/12/11(金) 12:05:23.95ID:Fdk3ZWWm0
1355-orE1は馬鹿アスペなのでスルーよろしく
2020/12/11(金) 12:12:51.28ID:vXWM25Of0
わかんないことがあれば自分で調べればいいのにね(笑)
2020/12/11(金) 12:31:18.86ID:Fdk3ZWWm0
馬鹿アスペは岡山県なんだ
835デフォルトの名無しさん (ｵｯﾍﾟｹ Sra5-6xLJ [126.208.198.69])
垢版 |
2020/12/11(金) 12:57:31.82ID:P9V8rC1yr
>>830
この辺の理論が解明され始めたのは去年頃からだから、まだ本にはなってないよ
知りたければ論文読むかslideshareを探すといい
2020/12/11(金) 13:21:05.48ID:Wsx93R0l0
馬鹿と決めつけるより具体的に反論した方が生産的な気もする
2020/12/11(金) 14:21:14.42ID:keBMi+cGa
深層学習じゃない機械学習では誤差が小さくなる事とか条件とか証明されていると思うけどな
深層学習もそれからの類推か包含しているかじゃないか？
2020/12/11(金) 14:24:14.84ID:76SqqmH2a
>>831
発表されていないけど考えられる限りの
それ以外の方法を
多数の人が試していて
性能が出ないので発表されていないだけ
技術の分野ではよくあるんだよな
それを知らないと時間を大きく損する
2020/12/11(金) 14:59:05.47ID:Fdk3ZWWm0
荒らしに反論するのが生産的ｗ、2ch素人かよ
2020/12/11(金) 15:07:06.98ID:XbH1RnBla
暇な数学者が冷やかしに来たようだ
2020/12/11(金) 15:58:16.06ID:Fdk3ZWWm0
数学者？何処にいるの？
2020/12/11(金) 16:05:14.18ID:XbH1RnBla
数学徒にしとく
2020/12/11(金) 16:18:38.39ID:Wsx93R0l0
荒らしってほどでもないような…
判らないのであれば、判らないと答えればいい。
それか参考になりそうな論文を紹介するとかね。
2020/12/11(金) 16:23:08.91ID:Fdk3ZWWm0
ぷ板にあげるよ、遊んであげてｗ
2020/12/11(金) 17:08:46.05ID:Fdk3ZWWm0
それから馬鹿アスぺはアルゴリズムの本を読んでいてプログラムの才能はないとぷ板の住人にで言われてる
846デフォルトの名無しさん (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/11(金) 20:04:32.76ID:BgeuQOWca
>>837
深層学習を従来の理論に当てはめると過学習しまくって使い物にならんはず
だが実際学習できて性能も良い
この差は既存の理論では最適化(勾配降下法)のダイナミクスが考慮されていないから
最適化までを考慮して統計理論に結びつける研究が近年進んでいる
2020/12/11(金) 20:20:07.66ID:5sai34i/0
最適化関連の過去の研究結果が何一つ活用できない？
数学的にある値、例えば誤差がある範囲に入る確率とか、の上限が示されていたりする事は活用できるだろう
2020/12/11(金) 20:21:49.67ID:5sai34i/0
他の機械学習に勾配降下と同等の操作をしていないと言うのは何故そう思う？
849デフォルトの名無しさん (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/11(金) 20:32:43.52ID:BgeuQOWca
していないなんて言ってないよ。考慮されていないと言っただけ
従来はそれで多いな問題はなかったが、深層学習ではパラメーター空間が広大になり最適化法それ自体の制約としての側面が目立つようになった
850デフォルトの名無しさん (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/11(金) 20:36:27.83ID:BgeuQOWca
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2020/intensive2/KyusyuStatZemi2020.pdf
最近の深層学習理論が纏められている
読むと良い
851デフォルトの名無しさん (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234])
垢版 |
2020/12/11(金) 20:40:10.09ID:BgeuQOWca
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2020/intensive2/Kyusyu_2020_Deep.pdf
852デフォルトの名無しさん (ﾌﾞｰｲﾓ MM3d-SCev [202.214.231.57])
垢版 |
2020/12/11(金) 20:46:05.84ID:OnRhFRT3M
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な ことはよーくわかったよ。 ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw
853デフォルトの名無しさん (ｽｯﾌﾟ Sd33-EgOZ [49.97.106.249])
垢版 |
2020/12/12(土) 10:33:01.32ID:4+CF+8cud
>>850
とてもためになりました。ありがとう。
2020/12/12(土) 13:35:25.09ID:9H+yvdp50
偉い人(ﾟ∀ﾟ 三 ﾟ∀ﾟ)来てた
この資料いい
855デフォルトの名無しさん (ﾜｯﾁｮｲ 0b10-LBAI [153.131.102.129])
垢版 |
2020/12/12(土) 13:53:24.93ID:D9gFLJkJ0
850, 851のpdfを読むと
層の横幅Mが広い（素子数が多い）と大域的最適解を得られるっぽいけど
どのくらいの素子数なのか実現可能な数なのかはよくわからなかったな
その素子数を計算で求めることができるのかも

P20に初期化は1/Mって書いてあるけど、横幅Mを計算するλminが何か書いてないような
wの初期化するN(0,I)のIも何か判らない
NTKで調べたら出てくるのか？

逆温度βもどんな値になるのか、変化するのかも判らないな

非凸性→深層学習
その他→他の機械学習（ランダムフォレストとか）
が適しているって感じ？
856デフォルトの名無しさん (ﾜｯﾁｮｲ 13ad-MyGI [125.13.183.98])
垢版 |
2020/12/12(土) 13:53:44.49ID:qFkF8Df00
勾配降下法の意味は理解できましたが、使う意味がよく分からないです。
初めから勾配ベクトルが零ベクトルになるように偏微分の連立方程式解いて
その解を損失関数に代入したものの中から最小のものを選べば済むんじゃないですか？
そうすれば局所最適解に陥ることも避けられますし
2020/12/12(土) 14:05:36.18ID:9H+yvdp50
わかんない😭💦💦
858デフォルトの名無しさん (ｵｯﾍﾟｹ Sra5-6xLJ [126.194.64.89])
垢版 |
2020/12/12(土) 14:07:28.60ID:lSvR9P/Gr
>>856
数千万次元の非線形連立方程式が解けるのならね
2020/12/12(土) 14:23:15.47ID:FBvDYARoM
高校生なのかな。。
860デフォルトの名無しさん (ﾜｯﾁｮｲ 51ad-8thv [42.148.220.186])
垢版 |
2020/12/12(土) 15:03:16.60ID:uoFruwVO0
損失関数の導関数が4次方程式までなら頑張れば解析的に解ける希ガスとか言ってるテスト
861デフォルトの名無しさん (ﾜｯﾁｮｲ 13ad-MyGI [125.13.183.98])
垢版 |
2020/12/12(土) 15:52:55.84ID:qFkF8Df00
次元（変数の数？）が膨大な上に、偏微分で得られた導関数が5次以上になると
代数的に解くことができなくなるからってことなんですね
勉強になりました、ありがとうございます
2020/12/12(土) 16:15:01.19ID:cW0yBRdh0
意味がねーｗ
2020/12/12(土) 16:29:51.26ID:Qgp/l0qJ0
>>861
計算量の問題もあるが、それだけじゃないんだぜ
学習データだけで最適解を求めてしまうと過学習に陥りやすくなる
いろいろ制約つけて、学習を途中で止めた方が汎化性能が高くなる
アーリーストップとかで調べてみるといいよ
2020/12/12(土) 17:27:15.16ID:9H+yvdp50
解析的に求められないってことを知った上での発言かと思ってた
2020/12/12(土) 19:10:37.14ID:cvY7SZ8Va
極端な話n次元ならn次方程式を用意すれば
サンプルを完全にトレースできる
でもそれだと過学習
一つ別のデータに出会ったとたん破綻する
2020/12/12(土) 19:25:51.39ID:D9gFLJkJ0
非線形だから簡単じゃないんだろう
わざわざより高次元空間に写して線形判別しないと上手くいかない
2020/12/12(土) 19:30:18.23ID:D9gFLJkJ0
>>865
それは違う気がするな
重みやパラメータをデータから決めただけで
モデルの出力が学習に使用したデータから少しずれたら判別でしなくなるのとは違う

例えば2値判別する時に2点のデータからその中間で判別する境界線を学習したら
データの2点から少しズレても正しく判別できる
2020/12/13(日) 15:04:12.55ID:QUI91bME0
>>864
多分「解析的に求められない」の意味もわかってないと思われる。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況