【統計分析】機械学習・データマイニング29
■ このスレッドは過去ログ倉庫に格納されています
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１行ずつ減るので、減ってたら３回に増やしてたてること。
機械学習とデータマイニングについて語れ若人
＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです。
■前スレ
【統計分析】機械学習・データマイニング28
https://mevius.5ch.net/test/read.cgi/tech/1588293154/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured >>746
ベイズ推定でα・βに何か確率分布を仮定するならともかく、普通の線形回帰で最小二乗法でα・βを決めるという話なら
α・βは何か決まった値がありそれを探すだけなので確率変数ですらないのでそもそもα・βの期待値を計算することなどない
ベイズ的でない最小二乗法ではεだけが確率変数でそれを正規分布と仮定している >>750
理解してないんだったら書き込まない方がいい バックプロパゲーションについて質問です．
これは結局のところ，与えられた多変数関数のある点での偏導関数の値を求めるのに，素朴な方法よりも計算量が少なくて済む方法ということで間違っていないでしょうか？
日本語のディープラーニングの入門書を見ても，偏導関数の値のバックプロパゲーションによる計算方法だけ載っていて，計算量についての考察がないものばかりのような気がします． 750の表現も間違いではないように思うけどな
正規分布で最尤推定した時と結果が等しくなることもあると思う
確率変数ではないから信頼区間とか検定とかはできないんだろうし >>753
誤差を逆伝搬する事で学習するというアルゴリズムだから偏微分はその過程で必要なだけで計算量を減らす目的ではないと思う
計算量は素子数とかデータ数とかによるのかな？ >>754
理解してないんだったら書き込まない方がいいよ 滑らかな関数なら数値計算した方がいいに決まってるだろう、度勘違い >>752
どこが間違っているのか分からんので教えて 微分するのは評価関数を最小化する、最適化するため
評価関数の値が小さくなる方向にに重みを更新する >>753
素朴な方法って総当たり法のことかな？
バックプロパゲーションで学習ができることは理論的裏付けがなくて単なる経験則らしい
条件によって収束までのステップ数はえらく変わるし、そもそも収束する保証もないので
見積りもできないのだろう 746です。
とりあえずα=0とした場合、
平均が(βx_1, ... , βx_n)、共分散行列が(σ^2)I_nとなる適当な確率分布でやれば全てうまくいきそうです。
ありがとうございました。 >>762
仮説検定とかをするなら流石に正規分布まで仮定しないとうまくいかないですが、
βハットが最良線形不偏推定量であることやσ^2の推定までは全てうまくいってしまってます。
間違ってるんですかね？ 推定量の次元がα、βの2次元なのに
＞平均が(βx_1, ... , βx_n)、共分散行列が(σ^2)I_nとなる適当な確率分布でやれば全てうまくいきそうです。
とか言っている時点で間違っていると気づくべき 回帰式はn個って事なのか？
α、βってスカラーじゃないのか
データ数はいくつあるのかな？ >>764
推定量がyに関して2次以下ならこの仮定だけで計算できませんか？
>>766
nがサンプル数でβ∈Rを想定していますが、特に変更なくm変数でも議論できる気がしています。 ＞推定量がyに関して2次以下ならこの仮定だけで計算できませんか？
意味不明
＞nがサンプル数でβ∈Rを想定していますが、特に変更なくm変数でも議論できる気がしています。
これも意味不明だが、回帰分析において推定したいパラメータの次元は
２でも一般のmでも（サンプルサイズを下回っている限りは）特に議論は変わらない
というか、こんなの学部生レベルのお話なんだからこんなところで聞かなくても
ググれば計算過程込みでいくらでも出てくるだろ…
答えだけ書けば（仮定にもよるが標準的な仮定の下では）
\hat{α}, \hat{β}は不偏推定量になる >>768
R^n上の確率分布pで、
平均μ=E_p[x]=(βかけるx_1,...,βかけるx_n)で、
分散共分散行列がn×n行列で対角線上にσ^2が並んだものを想定しています。
例えば正規分布などはこれに当てはまると思います。 岡谷貴之の本のバックプロパゲーションの説明が一番わかり易いようです． n次元ベクトルでデータ数はn？
データ足りないような
最小二乗法ならn次元ベクトルは確率変数じゃなくても良いんじゃないの？
回帰式がn個あるのと実質同じじゃないのかな？ >>772
推定しようとしている傾きβはスカラーですよ？ >>774
確率分布pの平均です。
μ=E_p[x]でちゃんと明示したつもりでした。 その確率分布pに従うのはなに？それを聞いてるんだが 例えば、株価予測にCNNを使う場合、畳み込みのカーネルはどんなの用意すればええんや？ ん？μ=E_p[x]ってことは説明変数の期待値がμだって言いたいの？ >>777
(Y_1, ... , Y_n) ~ pです。 >>779
あ、ごめんなさい。
E_p[y]ですね。ここでy=(y_1,...,y_n)∈R^nです。 yの平均値ならαを足さないとだめでしょ
それとも定数項なしのモデルでも考えたいの？ >>782
簡単のために定数項なしのモデルで考えています。
761で言及したのでずっとそのつもりでした。 >>778
転移学習したいってこと？
別にカーネルも自分で学習させればいいと思うけど みなさん，ありがとうございました．
岡谷の本を見ていますが，やはり，バックプロパゲーションは偏導関数のある点での値をより速く求める方法にすぎないということのようですね．
そしてその偏導関数の値を勾配降下法で利用するということですね．
ディープラーニングというのは結局の所，あるタイプの最小化したい誤差関数を一つ定め，それを勾配降下法でできる限り小さくする手法ということのようですね．
最適化の一分野ということですね． パラメーターで変化する誤差関数のテストデータに対する値をパラメーターを変化させて，できる限り小さくするというだけのことのようですね．
夢も何もないただの最適化法の一分野ですね． 当たり前の事をw
最近はバックグラウンドまで教えないのかな 夢でもなんでもないことを組み合わせたら精度が人間並になる場合があり、こいつらの得意分野は任せちゃっていいかもな。って感じだっしょ https://www.youtube.com/playlist?list=PLUl4u3cNGP63oMNUHXqIUcrkS2PivhN3k
Strang教授のこのビデオ講義シリーズを見た人はいませんか？
なんか非常に簡単なことでつっかえて，結局何も示せずに，簡単だから自分でやってくださいとかいう場面が多すぎます． ID:n2wcT9Ah0は馬鹿アスペという荒らしなのでスルーしてね 最適化も局所最適解でしかないかもしれない
大極的な最適解かどうかは組合せ爆発して解けない事が多い 技術的にフルバッチで最適化できてたら汎化性能が出なかったわけで、deep learningが最適化というと
なんか違う気はする。 「Waymo」の自動運転車に60回以上乗って分かったその安全性とは？
https://gigazine.net/news/20201208-waymo-driverless-tech/
「Waymo」の完全自動運転は評価いいみたいだぞ >>793
評価関数を最適化するって事で
学習データに対して最適化すると
過学習して汎化性能が悪い事になる
学習データと運用データの差があるのが問題の１つ
実運用データを完全網羅して学習したら過学習にはならないんじゃないかと思う Ars Technicaはこの点について、「歩行者がいる場面では、Waymoは慎重すぎます。人間のドライバーであれば、
間違いなくもっと速く動けるでしょう。しかし、このことでWaymoを責めるのは困難です。人をはねる危険を冒すくらいなら、
多少待たされた方がはるかにマシですから」とコメントしました。
不満はあれど批判できないってところだろうな まあこういう実証実験を積み重ねていけばいつかはものになるだろ 日本は装置内のハードやソフトだけで成り立たせて製品単体として売るぐらいだろう
「危ないところは人が見てくださいね」っていう仕様で
IT云々と絡めたり、別のサービスと絡むようなことはないだろう
日本が出来るのは
製品単体をマニアック仕様にして高く売りつけることぐらいで
車内のカメラも踏まえ、、、いろんなデータをいち早く収集し
売上に繋げて行くんだろうな Transformer-based Double-token Bidirectional Autoregressive Decodingin Neural Machine Translation
https://www.aclweb.org/anthology/2020.wat-1.3.pdf
精度を上げるつもりでL2RとR2Lを組み込んだんだろうけど
精度を下げてて草
しょうもなくて「速度が〜」に方針転換しててさらに草 茨木俊秀著『AI時代の離散数学』に以下の記述があります．
「ディープラーニングがいろいろな分野で成功を収めているのは，多層NNは，複雑でありながら柔軟な構造をもっているので，全体的な最適解でなくても，
品質の高い局所最適解が多数存在するため，最急降下法によってそれらへ至る経路を見出しやすいからではないかと考えられる．」
確かにそうなのではないかと思わざるを得ないのですが，「品質の高い局所最適解が多数存在する」ことについての研究はあるのでしょうか？ 損失関数のグラフが一般にどういう形状をしているのかについての研究はないのでしょうか？ >>806
Visualizing the Loss Landscape of Neural Nets
https://arxiv.org/abs/1712.09913 問題やパラメータによって形状は変わるんじゃないの？
一般的な議論をするのって難しくない？ >>808
ありがとうございます．
>>809
たとえば，f(x) = a*x^2 + b*x + cという関数のグラフは（a≠0であれば）パラメータによらず放物線です． ところで，ディープラーニングでは，ニューラルネットワークを使って，誤差関数を決めます．
誤差関数を全く別の考え方で決めてやるともっと性能の良い人工知能ができないかと考えて研究している人はいるのでしょうか？ 目的関数が異なるモデル同士は性能を比較できないんじゃない？
目的関数の他に最適性の指標となる評価関数があるなら別だけど。 >>811
具体例を出せなくて申し訳ないが、誤差を補正して過学習を防ぐ正則化手法には
いろんな研究分野があるらしい
いま過学習に悩まされてて調べてみようかなと思ってたところ >>812
どういうことでしょうか？
>>813-815
ありがとうございました．
岡谷貴之著『深層学習』を読んでいるのですが，確率的勾配降下法についての素朴な質問です．
Nは全訓練サンプルの数です．
E(w) = Σ_{n=1}^{N} E_n(w)
確率的勾配降下法では，極端な場合，サンプル1つだけを使ってパラメータの更新を行うと書いてあります．
たとえば，n=1のサンプルを使って，wを更新したとします．
このとき，E_1(w)の値は，（学習係数の値が十分小さければ，）少し小さくなりますが，他のnについてのE_n(w)の値は逆に増えてしまい，
トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？
岡谷の本にはそのことについて全く触れていません． バッチ学習をした後で，テストデータに対して，誤差関数の値が本当に小さくなるのかというのと似たような問題かもしれませんね． >>816
> トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？
普通にあるよ
増えたり減ったりしながら徐々に正解に近づいていくイメージ
振動するおかげで極小解から脱出できるチャンスが増える >>819
確率的勾配降下法によって，極小値を与えるwにかならず近づいていくということは証明できるのでしょうか？
勾配降下法では，学習係数が十分小さければ，単調に誤差が減少していき，最終的に，極小値を与えるwに近づいていくことは自明ですが． >>814
最終的な性能は正解率とか指標があるでしょう >>811
教師信号、正解と出力の差、距離の計算方法を変えたら評価関数、誤差関数は違うものになるだろう
ただそれで学習時間や性能にどんな影響があるかは自分は判らない >>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない
ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習 >>816
自分で実験してみるのが１つの方法
初期化後に全データで評価値を計算して
簡単なNNを作ってデータ１つで重みを更新してから
全データで評価値を再計算する
多分増える事もあると思うけどデータを変えて重みを更新していく事で徐々に出力と正解の誤差が小さくなっていくと思う
同じ出力をする入力は同じニューロンが発火して
別の出力をする入力はそれと違うニューロンが発火するよつな感じに学習が進んでいくのかな >>820
勾配降下法は深層学習に限らず研究されているんじゃないかと思う
そっち方面で局所的最適値を得られる条件とか判ってるかもしれない
凸関数とかそんなのが条件になっていたりするかも 思い出した
鞍点とかあるとそこで止まるとかあったような 意味があるかは解釈によっても変わる
道具が同じでも上手く使える人とそうではない人がいる
既存の技術を上手く使って問題解決できた人もいるからな みなさん，ありがとうございました．
いろいろな日本語のディープラーニングの本を見てみましたが，確率的勾配降下法がなぜうまくいのかについての説明は全くありませんでした． まるで，うまくいくのが自明であるかのような扱いです．
確率的勾配降下法に限らず，この分野は常にこのような感じですよね． 1355-orE1は馬鹿アスペなのでスルーよろしく わかんないことがあれば自分で調べればいいのにね(笑) >>830
この辺の理論が解明され始めたのは去年頃からだから、まだ本にはなってないよ
知りたければ論文読むかslideshareを探すといい 馬鹿と決めつけるより具体的に反論した方が生産的な気もする 深層学習じゃない機械学習では誤差が小さくなる事とか条件とか証明されていると思うけどな
深層学習もそれからの類推か包含しているかじゃないか？ >>831
発表されていないけど考えられる限りの
それ以外の方法を
多数の人が試していて
性能が出ないので発表されていないだけ
技術の分野ではよくあるんだよな
それを知らないと時間を大きく損する 荒らしってほどでもないような…
判らないのであれば、判らないと答えればいい。
それか参考になりそうな論文を紹介するとかね。 それから馬鹿アスぺはアルゴリズムの本を読んでいてプログラムの才能はないとぷ板の住人にで言われてる >>837
深層学習を従来の理論に当てはめると過学習しまくって使い物にならんはず
だが実際学習できて性能も良い
この差は既存の理論では最適化(勾配降下法)のダイナミクスが考慮されていないから
最適化までを考慮して統計理論に結びつける研究が近年進んでいる 最適化関連の過去の研究結果が何一つ活用できない？
数学的にある値、例えば誤差がある範囲に入る確率とか、の上限が示されていたりする事は活用できるだろう 他の機械学習に勾配降下と同等の操作をしていないと言うのは何故そう思う？ していないなんて言ってないよ。考慮されていないと言っただけ
従来はそれで多いな問題はなかったが、深層学習ではパラメーター空間が広大になり最適化法それ自体の制約としての側面が目立つようになった ■ このスレッドは過去ログ倉庫に格納されています
