【統計分析】機械学習・データマイニング29

2020/08/20(木) 09:16:43.41

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１行ずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング28
https://mevius.5ch.net/test/read.cgi/tech/1588293154/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2020/12/04(金) 11:45:05.25

宝くじ仮説ってなあに？
知識蒸留が可能という主張の根拠ってだけ？

2020/12/04(金) 12:35:02.30

蒸留していいのはウィスキーだけだろ

2020/12/04(金) 12:37:18.46

>>725

https://twitter.com/hillbig/status/1224863139235168256?s=21
https://twitter.com/5chan_nel (5ch newer account)

2020/12/04(金) 12:48:37.81

機械学習マンって格好いい名前つけるの好きだよね

2020/12/04(金) 14:02:23.76

夢あるサイエンティストはみんなそうじゃない？(笑)

2020/12/04(金) 14:41:28.36

†次元の呪い†

2020/12/04(金) 15:06:54.45

英語の頭文字を格好良くするためによく分からない正式名称が出来上がっちゃうことはよくある

2020/12/04(金) 15:10:07.97

次はELが来る

2020/12/04(金) 17:02:50.45

>>724
環境作り直すだけやん
副業で手伝うよ

2020/12/04(金) 21:47:56.72

>>21
ど定番だけど、ゼロから作るdeeplearning読むと良いよ

2020/12/04(金) 22:12:12.33

ディープラーニング以外の機械学習の手法って勉強する意味ありますか？

2020/12/04(金) 22:16:19.43

あるよ

2020/12/04(金) 22:28:47.47

>>735
あるよ
タスクによって機械学習の方が得意なものもあるからね

2020/12/05(土) 00:18:21.09

あるけど現代技術では根拠を示すことはできない

2020/12/05(土) 01:42:16.66

>>735
仕事だと
「なんでneural networkを使ったんですか？他のモデルと比較しなかったんですか？」
っていう質問が飛んでくるよ

2020/12/05(土) 12:32:24.72

｢慶應卒の学歴なんていらない｣10代起業で成功する子の共通点
https://news.infoseek.co.jp/article/president_35457/
学生起業家が開発、「人を軸に本を探すアプリ」とは？読書通じて「考える力」養って
https://newswitch.jp/p/20168
島田商高生がアプリ考案、発表　ＩＣＴ起業家育成プログラム
https://www.at-s.com/news/article/local/central/730010.html
医師コンビが「治療用アプリ」で起業、禁煙に続き高血圧治療アプリを開発
https://diamond.jp/articles/-/229375
好きが高じて“カレー起業”、キャッシュレス決済アプリ「TOKYO MIX CURRY」の挑戦
https://diamond.jp/articles/-/215868
【アプリ開発で起業】必要な心得とマネタイズ方法のすべて
https://www.dreamgate.gr.jp/contents/column/application-development
起業で成功するキャリア形成の仕方とは？元プロサッカー選手で起業家の鈴木啓祐氏に聞いた
https://sogyotecho.jp/career-development/
年収3,000万超え!?個人開発で儲かっている海外コミュニティサイト5選！
https://note.com/taishikato/n/n7809a8ed3ffc

2020/12/05(土) 12:32:48.78

大学生起業家が設立１年で20億円調達！単発バイトアプリに外食企業など出資【タイミー】
https://foodfun.jp/archives/3490
誰でもカンタンにオンラインサロン・情報配信ができる便利アプリ【TOUKU（トーク）】が登場
https://prtimes.jp/main/html/rd/p/000000001.000061569.html
ミャンマー発 AIダイニングアプリ「Yathar」をしかける日本人起業家
https://roboteer-tokyo.com/archives/14840
自分の視野は「世の中の0.001%」と自覚せよ。ビジネスチャンスを掴む4つの習慣
https://headlines.yahoo.co.jp/hl?a=20200511-00010001-srnijugo-life
アプリの視聴率がわかる　高専卒起業家の独創力
https://www.nikkei.com/article/DGXMZO46695580Y9A620C1000000/
１万人の若者を支援！インターンが日本を変えるかも！？　glowshipの若き創業者・足立卓也氏インタビュー
https://sogyotecho.jp/glowship-adachi-interview/
まだ22歳の学生社長が得た､23億円の｢使い道｣あの橋本環奈をCMに使うバイトアプリの雄
https://toyokeizai.net/articles/-/319511

2020/12/05(土) 12:33:20.10

「ブラック企業社員」のお助けアプリが誕生開発したのは22歳金髪大学生、開発のきっかけとは？
https://news.yahoo.co.jp/articles/b9d5e3b84e4aa78fab64d3eb8e0c02f72911287e
レシート買い取りアプリONEの17歳起業家、サービス一時停止から｢怒涛の3カ月｣で気づいたこと
https://www.businessinsider.jp/post-175983
ビジネス版マッチングアプリ「yenta(イェンタ)」全国展開開始！
https://prtimes.jp/main/html/rd/p/000000023.000021544.html
ギフティング「TANP」運営がGCPほかから5億円調達
1日1200件の「リアルギフト」送付も可能に、U25起業家の新たな挑戦
https://thebridge.jp/2019/08/gift-ec-tanp-raised-500m-yen-from-gcp
人はこうすれば“ハマる”、源流はゲーマー視点の「幸せ」
https://project.nikkeibp.co.jp/behealth/atcl/feature/00005/012100006/
アプリ開発での起業は難しくない！成功するために覚えておくべきこと
https://www.biz.ne.jp/subject/blog/2004433/
【稼ぎ方が知りたい！】アプリの開発の収入って実際どれくらい？
https://itpropartners.com/blog/1657/
ネット関連事業で起業した成功例8選！ネットで成功するには○○が重要！？
https://www.official.or.jp/internet-entrepreneurship-success/

2020/12/05(土) 17:08:44.89

起業しても失敗する確率の方が高いんじゃないかな

2020/12/05(土) 17:09:35.69

マルチコピペに反応しちゃだめだお

2020/12/05(土) 22:18:33.26

>>743
日本はジジババ社会で新しいものに移行する気がないからな
これからは、、こうしなければならない、変更していかなければならないってことで
どんどん移行して行くのは海外の話しで
日本は多数派の高齢者が良ければそれでいいので
流行りものに手を出してもブームが過ぎれば価値が無いものになる可能性が高い
ITの仕事と言ってもクラウドワークスみたいな会社が仕事をバラバラに砕いて
駄菓子屋でお菓子を売るような値段で末端に売り場いて終わりそう
1/10の単価でやりますとか言って
そんなIT土方になるぐらいならジジババに受け入れられているリアル土方になった方がいい
日本の場合は
若い子に勉強させ無駄に新しいことをさせようとするが
多数派はそれを受け入れないで現状維持に徹する

2020/12/06(日) 04:16:10.73

y=α+βx+εの線形回帰で、最小二乗法で推定量αハットとβハットを求めて、それぞれの期待値を計算すると思いますが、どの確率分布で期待値をとるのでしょうか？

2020/12/06(日) 05:45:04.89

>>735
割り当ての実験が出来ない場合の因果推論ではパラメトリックモデルが主流

2020/12/06(日) 08:50:03.43

>>746
正規分布

2020/12/06(日) 08:51:54.49

ベルヌーイ分布

2020/12/06(日) 11:37:15.62

>>746
ベイズ推定でα・βに何か確率分布を仮定するならともかく、普通の線形回帰で最小二乗法でα・βを決めるという話なら
α・βは何か決まった値がありそれを探すだけなので確率変数ですらないのでそもそもα・βの期待値を計算することなどない
ベイズ的でない最小二乗法ではεだけが確率変数でそれを正規分布と仮定している

2020/12/06(日) 12:57:43.40

最小二乗法と最尤推定法

https://support.minitab.com/ja-jp/minitab/18/help-and-how-to/modeling-statistics/reliability/supporting-topics/estimation-methods/least-squares-and-maximum-likelihood-estimation-methods/

2020/12/06(日) 15:10:59.18

>>750
理解してないんだったら書き込まない方がいい

2020/12/06(日) 15:20:36.42

バックプロパゲーションについて質問です．

これは結局のところ，与えられた多変数関数のある点での偏導関数の値を求めるのに，素朴な方法よりも計算量が少なくて済む方法ということで間違っていないでしょうか？

日本語のディープラーニングの入門書を見ても，偏導関数の値のバックプロパゲーションによる計算方法だけ載っていて，計算量についての考察がないものばかりのような気がします．

2020/12/06(日) 15:24:12.01

750の表現も間違いではないように思うけどな
正規分布で最尤推定した時と結果が等しくなることもあると思う

確率変数ではないから信頼区間とか検定とかはできないんだろうし

2020/12/06(日) 15:27:36.98

>>753
誤差を逆伝搬する事で学習するというアルゴリズムだから偏微分はその過程で必要なだけで計算量を減らす目的ではないと思う
計算量は素子数とかデータ数とかによるのかな？

2020/12/06(日) 15:34:16.59

>>754
理解してないんだったら書き込まない方がいいよ

2020/12/06(日) 16:24:23.25

滑らかな関数なら数値計算した方がいいに決まってるだろう、度勘違い

2020/12/06(日) 16:39:20.46

>>752
どこが間違っているのか分からんので教えて

2020/12/06(日) 19:00:06.21

微分するのは評価関数を最小化する、最適化するため
評価関数の値が小さくなる方向にに重みを更新する

2020/12/06(日) 20:28:21.98

>>753
素朴な方法って総当たり法のことかな？

バックプロパゲーションで学習ができることは理論的裏付けがなくて単なる経験則らしい
条件によって収束までのステップ数はえらく変わるし、そもそも収束する保証もないので
見積りもできないのだろう

2020/12/06(日) 20:35:30.68

746です。
とりあえずα=0とした場合、
平均が(βx_1, ... , βx_n)、共分散行列が(σ^2)I_nとなる適当な確率分布でやれば全てうまくいきそうです。
ありがとうございました。

2020/12/06(日) 21:13:36.24

そんなもんでうまくいくわけないだろ

2020/12/06(日) 21:33:14.20

>>762
仮説検定とかをするなら流石に正規分布まで仮定しないとうまくいかないですが、
βハットが最良線形不偏推定量であることやσ^2の推定までは全てうまくいってしまってます。
間違ってるんですかね？

2020/12/06(日) 21:37:03.88

推定量の次元がα、βの2次元なのに
＞平均が(βx_1, ... , βx_n)、共分散行列が(σ^2)I_nとなる適当な確率分布でやれば全てうまくいきそうです。

とか言っている時点で間違っていると気づくべき

2020/12/06(日) 21:37:16.47

えー(笑)

2020/12/06(日) 21:41:38.03

回帰式はn個って事なのか？
α、βってスカラーじゃないのか
データ数はいくつあるのかな？

2020/12/06(日) 21:47:49.35

>>764
推定量がyに関して2次以下ならこの仮定だけで計算できませんか？

>>766
nがサンプル数でβ∈Rを想定していますが、特に変更なくm変数でも議論できる気がしています。

2020/12/06(日) 21:53:18.02

平均が(βx_1,,,)って何？

2020/12/06(日) 21:55:08.75

＞推定量がyに関して2次以下ならこの仮定だけで計算できませんか？

意味不明

＞nがサンプル数でβ∈Rを想定していますが、特に変更なくm変数でも議論できる気がしています。

これも意味不明だが、回帰分析において推定したいパラメータの次元は
２でも一般のmでも（サンプルサイズを下回っている限りは）特に議論は変わらない

というか、こんなの学部生レベルのお話なんだからこんなところで聞かなくても
ググれば計算過程込みでいくらでも出てくるだろ…
答えだけ書けば（仮定にもよるが標準的な仮定の下では）
\hat{α}, \hat{β}は不偏推定量になる

2020/12/06(日) 21:58:03.70

>>768
R^n上の確率分布pで、
平均μ=E_p[x]=(βかけるx_1,...,βかけるx_n)で、
分散共分散行列がn×n行列で対角線上にσ^2が並んだものを想定しています。
例えば正規分布などはこれに当てはまると思います。

2020/12/06(日) 22:01:55.24

岡谷貴之の本のバックプロパゲーションの説明が一番わかり易いようです．

2020/12/06(日) 22:04:28.76

n次元ベクトルでデータ数はn？
データ足りないような
最小二乗法ならn次元ベクトルは確率変数じゃなくても良いんじゃないの？
回帰式がn個あるのと実質同じじゃないのかな？

2020/12/06(日) 22:10:30.75

>>772
推定しようとしている傾きβはスカラーですよ？

2020/12/06(日) 22:18:21.61

>>770
何の平均が？
主語が足りない

2020/12/06(日) 22:23:26.26

俺俺

2020/12/06(日) 22:28:19.17

>>774
確率分布pの平均です。
μ=E_p[x]でちゃんと明示したつもりでした。

2020/12/06(日) 22:31:39.99

その確率分布pに従うのはなに？それを聞いてるんだが

2020/12/06(日) 22:32:43.51

例えば、株価予測にCNNを使う場合、畳み込みのカーネルはどんなの用意すればええんや？

2020/12/06(日) 22:32:59.63

ん？μ=E_p[x]ってことは説明変数の期待値がμだって言いたいの？

2020/12/06(日) 22:34:23.05

>>777
(Y_1, ... , Y_n) ~ pです。

2020/12/06(日) 22:36:01.56

>>779
あ、ごめんなさい。
E_p[y]ですね。ここでy=(y_1,...,y_n)∈R^nです。

2020/12/06(日) 22:41:05.48

yの平均値ならαを足さないとだめでしょ
それとも定数項なしのモデルでも考えたいの？

2020/12/06(日) 22:43:41.40

>>782
簡単のために定数項なしのモデルで考えています。
761で言及したのでずっとそのつもりでした。

2020/12/06(日) 23:02:45.31

>>778
転移学習したいってこと？
別にカーネルも自分で学習させればいいと思うけど

2020/12/07(月) 12:44:07.26

みなさん，ありがとうございました．

岡谷の本を見ていますが，やはり，バックプロパゲーションは偏導関数のある点での値をより速く求める方法にすぎないということのようですね．
そしてその偏導関数の値を勾配降下法で利用するということですね．

ディープラーニングというのは結局の所，あるタイプの最小化したい誤差関数を一つ定め，それを勾配降下法でできる限り小さくする手法ということのようですね．

最適化の一分野ということですね．

2020/12/07(月) 12:48:00.49

パラメーターで変化する誤差関数のテストデータに対する値をパラメーターを変化させて，できる限り小さくするというだけのことのようですね．

夢も何もないただの最適化法の一分野ですね．

2020/12/07(月) 12:58:43.69

昔はそれが出来なかったんやで

2020/12/07(月) 13:21:17.07

当たり前の事をw

最近はバックグラウンドまで教えないのかな

2020/12/07(月) 13:47:12.12

夢でもなんでもないことを組み合わせたら精度が人間並になる場合があり、こいつらの得意分野は任せちゃっていいかもな。って感じだっしょ

2020/12/07(月) 13:49:29.21

https://www.youtube.com/playlist?list=PLUl4u3cNGP63oMNUHXqIUcrkS2PivhN3k

Strang教授のこのビデオ講義シリーズを見た人はいませんか？
なんか非常に簡単なことでつっかえて，結局何も示せずに，簡単だから自分でやってくださいとかいう場面が多すぎます．

2020/12/07(月) 13:53:25.11

ID:n2wcT9Ah0は馬鹿アスペという荒らしなのでスルーしてね

2020/12/07(月) 19:29:51.63

最適化も局所最適解でしかないかもしれない
大極的な最適解かどうかは組合せ爆発して解けない事が多い

2020/12/08(火) 20:56:04.92

技術的にフルバッチで最適化できてたら汎化性能が出なかったわけで、deep learningが最適化というと
なんか違う気はする。

2020/12/08(火) 22:45:24.29

それってノーフリーランチ定理と関係ある？

2020/12/09(水) 15:22:39.17

ノーブリーフは気持ちがいい

2020/12/09(水) 17:41:00.51

「Waymo」の自動運転車に60回以上乗って分かったその安全性とは？
https://gigazine.net/news/20201208-waymo-driverless-tech/

「Waymo」の完全自動運転は評価いいみたいだぞ

2020/12/09(水) 19:08:22.67

>>793
評価関数を最適化するって事で
学習データに対して最適化すると
過学習して汎化性能が悪い事になる

学習データと運用データの差があるのが問題の１つ
実運用データを完全網羅して学習したら過学習にはならないんじゃないかと思う

2020/12/09(水) 19:12:58.69

>>796
慎重すぎるって批判されてるやん

2020/12/09(水) 19:19:54.28

Ars Technicaはこの点について、「歩行者がいる場面では、Waymoは慎重すぎます。人間のドライバーであれば、
間違いなくもっと速く動けるでしょう。しかし、このことでWaymoを責めるのは困難です。人をはねる危険を冒すくらいなら、
多少待たされた方がはるかにマシですから」とコメントしました。

不満はあれど批判できないってところだろうな

2020/12/09(水) 20:15:28.61

パナソニックがこんなのを始めるらしいが、人込みでは遠隔手動操作なんだな。。。
https://news.yahoo.co.jp/articles/e8eb753857c1b796b95d9f5346b9af0a9873f921

2020/12/09(水) 21:13:02.28

まあこういう実証実験を積み重ねていけばいつかはものになるだろ

2020/12/09(水) 21:47:02.66

どこでもやってる

2020/12/09(水) 23:05:26.02

日本は装置内のハードやソフトだけで成り立たせて製品単体として売るぐらいだろう
「危ないところは人が見てくださいね」っていう仕様で
IT云々と絡めたり、別のサービスと絡むようなことはないだろう
日本が出来るのは
製品単体をマニアック仕様にして高く売りつけることぐらいで

車内のカメラも踏まえ、、、いろんなデータをいち早く収集し
売上に繋げて行くんだろうな

2020/12/10(木) 11:21:32.39

Transformer-based Double-token Bidirectional Autoregressive Decodingin Neural Machine Translation
https://www.aclweb.org/anthology/2020.wat-1.3.pdf

精度を上げるつもりでL2RとR2Lを組み込んだんだろうけど
精度を下げてて草

しょうもなくて「速度が～」に方針転換しててさらに草

2020/12/10(木) 16:34:54.00

茨木俊秀著『AI時代の離散数学』に以下の記述があります．

「ディープラーニングがいろいろな分野で成功を収めているのは，多層NNは，複雑でありながら柔軟な構造をもっているので，全体的な最適解でなくても，
品質の高い局所最適解が多数存在するため，最急降下法によってそれらへ至る経路を見出しやすいからではないかと考えられる．」

確かにそうなのではないかと思わざるを得ないのですが，「品質の高い局所最適解が多数存在する」ことについての研究はあるのでしょうか？

2020/12/10(木) 16:36:55.29

損失関数のグラフが一般にどういう形状をしているのかについての研究はないのでしょうか？

2020/12/10(木) 17:05:54.60

一般にかあ。それは大変な研究になりそう

2020/12/10(木) 17:33:01.48

>>806
Visualizing the Loss Landscape of Neural Nets
https://arxiv.org/abs/1712.09913

2020/12/10(木) 19:01:42.77

問題やパラメータによって形状は変わるんじゃないの？
一般的な議論をするのって難しくない？

2020/12/10(木) 19:07:23.07

>>808
ありがとうございます．

>>809
たとえば，f(x) = a*x^2 + b*x + cという関数のグラフは（a≠0であれば）パラメータによらず放物線です．

2020/12/10(木) 19:11:38.70

ところで，ディープラーニングでは，ニューラルネットワークを使って，誤差関数を決めます．

誤差関数を全く別の考え方で決めてやるともっと性能の良い人工知能ができないかと考えて研究している人はいるのでしょうか？

2020/12/10(木) 19:17:10.67

誤差関数ってネットワークそのもの?

2020/12/10(木) 19:19:51.95

>>811
調べてみたら？
いそうな気がする

2020/12/10(木) 19:34:03.65

目的関数が異なるモデル同士は性能を比較できないんじゃない？
目的関数の他に最適性の指標となる評価関数があるなら別だけど。

2020/12/10(木) 20:12:15.89

>>811
具体例を出せなくて申し訳ないが、誤差を補正して過学習を防ぐ正則化手法には
いろんな研究分野があるらしい

いま過学習に悩まされてて調べてみようかなと思ってたところ

2020/12/10(木) 20:53:11.62

>>812
どういうことでしょうか？

>>813-815
ありがとうございました．

岡谷貴之著『深層学習』を読んでいるのですが，確率的勾配降下法についての素朴な質問です．

Nは全訓練サンプルの数です．
E(w) = Σ_{n=1}^{N} E_n(w)

確率的勾配降下法では，極端な場合，サンプル1つだけを使ってパラメータの更新を行うと書いてあります．
たとえば，n=1のサンプルを使って，wを更新したとします．
このとき，E_1(w)の値は，（学習係数の値が十分小さければ，）少し小さくなりますが，他のnについてのE_n(w)の値は逆に増えてしまい，
トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？

岡谷の本にはそのことについて全く触れていません．

2020/12/10(木) 20:54:09.43

Courseraを勉強して自慢していた馬鹿アスペ

2020/12/10(木) 21:00:00.66

バッチ学習をした後で，テストデータに対して，誤差関数の値が本当に小さくなるのかというのと似たような問題かもしれませんね．

2020/12/10(木) 21:12:09.60

>>816
> トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？

普通にあるよ
増えたり減ったりしながら徐々に正解に近づいていくイメージ
振動するおかげで極小解から脱出できるチャンスが増える

2020/12/10(木) 21:15:25.35

>>819
確率的勾配降下法によって，極小値を与えるwにかならず近づいていくということは証明できるのでしょうか？

勾配降下法では，学習係数が十分小さければ，単調に誤差が減少していき，最終的に，極小値を与えるwに近づいていくことは自明ですが．

2020/12/10(木) 21:27:23.48

>>814
最終的な性能は正解率とか指標があるでしょう

2020/12/10(木) 21:30:19.62

>>811
教師信号、正解と出力の差、距離の計算方法を変えたら評価関数、誤差関数は違うものになるだろう
ただそれで学習時間や性能にどんな影響があるかは自分は判らない

2020/12/10(木) 21:40:43.82

>>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない

ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習

2020/12/10(木) 21:40:45.06

>>816
自分で実験してみるのが１つの方法
初期化後に全データで評価値を計算して
簡単なNNを作ってデータ１つで重みを更新してから
全データで評価値を再計算する

多分増える事もあると思うけどデータを変えて重みを更新していく事で徐々に出力と正解の誤差が小さくなっていくと思う

同じ出力をする入力は同じニューロンが発火して
別の出力をする入力はそれと違うニューロンが発火するよつな感じに学習が進んでいくのかな