【統計分析】機械学習・データマイニング31

■ このスレッドは過去ログ倉庫に格納されています
2021/09/26(日) 01:32:46.82ID:fnXwjiVa0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2022/03/20(日) 11:44:01.28ID:RMYANpbIa
conda install使うとはまるな
総合的に普通よりもちょい上ぐらいのイメージ
2022/03/20(日) 18:44:56.60ID:AqIDsxxna
>>451
ソースコードからPython実行環境を構築してみると分かる。パッケージ管理ツールの有り難さが。
文句を言う前に自分が努力してみよう。
2022/03/20(日) 18:46:40.29ID:2NkKmYw70
opencvのインストール、6時間経っても終わんない😭
2022/03/20(日) 20:22:45.30ID:2NkKmYw70
>>453
普段はpip使ってるけど使いたいライブラリがanacondaおすすめしてたから使ってみたらこうだよ(o´･ω･`o)
456デフォルトの名無しさん (ﾜｯﾁｮｲ 16ca-1Kca [121.3.181.42])
垢版 |
2022/03/20(日) 23:28:12.61ID:clBqY9hv0
condaは仮想環境構築には便利
2022/03/21(月) 00:56:53.16ID:avj/Dp0k0
anaconda は、モジュールの依存を解決してくれないの？
嘘でしょ？ そんなパッケージマネージャーってある？

Ubuntu のapt, Ruby のBundler, Node.js のnpm/yarn は、依存を解決するけど
2022/03/21(月) 01:12:35.94ID:ft3mqpFHa
anaconda今年から商用利用有料になったからminicondaに変えて取得リポジトリ変えないといけない
だったらvenvで環境切ってpipで自分で解決したほうがいい
2022/03/21(月) 06:35:51.00ID:RxCXPNTc0
wordcloudって面白いけど
単語の重みの数値とか単語間の繋がりの数値とか順位とかを出力してくれる機能はあるのかなあ？
2022/03/21(月) 18:06:01.26ID:xxek/EEk0
>>459
特定ライブラリの機能じゃないから実装によるだろ
2022/03/22(火) 10:26:04.56ID:123isjY5M
谷中瞳とか女はイージーで良いなあ
広告塔にもなるし
2022/03/23(水) 10:09:00.76ID:UN1vKWzyr
pydotplusとgraphvizいいなあ
2022/03/29(火) 01:28:15.27ID:omLa31ht0
optunaって、同じパラメータを重複して試行することあるよね？
仕様なの？
2022/04/02(土) 06:29:57.41ID:SlF55qRa0
当方超絶初心者なのですが質問をお許しください。

やりたいことは、5小節分のベートーヴェンの楽譜をデータセットとして、
学習後諸パラメータからベートーヴェンの曲のある瞬間の音を推論するというもの

その際、まずは手作業で一小節づつ手作業でデータセットを作り、
また目標値を単純にある音の次の音、ということにしました。
つまり一つの音に音高・音価・音量等があるのですが、それが四声同時に鳴るので、
3×4×（記録する音との数）という3次元配列なのですが、目標値もまた3次元配列です。

このとき、from chainer import Sequentialして
入力変数を12、出力変数と12として、
目的関数を適切に選べばやりたいことができるでしょうか（最終的にはライブで、自分の演奏を一定期間学習させてリアルタイムに学習済みモデルを作り、こちらの入力に対し推論値をOSCで演奏システムの方に送ってパラメータを設定させる、ということを考えています）

またその際の目的関数として何が適切なのかも教えて頂けると幸いです。
2022/04/04(月) 18:40:17.74ID:oFLIZQp1a
そういう単純な方法だとだいたいにおいて目的にかなわない推測になるなｗ

適当にぐぐってそこから論文みつけてreferenceおっかけて方法ぱくるのがいいと思う
https://towardsdatascience.com/generating-music-with-artificial-intelligence-9ce3c9eef806
https://arxiv.org/pdf/1609.03499.pdf
2022/04/04(月) 21:41:20.09ID:6BKqFtko0
題材が面白い
2022/04/08(金) 11:39:54.46ID:JzsOoP0Ma
家庭用PCで学習できるオススメのレコメンドシステム教えて下さい
468デフォルトの名無しさん (ﾜｯﾁｮｲ 7610-7Nbo [153.243.53.4])
垢版 |
2022/04/08(金) 12:41:14.77ID:ViZWtTWj0
協調フィルタリング
2022/04/09(土) 07:31:19.07ID:RkeIeVAB0
>>465

ご紹介ありがとうございます、リンク先凄いですね・・・
ただ今回は、オーディオを扱うのでなく、あくまで自作ソフトウェアシンセの
各パラメータを学習させて、それを自動演奏させるのが目的なので、
MIDI信号つまり小数の配列で十分なのです。

そこで方策として、
まず教師用データとして、一定時間自分の演奏を記録（各パラメータをPythonに送りそれぞれ一次元配列に格納しておく）
入力用データとして、そのあと同じ時間（つまり同じ長さ分の配列）自分の演奏を記録して、それを入力用データとする
アウトプットをソフトウェアシンセに送り返して、パラメータとして設定

という大まかなものが出来ました。

ところで本当によくわかってないので初歩的な質問を失礼しますが、目標値やラベルが必要だと思うのですが、ここでそれに当たるものは何なのでしょうか・・？

自分のシンセのパラメータは２０個くらいを考えています。それらを２０個の配列に記録したとして、これを教師用データとしたとして、ある入力（２０個のパラメータ）に対してその予測として20個のパラメータを推論してくれれば嬉しいのですが・・・
普通だったら複数のパラメータから、一つの別のパラメータを予測するものですよね。

考え方が混乱しているので、ご指南いただけますと幸いです。
2022/04/09(土) 11:08:34.82ID:wsR7En4lM
時系列かなと思ったけど
あんまり履歴情報は使わないの？
2022/04/09(土) 11:52:07.89ID:RkeIeVAB0
時系列、ということは例えば、データセットとして演奏データを送ったとして、
データ送信終了するときの一番最新のものを、目標値として使う、などということでしょうか。
2022/04/09(土) 22:36:41.08ID:ldStXoeua
クロスエントロピー誤差の偏微分って出力変数の合計が1になるって制約は考えなくていいのはナゼ(・・?
出力変数がz1とz2の2つならz1について偏微分するときはz2=1-z1としなくていい?
473デフォルトの名無しさん (ﾜｯﾁｮｲ 4e10-3n4s [153.243.53.4])
垢版 |
2022/04/10(日) 01:24:56.83ID:EKUiWMOD0
偏微分する変数はソフトマックスの前だから合計1の制約はない
474デフォルトの名無しさん (ﾜｯﾁｮｲ 1a55-wAOu [59.147.205.222])
垢版 |
2022/04/11(月) 09:22:54.65ID:lzGgtjtn0
新しく出たCLRS著『Introduction to Algorithms 4th Edition』

ですが、機械学習についての章が追加されましたね。
2022/04/11(月) 16:05:56.30ID:2fSBGaeoa
>>474
いらねーと思ったけどよく考えたらあらゆるジャンルのアルゴリズム扱ってたし
入れてもいいか
2022/04/11(月) 16:12:26.88ID:TQ9uCke7M
機械学習アルゴリズムは四則演算並みに常識化するのかも
2022/04/11(月) 17:10:35.01ID:qTt+hl+J0
>>476
アルゴリズムは知らなくても使えますし常識化はしないんじゃないですかね。

仕組みは分からないがツール経由で使い方を知っていると言うところに落ち着くのではないかと。
2022/04/17(日) 17:45:40.20ID:eq30vPTz0
セマンティックセグメンテーションを試そうとcolaboratoryでやろうとして

yolactは本家のデータセットが入ってないから止めた

そもそもyolactではPyTorchは1.4以上お薦めなのにPyTorch本家の指示に従うと1.1になってしまう

それでsemamtic segmentationという名前ので試そうとしたら今度はopenCVのバージョンを4.5でなく4.4に
する必要があった
しかも今度は教師データにアノテーションデータフォルダなしでこれも動かない

ちゃんとデータセット揃ってるのでやり直そう
479デフォルトの名無しさん (ﾜｯﾁｮｲ 1375-oxBX [61.120.184.208])
垢版 |
2022/04/17(日) 19:37:04.77ID:JJettxAE0
ここは日記帳じゃな…
2022/04/17(日) 19:39:58.71ID:26nIbAS60
だってまともな書き込み少ないし
2022/04/17(日) 23:46:59.59ID:eq30vPTz0
データセットが揃ってる資料を使ってやってみたら
何とか最後まで行き着いた

しかし

1. PyTorch公式でpipすべきバージョンを調べた後で
わざわざそれと違う1.4をインストールするとか
opencvも4.4にするとか色々変える

2. 一見丁寧に書いてある資料と思わせて
公式のipynbの資料とやっぱり違ってて
そのまま丸写しすると
validdataのフォルダが作られてなかったり穴だらけになる

等などで、
「ここは最初の資料ではこう書いてあるがこうやらないと動かないぞ！！！！！」
と#コメント文が山のようにくっ付いたcolabの資料が完成した次第

しかし、別の時間帯に試したらGPUがK80とかT4とかだったりで
GPUガチャは避けられないからなあ
2022/04/18(月) 00:02:15.50ID:fO2jMkbS0
>>29
さてそれはどうでしょうか
実は1月〜3月ほど強度のストレス下にあり、一睡もできない日々が2ヶ月続きました（体力維持のためしっかり食べてビタミン剤で補強しても体重は15kgも減りました）が、じゃあ記憶が全然できなかったかというとそうでもなかったです…
今ではサイコパス呼ばわりされちゃっています、私は結構タフですねえ…
2022/04/18(月) 01:44:31.01ID:0HwQROji0
本当に2ヶ月(24x60=1440時間)覚醒し続けたならもう死んでる。
つまり、2ヶ月一睡もしなかったというのは妄想。そりゃ精神障害扱いされるわ。
2022/04/18(月) 10:27:14.26ID:ldvKvDDSM
今yandexクラウドって日本から契約できるかな？
485デフォルトの名無しさん (ﾜｯﾁｮｲ 4fe6-5amf [58.183.206.102])
垢版 |
2022/04/23(土) 00:30:31.12ID:dMbrZ21D0
機械学習メインでやってる人からすると、例えばGLMみたいな統計モデリングはどういう扱い？機械学習の一部？
2022/04/23(土) 00:48:26.73ID:vni05tAU0
学習データを元にモデルのパラメータを推定するんだから機械学習
487デフォルトの名無しさん (ﾜｯﾁｮｲ df10-rbym [153.243.53.4])
垢版 |
2022/04/23(土) 20:31:19.17ID:YDHn6dIe0
最小二乗法も機械学習?
488デフォルトの名無しさん (ﾜｯﾁｮｲ 3fd5-Tb6s [111.217.170.2])
垢版 |
2022/04/23(土) 23:00:18.32ID:1pRqwchI0
うん
2022/04/23(土) 23:24:04.66ID:KO5U6zCs0
というより機械学習が統計崩れ
490デフォルトの名無しさん (ﾜｯﾁｮｲ 6ff7-pAiX [61.25.140.151])
垢版 |
2022/04/24(日) 00:02:27.67ID:XmcVNZmY0
＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw
2022/04/24(日) 02:26:30.49ID:zMrq6bhEM
最小二乗法は機械学習ではないな
計算過程に学習が必要でないから
492デフォルトの名無しさん (ﾜｯﾁｮｲ ef97-rYrL [182.171.246.142])
垢版 |
2022/04/24(日) 03:32:27.95ID:JMbxt0Az0
「学習」という言葉をどう定義しているの？
2022/04/24(日) 09:31:15.29ID:O71gCCTUa
学習用データに応じて結果が変わるんだから最小二乗法も学習してるでしょ
2022/04/24(日) 16:32:36.67ID:2A9d2NDv0
クラスタリングも機械学習定期
495デフォルトの名無しさん (ﾜｯﾁｮｲ df10-rbym [153.243.53.4])
垢版 |
2022/04/24(日) 17:33:03.56ID:WgEnBMjc0
最近傍法も機械学習
2022/04/24(日) 17:57:41.63ID:+Nm8DxZxd
〇〇はAIですかも同系統の質問だけど何でそんなことが気になるのか不思議
2022/04/24(日) 21:10:28.13ID:C8yoCkZdM
いや最小二乗法は解析的に解くから学習してないだろう
学習の定義とかしらんが、機械学習ではない
498デフォルトの名無しさん (ｽｯｯﾌﾟ Sdaf-Tb6s [49.98.147.87])
垢版 |
2022/04/24(日) 21:13:53.85ID:+sg2jP07d
評価関数をMSEにして回帰してるなら機械学習
499デフォルトの名無しさん (ﾜｯﾁｮｲ df10-rbym [153.243.53.4])
垢版 |
2022/04/24(日) 22:11:05.81ID:WgEnBMjc0
>>497
解析的に解けるかどうかってそんなに重要か?
最小二乗法をあえて確率的勾配法で解いたら機械学習と呼べる?
データが大量でメモリに乗らない時に使う手段だが
2022/04/24(日) 23:04:26.15ID:b8mqC9pha
MLの定義なんて決まってないからな
入れる奴もいれば入れない奴もいるってだけ
俺は最小二乗法も入ると考えてるけど、内心では古典的なクラスタリング含めてそんなもんML扱いすんなよと思ってる
2022/04/25(月) 08:28:54.71ID:WWt+XW3b0
こんなこと言っても線形回帰に精度で負けちゃうんだよね
2022/04/25(月) 17:57:03.33ID:W8GcUQ3oM
成田悠輔ってどうよ？
2022/04/26(火) 01:25:38.26ID:Kn8thUra0
回帰の勾配ブースティング木の勾配がMSEの微分で残差となるのは理解できたのですが、
分類問題の場合の各決定木の勾配って何になるのでしょうか？
2022/04/26(火) 06:10:44.32ID:+JXXpgOw0
mse
2022/04/27(水) 14:32:11.91ID:iTC4QIl5M
lecunとbengioとhintonは普通の研究者のひとつ上のレベルにいるのな
大体の技術の先駆者で驚愕
最近のlecunのインタビュー読んだけどまだアイデアがあるみたいだな
arcfaceでひーこら言ってる俺とは違いすぎて挫折感ハンパない
2022/04/28(木) 01:23:19.89ID:jP1CmVa/0
割と微妙かな。いうほどクリティカルな論文は出してないんじゃ。
2022/04/28(木) 13:28:27.59ID:oc5VTTvkM
東大がディープフェイク検出アルゴリズムを出したみたい
2022/04/28(木) 13:39:10.55ID:moo4Gf/Ba
まばたきしないとか髪ぼやけるとか、人間なら検出できるって言ってたからな
そのうちディープフェイク側が精度上がるだろ
2022/04/28(木) 14:29:37.14ID:jP1CmVa/0
てかそうやって進歩させるのがGANのコンセプトではあるわな。
2022/04/28(木) 20:37:53.29ID:bi7reEEy0
違う
2022/05/07(土) 06:55:36.29ID:u2uFhB8a0
Qiita のこの記事、実にいいなぁ

機械学習でなんとかしようと安易に考えるな
https://qiita.com/nonbiri15/items/cfc6909ff71273b63f5e

ディープラーニングなら学習すればできるんでしょ、と言う奴、どっか遠くの星にでもに行ってほしい
2022/05/07(土) 07:29:24.11ID:u2uFhB8a0
たとえば、お客さんが受け取った帳票が領収書か請求書かを自動判別したい場合、

今まで受け取った領収書と請求書の画像を学習データにしてDLに学習させて、できた簡単とか言う奴いるけど
・未知の帳票フォーマットに対して有効なのかそれ？
・受け取った帳票は全部印字・記入済なんだが、そんなんで学習していいのか？（未記入帳票は不要なの？）

そんなんには怖くってまかせられないんだが、おいらの感覚は合ってるよね
2022/05/07(土) 07:52:28.76ID:u2uFhB8a0
たとえば文字枠のある用紙に書かれた手書き文字を OCR する場合

・手書き文字だから枠からはみ出すし、はみ出す位置もさまざまだし、
・文字枠も1桁ごとだったり3桁ごとだったり点線だったりキリがない

こういうのは対象画像をそのまま（枠付きで）DLに学習させても、読めますよなんてとても言えんと思うんだが。最近はそうでもないのか？

昔は専門家がデータ眺めてうんうん唸ってロジックを考えていたが、そういうのも大切だよねと
2022/05/07(土) 08:12:58.95ID:u2uFhB8a0
あと、学習データで評価してお客に報告するアホ技術者？もシリウスβあたりに左遷して欲しい
スキャンしなおしたら同じ紙でも別データだよね、とかいうやつも

正読率80%はぎりぎり最低ラインで、どんな方法を使ってもこの程度はいきます
95%を超えるあたりからが勝負です。頑張りましょうね。と言いたい
2022/05/07(土) 12:37:56.46ID:Gp5QHcLl0
simclrはしんくらーで良いの？
516デフォルトの名無しさん (ﾜｯﾁｮｲ 6204-cfd4 [131.213.243.150])
垢版 |
2022/05/07(土) 13:07:42.38ID:TDwBHkCb0
>>512-514
基本的に事前に確認しておく内容かと
後から言われても対処できんよ
2022/05/07(土) 13:59:18.26ID:u2uFhB8a0
>>516
誰が何を確認するの？
学習データとして妥当なのかそれ、という話なんだが
518デフォルトの名無しさん (ﾜｯﾁｮｲ 6204-cfd4 [131.213.243.150])
垢版 |
2022/05/07(土) 14:17:45.58ID:TDwBHkCb0
学習データの妥当性や追加のデータが必要かどうかも普通は打ち合わせしとくよね？
最終的なアウトプットを出す為に必要なデータもエンジニアから提案あるよね？
2022/05/07(土) 14:31:19.87ID:9e79BjZl0
学習データが1000万件ぐらいあれば話が変わってくるけど
現実にあるのはせいぜい1万件、ひどいと100件ぐらいで
何とかしてくれと言ってくる
520デフォルトの名無しさん (ﾜｯﾁｮｲ 6204-cfd4 [131.213.243.150])
垢版 |
2022/05/07(土) 14:35:10.26ID:TDwBHkCb0
無茶なこと言ってくる人多いからね
最初にはっきりさせておかないと後々面倒になるんだよ
今は周りも大分理解が進んできてるけどさ
2022/05/07(土) 14:51:30.69ID:cvuJwPv2a
「100件でやれ」といわれて「それじゃ少なすぎてできない」というのは簡単だけど
本当にできないとは限らないからな
そこが難しいところなんだよ
「やる気になれない」とか「俺には無理」ってだけ
2022/05/07(土) 15:00:50.77ID:u2uFhB8a0
>>518
学習データの妥当性って基本的にベンダー側が確認するもんだよね？
お客さん的には、領収書と請求書が見分けられる提案が貰えれば、他はどうでもいい。
ベンダー側の危機感知能力に依存するんじゃないだろうか。
しくじると悲惨。しかも試験運用では完璧だったりする。
523デフォルトの名無しさん (ﾜｯﾁｮｲ 6204-cfd4 [131.213.243.150])
垢版 |
2022/05/07(土) 15:02:08.44ID:TDwBHkCb0
自分の研究開発テーマだったら取り組む
他部門からの依頼だと確証が持てないから断るかな
2022/05/09(月) 20:40:18.05ID:nBUQfFjcH
初心者の質問ですみません
学習中にバッチサイズを変更すると、lossとaccuracyが変わってしまうんですが、
バッチサイズによって収束値が変わるってことでしょうか？
それだとバッチサイズの設定が結果の精度に影響しませんか？
525デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-UDwQ [153.243.43.6])
垢版 |
2022/05/10(火) 08:13:30.90ID:/XkHfgKF0
>>524
影響するよー。だからハイパーパラメータの調整はバッチサイズも含むんだよー。ミニバッチが内部的に何やってるかはググってね。でも、ざっくり、学習パラメータ最適化時のサンプリングサイズだと思えばいいよー
2022/05/10(火) 08:51:59.10ID:NCnPeIRkH
>>525
ありがとうございます
やっぱり影響するんですね
そうなると、モデルの作り方、パラメータの設定方法、必ず正しいというやり方がないので、
初心者にはハードルが高いですね
もうある程度適当にエイヤーでやってみるしかないですね
527デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6])
垢版 |
2022/05/10(火) 08:59:18.09ID:/XkHfgKF0
>>526
正しいやり方はないけど、単純なアルゴリズムでベースラインモデル作って評価基準を作り、独自のモデルがそれと比較して優位かを確認しながら進めるという、方法論のテンプレはあるよー。
今ならAutoMLを使うのもいいねー。対応しているタスクならだけどねー
2022/05/10(火) 09:43:02.83ID:Kl+PeJSAH
>>527
AutoML、初めて知りました
無知でもできそうですねｗ
試しに入れてみました
いろいろ勉強できそうです
教えてくださりありがとうございました
2022/05/10(火) 11:29:37.64ID:a3woWy82H
tpot自動すぎて怖いｗｗｗ
エポック数すら指定しないし
追加学習したほうがよさそうなのにこれ以上は過学習になるんだろうか
2022/05/10(火) 13:14:08.17ID:zWCxNbfy0
バッチはサイズだけでなくサンプルのまとめ方が重要になる場合も
たとえば数字の文字認識をする場合は１つのバッチに0-9のサンプルがバランスよく
含まれるようにした方が学習がうまく行く
逆に、0だけ、1だけとかでバッチを作ってしまうとなかなか収束しなくなる
2022/05/10(火) 13:20:34.71ID:OS09Ye+10
前にtpot使ったけどボロボロだったぞ
2022/05/10(火) 14:00:41.96ID:J0ydLFpDH
>>531
正直あんまり収束してない感じなので追加学習させたいのですが、やり方がわかりませんｗ
2022/05/10(火) 18:02:27.33ID:A/IfvceU0
>>530
確かにそういうこと起こりそうだけど、なんか指摘してる論文てあったっけ？
534デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6])
垢版 |
2022/05/10(火) 18:17:38.04ID:/XkHfgKF0
>>533
具体的な論文は把握してないけど、時系列予測で考えると直感的な理解が得られ易いと思うよー
2022/05/10(火) 18:35:36.21ID:zWCxNbfy0
>>533
俺も論文とかはわからないが教科書に載ってるレベルの話なような
バッチのサンプルでまとめて勾配を計算するので、サンプルのバランスが悪いと
ウエイトがあっちに行ったりこっちに行ったりしてしまうが、
バランスが良いとあるべき方向に真っ直ぐ進みやすい、ということかなと直感的には理解している
2022/05/10(火) 18:51:37.71ID:gcxSlYEt0
・日立、週休3日で給与維持　生産性向上へ働き方改革 時間から成果へ転換
・日立、最低勤務時間を撤廃　「週休3日」も可能に
・2022年の新入社員、79.8%がテレワーク　オフィスの必要性は？
・日立、富士通、NEC…「ジョブ型雇用」を大企業が続々導入する理由
・日立やNECが導入へ　「週休3日」は人材獲得の切り札
・リクルートグループ、週休｢約3日｣に。4月から年間休日を145日に増加へ
・カルビー／国内社員3900人を対象に副業解禁
2022/05/10(火) 19:37:35.64ID:rAiWhgPwx
>>535
確率的最急降下法だから、偏った方向に突き進むのは良くないとか、そういう次元の話だと思っていた
2022/05/10(火) 19:43:41.75ID:OS09Ye+10
そういうことかと
2022/05/11(水) 02:35:50.86ID:n/T4USjf0
確率的勾配降下法と最急降下法が混じってないか？

最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新
確率的勾配降下法：１サンプル毎に勾配を求めてウエイトを更新
ミニバッチ勾配降下法：ミニバッチ毎に勾配を求めてウエイトを更新

んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね
2022/05/11(水) 03:49:48.40ID:2hlm/96F0
ごめん訂正ありがと
2022/05/11(水) 06:58:42.56ID:168GVk5R0
ミニバッチも偏ってたら駄目じゃない？
2022/05/11(水) 09:33:13.11ID:2hlm/96F0
駄目だよね
偏ったサンプルの気持ちいい場所に捕まってしまう
2022/05/11(水) 09:43:34.76ID:n/T4USjf0
確率的勾配降下法でもミニバッチでもサンプルの与え方が偏るのはダメ
普通は学習ツールがランダムシャッフルしてくれるから気にしなくてもだいたいうまく行くが
性質の違うデータの種類がいっぱいあるような場合はランダムに任せてるとバッチ内のサンプルが
偏りやすくなる場合がある
そのため、たいていの学習プラットフォームではバッチを生成する処理を上書きするための
手段が用意されてたりする
バッチの処理順序はランダムでok
2022/05/11(水) 13:57:20.69ID:SfomTu1y0
ミニバッチでもバッチのデータと全データで勾配方向が違うから確率的になるけどな
バッチサイズが小さいとそのズレは比較的大きくなる
2022/05/11(水) 15:02:21.52ID:F52sGOdk0
でもその差を理論的だったり実験的に検証してる論文はないんじゃない？
2022/05/11(水) 15:06:03.86ID:xW75jOAua
さすがにあるだろ。80年代にありそう
2022/05/11(水) 16:21:53.90ID:SfomTu1y0
学習に使う全データは実際に発生するデータの部分集合である事は変わらない
全データで勾配を計算したとしても母集団の情報を使っている事にはならないから確率的勾配降下とも解釈できる

あくまでも学習データに限定して最急降下というだけ
未知データに対する汎化能力で見ると最急降下になっているかは分からない
2022/05/11(水) 20:06:44.40ID:n/T4USjf0
それはなんかズレてるような
学習データでしか学習しない（勾配を求めて降下させることもない）んだから母集団とか持ち出さなくても

確率的と最急降下の本質的な違いは、確率的に学習することによりローカルミニマムを抜け出す
チャンスがあるかどうかなのでは
そういう意味ではミニバッチ法も確率的だというのはあってると思う
2022/05/11(水) 20:15:05.10ID:168GVk5R0
サイコロふってサンプル選んでミニバッチ作ることが確率的なの？
2022/05/11(水) 20:32:09.62ID:n/T4USjf0
サンプルの選び方によって勾配が変わるので学習の方向はあっち行ったりこっち行ったりする
でもどちらかと言うと正しい方向に進む確率の方がちょっとだけ高い
そういう意味で確率的、なんだと思う

これはアニーリング問題と同じで、分子を最初は大きくランダムに動かして
（でもちょっとだけ正しい方向に進みやすくして）少しずつ動きを小さくしていくと
最も安定したところに収束する
分子の動き＝温度で、温度を十分にゆっくり下げると最適解に到達することが証明されてる

だからDLでも学習率(温度と等価)の下げ方が重要なんだが最近は自動になって便利だね
2022/05/11(水) 20:57:45.21ID:SfomTu1y0
>>548
テスト用にデータを分けておいて汎化能力を評価する
過学習になっていないかを確認するため
それでもその後運用すると未学習データに対する精度が要求より低かったりする
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況