!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に1つずつ減るので、減ってたら3回に増やしてたてること。
機械学習とデータマイニングについて語れ若人
*機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです。
■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
探検
【統計分析】機械学習・データマイニング31
■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん (ワッチョイ 7b10-4VFp [114.163.141.1])
2021/09/26(日) 01:32:46.82ID:fnXwjiVa0482ハノン ◆QZaw55cn4c (ワッチョイ 9b66-ZAg2 [183.77.78.72 [上級国民]])
2022/04/18(月) 00:02:15.50ID:fO2jMkbS0 >>29
さてそれはどうでしょうか
実は1月〜3月ほど強度のストレス下にあり、一睡もできない日々が2ヶ月続きました(体力維持のためしっかり食べてビタミン剤で補強しても体重は15kgも減りました)が、じゃあ記憶が全然できなかったかというとそうでもなかったです…
今ではサイコパス呼ばわりされちゃっています、私は結構タフですねえ…
さてそれはどうでしょうか
実は1月〜3月ほど強度のストレス下にあり、一睡もできない日々が2ヶ月続きました(体力維持のためしっかり食べてビタミン剤で補強しても体重は15kgも減りました)が、じゃあ記憶が全然できなかったかというとそうでもなかったです…
今ではサイコパス呼ばわりされちゃっています、私は結構タフですねえ…
483デフォルトの名無しさん (ワッチョイ c95f-xzLX [202.226.219.4])
2022/04/18(月) 01:44:31.01ID:0HwQROji0 本当に2ヶ月(24x60=1440時間)覚醒し続けたならもう死んでる。
つまり、2ヶ月一睡もしなかったというのは妄想。そりゃ精神障害扱いされるわ。
つまり、2ヶ月一睡もしなかったというのは妄想。そりゃ精神障害扱いされるわ。
484デフォルトの名無しさん (テテンテンテン MM73-/90K [193.119.150.87])
2022/04/18(月) 10:27:14.26ID:ldvKvDDSM 今yandexクラウドって日本から契約できるかな?
485デフォルトの名無しさん (ワッチョイ 4fe6-5amf [58.183.206.102])
2022/04/23(土) 00:30:31.12ID:dMbrZ21D0 機械学習メインでやってる人からすると、例えばGLMみたいな統計モデリングはどういう扱い?機械学習の一部?
486デフォルトの名無しさん (ワッチョイ 035f-Ok77 [14.10.48.193])
2022/04/23(土) 00:48:26.73ID:vni05tAU0 学習データを元にモデルのパラメータを推定するんだから機械学習
487デフォルトの名無しさん (ワッチョイ df10-rbym [153.243.53.4])
2022/04/23(土) 20:31:19.17ID:YDHn6dIe0 最小二乗法も機械学習?
488デフォルトの名無しさん (ワッチョイ 3fd5-Tb6s [111.217.170.2])
2022/04/23(土) 23:00:18.32ID:1pRqwchI0 うん
489デフォルトの名無しさん (ワッチョイ cf63-g9NX [153.169.32.251])
2022/04/23(土) 23:24:04.66ID:KO5U6zCs0 というより機械学習が統計崩れ
490デフォルトの名無しさん (ワッチョイ 6ff7-pAiX [61.25.140.151])
2022/04/24(日) 00:02:27.67ID:XmcVNZmY0 > お前は毎朝起きるたびに俺に負けたことを思い出すよ^^
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw
491デフォルトの名無しさん (ドコグロ MM5f-6JeH [125.193.15.63])
2022/04/24(日) 02:26:30.49ID:zMrq6bhEM 最小二乗法は機械学習ではないな
計算過程に学習が必要でないから
計算過程に学習が必要でないから
492デフォルトの名無しさん (ワッチョイ ef97-rYrL [182.171.246.142])
2022/04/24(日) 03:32:27.95ID:JMbxt0Az0 「学習」という言葉をどう定義しているの?
493デフォルトの名無しさん (アウアウウー Sa47-Ok77 [106.146.59.54])
2022/04/24(日) 09:31:15.29ID:O71gCCTUa 学習用データに応じて結果が変わるんだから最小二乗法も学習してるでしょ
494デフォルトの名無しさん (ワッチョイ db6e-7xH5 [138.64.67.32])
2022/04/24(日) 16:32:36.67ID:2A9d2NDv0 クラスタリングも機械学習定期
495デフォルトの名無しさん (ワッチョイ df10-rbym [153.243.53.4])
2022/04/24(日) 17:33:03.56ID:WgEnBMjc0 最近傍法も機械学習
496デフォルトの名無しさん (スププ Sdaf-gg/B [49.98.235.56])
2022/04/24(日) 17:57:41.63ID:+Nm8DxZxd 〇〇はAIですかも同系統の質問だけど何でそんなことが気になるのか不思議
497デフォルトの名無しさん (ドコグロ MM5f-6JeH [125.193.15.36])
2022/04/24(日) 21:10:28.13ID:C8yoCkZdM いや最小二乗法は解析的に解くから学習してないだろう
学習の定義とかしらんが、機械学習ではない
学習の定義とかしらんが、機械学習ではない
498デフォルトの名無しさん (スッップ Sdaf-Tb6s [49.98.147.87])
2022/04/24(日) 21:13:53.85ID:+sg2jP07d 評価関数をMSEにして回帰してるなら機械学習
499デフォルトの名無しさん (ワッチョイ df10-rbym [153.243.53.4])
2022/04/24(日) 22:11:05.81ID:WgEnBMjc0500デフォルトの名無しさん (アウアウウー Sa47-mHJH [106.154.70.188])
2022/04/24(日) 23:04:26.15ID:b8mqC9pha MLの定義なんて決まってないからな
入れる奴もいれば入れない奴もいるってだけ
俺は最小二乗法も入ると考えてるけど、内心では古典的なクラスタリング含めてそんなもんML扱いすんなよと思ってる
入れる奴もいれば入れない奴もいるってだけ
俺は最小二乗法も入ると考えてるけど、内心では古典的なクラスタリング含めてそんなもんML扱いすんなよと思ってる
501デフォルトの名無しさん (ワッチョイ 7701-/zPW [126.125.20.44])
2022/04/25(月) 08:28:54.71ID:WWt+XW3b0 こんなこと言っても線形回帰に精度で負けちゃうんだよね
502デフォルトの名無しさん (ワンミングク MM97-7xH5 [114.156.59.119])
2022/04/25(月) 17:57:03.33ID:W8GcUQ3oM 成田悠輔ってどうよ?
503デフォルトの名無しさん (ワッチョイ ab63-UtWS [180.22.54.207])
2022/04/26(火) 01:25:38.26ID:Kn8thUra0 回帰の勾配ブースティング木の勾配がMSEの微分で残差となるのは理解できたのですが、
分類問題の場合の各決定木の勾配って何になるのでしょうか?
分類問題の場合の各決定木の勾配って何になるのでしょうか?
504デフォルトの名無しさん (ワッチョイ db6e-7xH5 [138.64.67.32])
2022/04/26(火) 06:10:44.32ID:+JXXpgOw0 mse
505デフォルトの名無しさん (ワンミングク MM4f-7xH5 [60.45.221.227])
2022/04/27(水) 14:32:11.91ID:iTC4QIl5M lecunとbengioとhintonは普通の研究者のひとつ上のレベルにいるのな
大体の技術の先駆者で驚愕
最近のlecunのインタビュー読んだけどまだアイデアがあるみたいだな
arcfaceでひーこら言ってる俺とは違いすぎて挫折感ハンパない
大体の技術の先駆者で驚愕
最近のlecunのインタビュー読んだけどまだアイデアがあるみたいだな
arcfaceでひーこら言ってる俺とは違いすぎて挫折感ハンパない
506デフォルトの名無しさん (ワッチョイ 8b5f-/zPW [14.12.4.1])
2022/04/28(木) 01:23:19.89ID:jP1CmVa/0 割と微妙かな。いうほどクリティカルな論文は出してないんじゃ。
507デフォルトの名無しさん (ワンミングク MM4f-7xH5 [60.45.221.227])
2022/04/28(木) 13:28:27.59ID:oc5VTTvkM 東大がディープフェイク検出アルゴリズムを出したみたい
508デフォルトの名無しさん (アウアウウー Sa47-mHJH [106.154.70.243])
2022/04/28(木) 13:39:10.55ID:moo4Gf/Ba まばたきしないとか髪ぼやけるとか、人間なら検出できるって言ってたからな
そのうちディープフェイク側が精度上がるだろ
そのうちディープフェイク側が精度上がるだろ
509デフォルトの名無しさん (ワッチョイ 8b5f-MOU1 [14.12.4.1])
2022/04/28(木) 14:29:37.14ID:jP1CmVa/0 てかそうやって進歩させるのがGANのコンセプトではあるわな。
510デフォルトの名無しさん (ワッチョイ db6e-7xH5 [138.64.67.32])
2022/04/28(木) 20:37:53.29ID:bi7reEEy0 違う
511デフォルトの名無しさん (ワッチョイ 8d7c-PvPk [122.218.227.106])
2022/05/07(土) 06:55:36.29ID:u2uFhB8a0 Qiita のこの記事、実にいいなぁ
機械学習でなんとかしようと安易に考えるな
https://qiita.com/nonbiri15/items/cfc6909ff71273b63f5e
ディープラーニングなら学習すればできるんでしょ、と言う奴、どっか遠くの星にでもに行ってほしい
機械学習でなんとかしようと安易に考えるな
https://qiita.com/nonbiri15/items/cfc6909ff71273b63f5e
ディープラーニングなら学習すればできるんでしょ、と言う奴、どっか遠くの星にでもに行ってほしい
512デフォルトの名無しさん (ワッチョイ 8d7c-PvPk [122.218.227.106])
2022/05/07(土) 07:29:24.11ID:u2uFhB8a0 たとえば、お客さんが受け取った帳票が領収書か請求書かを自動判別したい場合、
今まで受け取った領収書と請求書の画像を学習データにしてDLに学習させて、できた簡単とか言う奴いるけど
・未知の帳票フォーマットに対して有効なのかそれ?
・受け取った帳票は全部印字・記入済なんだが、そんなんで学習していいのか?(未記入帳票は不要なの?)
そんなんには怖くってまかせられないんだが、おいらの感覚は合ってるよね
今まで受け取った領収書と請求書の画像を学習データにしてDLに学習させて、できた簡単とか言う奴いるけど
・未知の帳票フォーマットに対して有効なのかそれ?
・受け取った帳票は全部印字・記入済なんだが、そんなんで学習していいのか?(未記入帳票は不要なの?)
そんなんには怖くってまかせられないんだが、おいらの感覚は合ってるよね
513デフォルトの名無しさん (ワッチョイ 8d7c-PvPk [122.218.227.106])
2022/05/07(土) 07:52:28.76ID:u2uFhB8a0 たとえば文字枠のある用紙に書かれた手書き文字を OCR する場合
・手書き文字だから枠からはみ出すし、はみ出す位置もさまざまだし、
・文字枠も1桁ごとだったり3桁ごとだったり点線だったりキリがない
こういうのは対象画像をそのまま(枠付きで)DLに学習させても、読めますよなんてとても言えんと思うんだが。最近はそうでもないのか?
昔は専門家がデータ眺めてうんうん唸ってロジックを考えていたが、そういうのも大切だよねと
・手書き文字だから枠からはみ出すし、はみ出す位置もさまざまだし、
・文字枠も1桁ごとだったり3桁ごとだったり点線だったりキリがない
こういうのは対象画像をそのまま(枠付きで)DLに学習させても、読めますよなんてとても言えんと思うんだが。最近はそうでもないのか?
昔は専門家がデータ眺めてうんうん唸ってロジックを考えていたが、そういうのも大切だよねと
514デフォルトの名無しさん (ワッチョイ 8d7c-PvPk [122.218.227.106])
2022/05/07(土) 08:12:58.95ID:u2uFhB8a0 あと、学習データで評価してお客に報告するアホ技術者?もシリウスβあたりに左遷して欲しい
スキャンしなおしたら同じ紙でも別データだよね、とかいうやつも
正読率80%はぎりぎり最低ラインで、どんな方法を使ってもこの程度はいきます
95%を超えるあたりからが勝負です。頑張りましょうね。と言いたい
スキャンしなおしたら同じ紙でも別データだよね、とかいうやつも
正読率80%はぎりぎり最低ラインで、どんな方法を使ってもこの程度はいきます
95%を超えるあたりからが勝負です。頑張りましょうね。と言いたい
515デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
2022/05/07(土) 12:37:56.46ID:Gp5QHcLl0 simclrはしんくらーで良いの?
516デフォルトの名無しさん (ワッチョイ 6204-cfd4 [131.213.243.150])
2022/05/07(土) 13:07:42.38ID:TDwBHkCb0517デフォルトの名無しさん (ワッチョイ 8d7c-TPhO [122.218.227.106])
2022/05/07(土) 13:59:18.26ID:u2uFhB8a0518デフォルトの名無しさん (ワッチョイ 6204-cfd4 [131.213.243.150])
2022/05/07(土) 14:17:45.58ID:TDwBHkCb0 学習データの妥当性や追加のデータが必要かどうかも普通は打ち合わせしとくよね?
最終的なアウトプットを出す為に必要なデータもエンジニアから提案あるよね?
最終的なアウトプットを出す為に必要なデータもエンジニアから提案あるよね?
519デフォルトの名無しさん (ワッチョイ 0202-zDU0 [59.138.123.33])
2022/05/07(土) 14:31:19.87ID:9e79BjZl0 学習データが1000万件ぐらいあれば話が変わってくるけど
現実にあるのはせいぜい1万件、ひどいと100件ぐらいで
何とかしてくれと言ってくる
現実にあるのはせいぜい1万件、ひどいと100件ぐらいで
何とかしてくれと言ってくる
520デフォルトの名無しさん (ワッチョイ 6204-cfd4 [131.213.243.150])
2022/05/07(土) 14:35:10.26ID:TDwBHkCb0 無茶なこと言ってくる人多いからね
最初にはっきりさせておかないと後々面倒になるんだよ
今は周りも大分理解が進んできてるけどさ
最初にはっきりさせておかないと後々面倒になるんだよ
今は周りも大分理解が進んできてるけどさ
521デフォルトの名無しさん (アウアウウー Sac5-e+q+ [106.154.64.98])
2022/05/07(土) 14:51:30.69ID:cvuJwPv2a 「100件でやれ」といわれて「それじゃ少なすぎてできない」というのは簡単だけど
本当にできないとは限らないからな
そこが難しいところなんだよ
「やる気になれない」とか「俺には無理」ってだけ
本当にできないとは限らないからな
そこが難しいところなんだよ
「やる気になれない」とか「俺には無理」ってだけ
522デフォルトの名無しさん (ワッチョイ 8d7c-PvPk [122.218.227.106])
2022/05/07(土) 15:00:50.77ID:u2uFhB8a0 >>518
学習データの妥当性って基本的にベンダー側が確認するもんだよね?
お客さん的には、領収書と請求書が見分けられる提案が貰えれば、他はどうでもいい。
ベンダー側の危機感知能力に依存するんじゃないだろうか。
しくじると悲惨。しかも試験運用では完璧だったりする。
学習データの妥当性って基本的にベンダー側が確認するもんだよね?
お客さん的には、領収書と請求書が見分けられる提案が貰えれば、他はどうでもいい。
ベンダー側の危機感知能力に依存するんじゃないだろうか。
しくじると悲惨。しかも試験運用では完璧だったりする。
523デフォルトの名無しさん (ワッチョイ 6204-cfd4 [131.213.243.150])
2022/05/07(土) 15:02:08.44ID:TDwBHkCb0 自分の研究開発テーマだったら取り組む
他部門からの依頼だと確証が持てないから断るかな
他部門からの依頼だと確証が持てないから断るかな
524デフォルトの名無しさん (JP 0Hca-dy93 [103.163.220.76])
2022/05/09(月) 20:40:18.05ID:nBUQfFjcH 初心者の質問ですみません
学習中にバッチサイズを変更すると、lossとaccuracyが変わってしまうんですが、
バッチサイズによって収束値が変わるってことでしょうか?
それだとバッチサイズの設定が結果の精度に影響しませんか?
学習中にバッチサイズを変更すると、lossとaccuracyが変わってしまうんですが、
バッチサイズによって収束値が変わるってことでしょうか?
それだとバッチサイズの設定が結果の精度に影響しませんか?
525デフォルトの名無しさん (ワッチョイ ee10-UDwQ [153.243.43.6])
2022/05/10(火) 08:13:30.90ID:/XkHfgKF0 >>524
影響するよー。だからハイパーパラメータの調整はバッチサイズも含むんだよー。ミニバッチが内部的に何やってるかはググってね。でも、ざっくり、学習パラメータ最適化時のサンプリングサイズだと思えばいいよー
影響するよー。だからハイパーパラメータの調整はバッチサイズも含むんだよー。ミニバッチが内部的に何やってるかはググってね。でも、ざっくり、学習パラメータ最適化時のサンプリングサイズだと思えばいいよー
526デフォルトの名無しさん (JP 0Hca-tbBW [103.163.220.100])
2022/05/10(火) 08:51:59.10ID:NCnPeIRkH >>525
ありがとうございます
やっぱり影響するんですね
そうなると、モデルの作り方、パラメータの設定方法、必ず正しいというやり方がないので、
初心者にはハードルが高いですね
もうある程度適当にエイヤーでやってみるしかないですね
ありがとうございます
やっぱり影響するんですね
そうなると、モデルの作り方、パラメータの設定方法、必ず正しいというやり方がないので、
初心者にはハードルが高いですね
もうある程度適当にエイヤーでやってみるしかないですね
527デフォルトの名無しさん (ワッチョイ ee10-cfd4 [153.243.43.6])
2022/05/10(火) 08:59:18.09ID:/XkHfgKF0 >>526
正しいやり方はないけど、単純なアルゴリズムでベースラインモデル作って評価基準を作り、独自のモデルがそれと比較して優位かを確認しながら進めるという、方法論のテンプレはあるよー。
今ならAutoMLを使うのもいいねー。対応しているタスクならだけどねー
正しいやり方はないけど、単純なアルゴリズムでベースラインモデル作って評価基準を作り、独自のモデルがそれと比較して優位かを確認しながら進めるという、方法論のテンプレはあるよー。
今ならAutoMLを使うのもいいねー。対応しているタスクならだけどねー
528デフォルトの名無しさん (JP 0Hca-wvgW [103.163.220.95])
2022/05/10(火) 09:43:02.83ID:Kl+PeJSAH529デフォルトの名無しさん (JP 0Hca-IBC7 [103.163.220.59])
2022/05/10(火) 11:29:37.64ID:a3woWy82H tpot自動すぎて怖いwww
エポック数すら指定しないし
追加学習したほうがよさそうなのにこれ以上は過学習になるんだろうか
エポック数すら指定しないし
追加学習したほうがよさそうなのにこれ以上は過学習になるんだろうか
530デフォルトの名無しさん (ワッチョイ 5102-U1YL [118.154.96.7])
2022/05/10(火) 13:14:08.17ID:zWCxNbfy0 バッチはサイズだけでなくサンプルのまとめ方が重要になる場合も
たとえば数字の文字認識をする場合は1つのバッチに0-9のサンプルがバランスよく
含まれるようにした方が学習がうまく行く
逆に、0だけ、1だけとかでバッチを作ってしまうとなかなか収束しなくなる
たとえば数字の文字認識をする場合は1つのバッチに0-9のサンプルがバランスよく
含まれるようにした方が学習がうまく行く
逆に、0だけ、1だけとかでバッチを作ってしまうとなかなか収束しなくなる
531デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
2022/05/10(火) 13:20:34.71ID:OS09Ye+10 前にtpot使ったけどボロボロだったぞ
532デフォルトの名無しさん (JP 0Hca-4Pmz [103.163.220.96])
2022/05/10(火) 14:00:41.96ID:J0ydLFpDH >>531
正直あんまり収束してない感じなので追加学習させたいのですが、やり方がわかりませんw
正直あんまり収束してない感じなので追加学習させたいのですが、やり方がわかりませんw
533デフォルトの名無しさん (ワッチョイ 7d5f-oYRD [106.73.226.99])
2022/05/10(火) 18:02:27.33ID:A/IfvceU0 >>530
確かにそういうこと起こりそうだけど、なんか指摘してる論文てあったっけ?
確かにそういうこと起こりそうだけど、なんか指摘してる論文てあったっけ?
534デフォルトの名無しさん (ワッチョイ ee10-cfd4 [153.243.43.6])
2022/05/10(火) 18:17:38.04ID:/XkHfgKF0 >>533
具体的な論文は把握してないけど、時系列予測で考えると直感的な理解が得られ易いと思うよー
具体的な論文は把握してないけど、時系列予測で考えると直感的な理解が得られ易いと思うよー
535デフォルトの名無しさん (ワッチョイ 5102-U1YL [118.154.96.7])
2022/05/10(火) 18:35:36.21ID:zWCxNbfy0 >>533
俺も論文とかはわからないが教科書に載ってるレベルの話なような
バッチのサンプルでまとめて勾配を計算するので、サンプルのバランスが悪いと
ウエイトがあっちに行ったりこっちに行ったりしてしまうが、
バランスが良いとあるべき方向に真っ直ぐ進みやすい、ということかなと直感的には理解している
俺も論文とかはわからないが教科書に載ってるレベルの話なような
バッチのサンプルでまとめて勾配を計算するので、サンプルのバランスが悪いと
ウエイトがあっちに行ったりこっちに行ったりしてしまうが、
バランスが良いとあるべき方向に真っ直ぐ進みやすい、ということかなと直感的には理解している
536デフォルトの名無しさん (ワッチョイ 8d01-U1YL [122.255.141.199])
2022/05/10(火) 18:51:37.71ID:gcxSlYEt0 ・日立、週休3日で給与維持 生産性向上へ働き方改革 時間から成果へ転換
・日立、最低勤務時間を撤廃 「週休3日」も可能に
・2022年の新入社員、79.8%がテレワーク オフィスの必要性は?
・日立、富士通、NEC…「ジョブ型雇用」を大企業が続々導入する理由
・日立やNECが導入へ 「週休3日」は人材獲得の切り札
・リクルートグループ、週休「約3日」に。4月から年間休日を145日に増加へ
・カルビー/国内社員3900人を対象に副業解禁
・日立、最低勤務時間を撤廃 「週休3日」も可能に
・2022年の新入社員、79.8%がテレワーク オフィスの必要性は?
・日立、富士通、NEC…「ジョブ型雇用」を大企業が続々導入する理由
・日立やNECが導入へ 「週休3日」は人材獲得の切り札
・リクルートグループ、週休「約3日」に。4月から年間休日を145日に増加へ
・カルビー/国内社員3900人を対象に副業解禁
537デフォルトの名無しさん (アークセー Sx91-PvPk [126.151.83.114])
2022/05/10(火) 19:37:35.64ID:rAiWhgPwx >>535
確率的最急降下法だから、偏った方向に突き進むのは良くないとか、そういう次元の話だと思っていた
確率的最急降下法だから、偏った方向に突き進むのは良くないとか、そういう次元の話だと思っていた
538デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
2022/05/10(火) 19:43:41.75ID:OS09Ye+10 そういうことかと
539デフォルトの名無しさん (ワッチョイ 5102-U1YL [118.154.96.7])
2022/05/11(水) 02:35:50.86ID:n/T4USjf0 確率的勾配降下法と最急降下法が混じってないか?
最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新
確率的勾配降下法:1サンプル毎に勾配を求めてウエイトを更新
ミニバッチ勾配降下法:ミニバッチ毎に勾配を求めてウエイトを更新
んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね
最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新
確率的勾配降下法:1サンプル毎に勾配を求めてウエイトを更新
ミニバッチ勾配降下法:ミニバッチ毎に勾配を求めてウエイトを更新
んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね
540デフォルトの名無しさん (ワッチョイ 8d7c-maJN [122.218.227.106])
2022/05/11(水) 03:49:48.40ID:2hlm/96F0 ごめん訂正ありがと
541デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
2022/05/11(水) 06:58:42.56ID:168GVk5R0 ミニバッチも偏ってたら駄目じゃない?
542デフォルトの名無しさん (ワッチョイ 8d7c-maJN [122.218.227.106])
2022/05/11(水) 09:33:13.11ID:2hlm/96F0 駄目だよね
偏ったサンプルの気持ちいい場所に捕まってしまう
偏ったサンプルの気持ちいい場所に捕まってしまう
543デフォルトの名無しさん (ワッチョイ 5102-U1YL [118.154.96.7])
2022/05/11(水) 09:43:34.76ID:n/T4USjf0 確率的勾配降下法でもミニバッチでもサンプルの与え方が偏るのはダメ
普通は学習ツールがランダムシャッフルしてくれるから気にしなくてもだいたいうまく行くが
性質の違うデータの種類がいっぱいあるような場合はランダムに任せてるとバッチ内のサンプルが
偏りやすくなる場合がある
そのため、たいていの学習プラットフォームではバッチを生成する処理を上書きするための
手段が用意されてたりする
バッチの処理順序はランダムでok
普通は学習ツールがランダムシャッフルしてくれるから気にしなくてもだいたいうまく行くが
性質の違うデータの種類がいっぱいあるような場合はランダムに任せてるとバッチ内のサンプルが
偏りやすくなる場合がある
そのため、たいていの学習プラットフォームではバッチを生成する処理を上書きするための
手段が用意されてたりする
バッチの処理順序はランダムでok
544デフォルトの名無しさん (ワッチョイ ee10-ojei [153.131.102.129])
2022/05/11(水) 13:57:20.69ID:SfomTu1y0 ミニバッチでもバッチのデータと全データで勾配方向が違うから確率的になるけどな
バッチサイズが小さいとそのズレは比較的大きくなる
バッチサイズが小さいとそのズレは比較的大きくなる
545デフォルトの名無しさん (ワッチョイ 7d5f-oYRD [106.73.226.99])
2022/05/11(水) 15:02:21.52ID:F52sGOdk0 でもその差を理論的だったり実験的に検証してる論文はないんじゃない?
546デフォルトの名無しさん (アウアウウー Sac5-e+q+ [106.154.72.157])
2022/05/11(水) 15:06:03.86ID:xW75jOAua さすがにあるだろ。80年代にありそう
547デフォルトの名無しさん (ワッチョイ ee10-ojei [153.131.102.129])
2022/05/11(水) 16:21:53.90ID:SfomTu1y0 学習に使う全データは実際に発生するデータの部分集合である事は変わらない
全データで勾配を計算したとしても母集団の情報を使っている事にはならないから確率的勾配降下とも解釈できる
あくまでも学習データに限定して最急降下というだけ
未知データに対する汎化能力で見ると最急降下になっているかは分からない
全データで勾配を計算したとしても母集団の情報を使っている事にはならないから確率的勾配降下とも解釈できる
あくまでも学習データに限定して最急降下というだけ
未知データに対する汎化能力で見ると最急降下になっているかは分からない
548デフォルトの名無しさん (ワッチョイ 5102-U1YL [118.154.96.7])
2022/05/11(水) 20:06:44.40ID:n/T4USjf0 それはなんかズレてるような
学習データでしか学習しない(勾配を求めて降下させることもない)んだから母集団とか持ち出さなくても
確率的と最急降下の本質的な違いは、確率的に学習することによりローカルミニマムを抜け出す
チャンスがあるかどうかなのでは
そういう意味ではミニバッチ法も確率的だというのはあってると思う
学習データでしか学習しない(勾配を求めて降下させることもない)んだから母集団とか持ち出さなくても
確率的と最急降下の本質的な違いは、確率的に学習することによりローカルミニマムを抜け出す
チャンスがあるかどうかなのでは
そういう意味ではミニバッチ法も確率的だというのはあってると思う
549デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
2022/05/11(水) 20:15:05.10ID:168GVk5R0 サイコロふってサンプル選んでミニバッチ作ることが確率的なの?
550デフォルトの名無しさん (ワッチョイ 5102-U1YL [118.154.96.7])
2022/05/11(水) 20:32:09.62ID:n/T4USjf0 サンプルの選び方によって勾配が変わるので学習の方向はあっち行ったりこっち行ったりする
でもどちらかと言うと正しい方向に進む確率の方がちょっとだけ高い
そういう意味で確率的、なんだと思う
これはアニーリング問題と同じで、分子を最初は大きくランダムに動かして
(でもちょっとだけ正しい方向に進みやすくして)少しずつ動きを小さくしていくと
最も安定したところに収束する
分子の動き=温度で、温度を十分にゆっくり下げると最適解に到達することが証明されてる
だからDLでも学習率(温度と等価)の下げ方が重要なんだが最近は自動になって便利だね
でもどちらかと言うと正しい方向に進む確率の方がちょっとだけ高い
そういう意味で確率的、なんだと思う
これはアニーリング問題と同じで、分子を最初は大きくランダムに動かして
(でもちょっとだけ正しい方向に進みやすくして)少しずつ動きを小さくしていくと
最も安定したところに収束する
分子の動き=温度で、温度を十分にゆっくり下げると最適解に到達することが証明されてる
だからDLでも学習率(温度と等価)の下げ方が重要なんだが最近は自動になって便利だね
551デフォルトの名無しさん (ワッチョイ ee10-ojei [153.131.102.129])
2022/05/11(水) 20:57:45.21ID:SfomTu1y0552デフォルトの名無しさん (ワッチョイ 8510-hJAo [114.163.141.1])
2022/05/11(水) 23:37:55.47ID:cJjkDDOX0 過学習
意味: うまくいかないときの言い訳
意味: うまくいかないときの言い訳
553デフォルトの名無しさん (アウアウウー Sac5-e+q+ [106.154.69.155])
2022/05/11(水) 23:47:40.71ID:xXaj6qvMa 過学習できるってことはうまくいってるってことだよ
554デフォルトの名無しさん (テテンテンテン MM82-xesJ [193.119.144.94])
2022/05/12(木) 09:15:39.58ID:24mxIbhrM 初期の学習率てどうやって決めれば良いの? それとオプティマイザも
555デフォルトの名無しさん (テテンテンテン MM82-xesJ [193.119.144.94])
2022/05/12(木) 09:16:43.48ID:24mxIbhrM adam選んどきゃ正解なの?
556デフォルトの名無しさん (アウアウウー Sac5-e+q+ [106.154.69.155])
2022/05/12(木) 11:51:42.19ID:ssfk6Zuqa ユニット数とかすべてひっくるめて、無限にある組み合わせの中から適当に選んで試しまくってよさげなのを決めるしかないよ
autokerasみたいなの使って半自動で探すのもいいけど、制限も多いから自力(コーディング)で探すのが楽
autokerasみたいなの使って半自動で探すのもいいけど、制限も多いから自力(コーディング)で探すのが楽
557デフォルトの名無しさん (スップ Sd02-hJAo [1.75.155.91])
2022/05/12(木) 15:04:07.76ID:mMTw6/Aad 過学習なんて言葉いい加減禁句にしてほしい。
エラソぶったおっさんが学会でわかった口して過学習、過学習‥‥‥ブツブツ。、
(苦笑)
エラソぶったおっさんが学会でわかった口して過学習、過学習‥‥‥ブツブツ。、
(苦笑)
558デフォルトの名無しさん (スップ Sd02-hJAo [1.75.155.91])
2022/05/12(木) 15:07:39.54ID:mMTw6/Aad ただの造語に騙されないように‥‥‥
559デフォルトの名無しさん (ササクッテロル Sp91-YKh1 [126.234.43.89])
2022/05/12(木) 15:30:13.49ID:TPnOtntRp オーバーフィッティングならいいのか?
560デフォルトの名無しさん (JP 0Hca-Ix6I [103.163.220.94])
2022/05/12(木) 17:20:58.10ID:l5soNYRaH たとえばオセロや囲碁などのボードゲームではビットボードが使われてると思うんですが、
学習をさせるときは配列にビットを展開しないといけないんでしょうか?
それともインプットをビットボードの数値にしてもうまく学習できますか?
展開するとしたら結構な計算量とメモリ消費量になると思うのですが、現実どう処理されてるんでしょうか?
学習をさせるときは配列にビットを展開しないといけないんでしょうか?
それともインプットをビットボードの数値にしてもうまく学習できますか?
展開するとしたら結構な計算量とメモリ消費量になると思うのですが、現実どう処理されてるんでしょうか?
561デフォルトの名無しさん (アウアウウー Sac5-e+q+ [106.154.69.155])
2022/05/12(木) 17:40:20.64ID:ssfk6Zuqa bit単位で扱うことはないな。画像データのほうがはるかにメモリ食う
具体的にはゲーム処理は1マス1enum(内部的には4byteかな)でやるし、学習データは1マス1floatの割り当てでやる
オセロなら8x8マスだからfloat[64] 用意して自駒あるとこ1、敵-1、何もなしzero、入力マスク用にbool[64]用意して駒おけるとこだけtrueにして
lstmも何も使わない単純なPPOに突っ込むだけで一日で勝てないとこまでいくよ
具体的にはゲーム処理は1マス1enum(内部的には4byteかな)でやるし、学習データは1マス1floatの割り当てでやる
オセロなら8x8マスだからfloat[64] 用意して自駒あるとこ1、敵-1、何もなしzero、入力マスク用にbool[64]用意して駒おけるとこだけtrueにして
lstmも何も使わない単純なPPOに突っ込むだけで一日で勝てないとこまでいくよ
562デフォルトの名無しさん (ワッチョイ 0202-zDU0 [59.138.123.33])
2022/05/12(木) 18:07:08.93ID:XThBUtns0 配列のほとんどの部分が0なので
疎な配列、疎行列あたりのライブラリを使って
メモリを節約する
疎な配列、疎行列あたりのライブラリを使って
メモリを節約する
563デフォルトの名無しさん (テテンテンテン MM82-xesJ [193.119.144.25])
2022/05/12(木) 18:20:42.07ID:y2m3n7NiM 適当なオープンソースのやつみたら分かるんじゃね?
564デフォルトの名無しさん (ワッチョイ ee10-uM1l [153.243.53.4])
2022/05/12(木) 18:43:11.76ID:MKi5Gk5o0565デフォルトの名無しさん (エムゾネ FFa2-ZVzp [49.106.187.17])
2022/05/12(木) 19:08:36.43ID:eWCwulp9F 過学習の何が気に入らないのか
過学習は過学習だろ
過学習は過学習だろ
566デフォルトの名無しさん (アークセー Sx91-PvPk [126.196.37.22])
2022/05/12(木) 19:13:03.75ID:SeeVGpfXx567デフォルトの名無しさん (ワッチョイ ee10-cfd4 [153.243.43.6])
2022/05/12(木) 19:17:06.59ID:QHBqVOhI0 過学習と学習不足(未学習)は機械学習の基本的な考え方だねー。varianceとbiasと考えてもいいよー
ところがディープラーニングの世界では、過学習の先に突然精度が上がる現象が確認されてるよー
不思議だねー
ところがディープラーニングの世界では、過学習の先に突然精度が上がる現象が確認されてるよー
不思議だねー
568デフォルトの名無しさん (テテンテンテン MM82-xesJ [193.119.159.12])
2022/05/12(木) 19:26:27.74ID:awPT4EK2M >>567
この現象、体験したことないんだけどMNISTあたりでも観測できるの?
この現象、体験したことないんだけどMNISTあたりでも観測できるの?
569デフォルトの名無しさん (アークセー Sx91-PvPk [126.196.37.22])
2022/05/12(木) 19:30:00.86ID:SeeVGpfXx >>567
適当にぐぐったけどこれのこと?
過学習後も精度向上!?【論文】Deep Double Descent: Where Bigger Models and More Data Hurt の解説
https://www.acceluniverse.com/blog/developers/2020/01/deep-double-descent-where-bigger-models-and-more-data-hurt.html
ニワカに信じがたいので、ちょっと読んでみる
適当にぐぐったけどこれのこと?
過学習後も精度向上!?【論文】Deep Double Descent: Where Bigger Models and More Data Hurt の解説
https://www.acceluniverse.com/blog/developers/2020/01/deep-double-descent-where-bigger-models-and-more-data-hurt.html
ニワカに信じがたいので、ちょっと読んでみる
570デフォルトの名無しさん (アウアウウー Sac5-ZVzp [106.146.112.241])
2022/05/12(木) 19:34:46.68ID:V9a83oNra 丸暗記だって学習は学習
人間でも暗記は必要最低限だけにして知識を効率活用できる人もいれば丸暗記したことしか理解できずちょっと応用問題出されただけで理解不能に陥る人もいる
人間でも暗記は必要最低限だけにして知識を効率活用できる人もいれば丸暗記したことしか理解できずちょっと応用問題出されただけで理解不能に陥る人もいる
571デフォルトの名無しさん (ワッチョイ ee10-cfd4 [153.243.43.6])
2022/05/12(木) 19:35:33.93ID:QHBqVOhI0 Double Descentだねー
大規模言語モデルだと前提になってるよー
大規模言語モデルだと前提になってるよー
572デフォルトの名無しさん (ワッチョイ ee10-cfd4 [153.243.43.6])
2022/05/12(木) 19:38:29.11ID:QHBqVOhI0 とはいえ過学習を是とすると、それはただの全文検索なので
Double Descent, Overparameterizationは既知の概念ではない何かなんだろうねー
Double Descent, Overparameterizationは既知の概念ではない何かなんだろうねー
573デフォルトの名無しさん (ワッチョイ ee10-cfd4 [153.243.43.6])
2022/05/12(木) 19:41:34.38ID:QHBqVOhI0 >>568
トイプロブレムで実証したことはないけど、実務で大きめのモデルを扱っている人は、みんなそれっぽい現象を観測した経験があると思うよー
とはいえ、概念を先に知らないと偶然としか思わないんだけどねー
トイプロブレムで実証したことはないけど、実務で大きめのモデルを扱っている人は、みんなそれっぽい現象を観測した経験があると思うよー
とはいえ、概念を先に知らないと偶然としか思わないんだけどねー
574デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
2022/05/12(木) 20:23:08.75ID:gGBQiRDa0 >>573
ふうん
ふうん
575デフォルトの名無しさん (テテンテンテン MM82-qw0W [193.119.164.69])
2022/05/12(木) 22:36:43.51ID:m2THFYn4M >>567
局所解って話ではないの?
局所解って話ではないの?
576デフォルトの名無しさん (ワッチョイ 0202-zDU0 [59.138.123.33])
2022/05/12(木) 23:38:12.85ID:XThBUtns0 事例が多くなると
結局あらゆる事例が網羅されるという意味じゃね?
結局あらゆる事例が網羅されるという意味じゃね?
577デフォルトの名無しさん (ワッチョイ 09e6-/zFp [14.3.19.207])
2022/05/12(木) 23:53:34.27ID:CoPLz2Vj0 この分野まともな理屈なんて何一つねーんだし
深く考えても無駄よ
他の工学分野とかもっと理論でガチガチに固めてるしな
深く考えても無駄よ
他の工学分野とかもっと理論でガチガチに固めてるしな
578デフォルトの名無しさん (ワッチョイ 9d6e-xesJ [138.64.67.32])
2022/05/13(金) 12:37:27.02ID:AsvYLwfP0 日本の研究者って理論も弱いよね
579デフォルトの名無しさん (ワッチョイ 7d5f-oYRD [106.73.226.99])
2022/05/13(金) 15:43:58.39ID:nFnwnz+O0 弱いというか、現実のDNNの収束過程とは離れた、あまりに理論寄りすぎることばっかりやってる。
580デフォルトの名無しさん (ワッチョイ 0202-zDU0 [59.138.123.33])
2022/05/13(金) 16:49:05.19ID:NE9V9IQG0 現実の結果の説明は多分この先もできないよね
581デフォルトの名無しさん (ワッチョイ 0255-/AKQ [59.147.205.222])
2022/05/13(金) 16:53:12.85ID:N8AZ2EKD0 岡谷さんってどうですか?
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 高市首相の答弁書に「台湾有事答えない」と明記 存立危機発言当時 ★2 [蚤の市★]
- 「偽サッチャー」「自滅的」「時代遅れ」 高市首相の経済政策を海外メディアが酷評 [蚤の市★]
- 【ド軍】山本由伸、WBC出場を決断!ドジャースが本人の意向を尊重、佐々木朗希はチームが故障歴を懸念で不参加 [鉄チーズ烏★]
- 米大統領報道官「日本と強固な同盟維持、中国とも協力」 [少考さん★]
- JA全農が「新おこめ券」…来年9月末の有効期限を新設、必要経費のみ上乗せ ★2 [蚤の市★]
- 【テレビ】粗品「THE W」バッサリ「おもんない、レベル低い」審査員就任で「日テレが“血の海”に…」 [湛然★]
- 通気取り「⚪︎⚪︎を食べればその店の実力が分かる」←だから何だ?
- 女の子集合!
- ひまでんぼ
- おまえら宝くじは買わないと当たらないんだぞ?
- タバコ吸わんがこれでタバコ吸ってたらカッコ良いかも
- 「鈴木彩艷」←これ読めない奴wwwwwwwwwwwwwwwwwwwwwwwwwwwwww
