【統計分析】機械学習・データマイニング31

■ このスレッドは過去ログ倉庫に格納されています
2021/09/26(日) 01:32:46.82ID:fnXwjiVa0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2022/05/10(火) 14:00:41.96ID:J0ydLFpDH
>>531
正直あんまり収束してない感じなので追加学習させたいのですが、やり方がわかりませんｗ
2022/05/10(火) 18:02:27.33ID:A/IfvceU0
>>530
確かにそういうこと起こりそうだけど、なんか指摘してる論文てあったっけ？
534デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6])
垢版 |
2022/05/10(火) 18:17:38.04ID:/XkHfgKF0
>>533
具体的な論文は把握してないけど、時系列予測で考えると直感的な理解が得られ易いと思うよー
2022/05/10(火) 18:35:36.21ID:zWCxNbfy0
>>533
俺も論文とかはわからないが教科書に載ってるレベルの話なような
バッチのサンプルでまとめて勾配を計算するので、サンプルのバランスが悪いと
ウエイトがあっちに行ったりこっちに行ったりしてしまうが、
バランスが良いとあるべき方向に真っ直ぐ進みやすい、ということかなと直感的には理解している
2022/05/10(火) 18:51:37.71ID:gcxSlYEt0
・日立、週休3日で給与維持　生産性向上へ働き方改革 時間から成果へ転換
・日立、最低勤務時間を撤廃　「週休3日」も可能に
・2022年の新入社員、79.8%がテレワーク　オフィスの必要性は？
・日立、富士通、NEC…「ジョブ型雇用」を大企業が続々導入する理由
・日立やNECが導入へ　「週休3日」は人材獲得の切り札
・リクルートグループ、週休｢約3日｣に。4月から年間休日を145日に増加へ
・カルビー／国内社員3900人を対象に副業解禁
2022/05/10(火) 19:37:35.64ID:rAiWhgPwx
>>535
確率的最急降下法だから、偏った方向に突き進むのは良くないとか、そういう次元の話だと思っていた
2022/05/10(火) 19:43:41.75ID:OS09Ye+10
そういうことかと
2022/05/11(水) 02:35:50.86ID:n/T4USjf0
確率的勾配降下法と最急降下法が混じってないか？

最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新
確率的勾配降下法：１サンプル毎に勾配を求めてウエイトを更新
ミニバッチ勾配降下法：ミニバッチ毎に勾配を求めてウエイトを更新

んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね
2022/05/11(水) 03:49:48.40ID:2hlm/96F0
ごめん訂正ありがと
2022/05/11(水) 06:58:42.56ID:168GVk5R0
ミニバッチも偏ってたら駄目じゃない？
2022/05/11(水) 09:33:13.11ID:2hlm/96F0
駄目だよね
偏ったサンプルの気持ちいい場所に捕まってしまう
2022/05/11(水) 09:43:34.76ID:n/T4USjf0
確率的勾配降下法でもミニバッチでもサンプルの与え方が偏るのはダメ
普通は学習ツールがランダムシャッフルしてくれるから気にしなくてもだいたいうまく行くが
性質の違うデータの種類がいっぱいあるような場合はランダムに任せてるとバッチ内のサンプルが
偏りやすくなる場合がある
そのため、たいていの学習プラットフォームではバッチを生成する処理を上書きするための
手段が用意されてたりする
バッチの処理順序はランダムでok
2022/05/11(水) 13:57:20.69ID:SfomTu1y0
ミニバッチでもバッチのデータと全データで勾配方向が違うから確率的になるけどな
バッチサイズが小さいとそのズレは比較的大きくなる
2022/05/11(水) 15:02:21.52ID:F52sGOdk0
でもその差を理論的だったり実験的に検証してる論文はないんじゃない？
2022/05/11(水) 15:06:03.86ID:xW75jOAua
さすがにあるだろ。80年代にありそう
2022/05/11(水) 16:21:53.90ID:SfomTu1y0
学習に使う全データは実際に発生するデータの部分集合である事は変わらない
全データで勾配を計算したとしても母集団の情報を使っている事にはならないから確率的勾配降下とも解釈できる

あくまでも学習データに限定して最急降下というだけ
未知データに対する汎化能力で見ると最急降下になっているかは分からない
2022/05/11(水) 20:06:44.40ID:n/T4USjf0
それはなんかズレてるような
学習データでしか学習しない（勾配を求めて降下させることもない）んだから母集団とか持ち出さなくても

確率的と最急降下の本質的な違いは、確率的に学習することによりローカルミニマムを抜け出す
チャンスがあるかどうかなのでは
そういう意味ではミニバッチ法も確率的だというのはあってると思う
2022/05/11(水) 20:15:05.10ID:168GVk5R0
サイコロふってサンプル選んでミニバッチ作ることが確率的なの？
2022/05/11(水) 20:32:09.62ID:n/T4USjf0
サンプルの選び方によって勾配が変わるので学習の方向はあっち行ったりこっち行ったりする
でもどちらかと言うと正しい方向に進む確率の方がちょっとだけ高い
そういう意味で確率的、なんだと思う

これはアニーリング問題と同じで、分子を最初は大きくランダムに動かして
（でもちょっとだけ正しい方向に進みやすくして）少しずつ動きを小さくしていくと
最も安定したところに収束する
分子の動き＝温度で、温度を十分にゆっくり下げると最適解に到達することが証明されてる

だからDLでも学習率(温度と等価)の下げ方が重要なんだが最近は自動になって便利だね
2022/05/11(水) 20:57:45.21ID:SfomTu1y0
>>548
テスト用にデータを分けておいて汎化能力を評価する
過学習になっていないかを確認するため
それでもその後運用すると未学習データに対する精度が要求より低かったりする
2022/05/11(水) 23:37:55.47ID:cJjkDDOX0
過学習
意味: うまくいかないときの言い訳
2022/05/11(水) 23:47:40.71ID:xXaj6qvMa
過学習できるってことはうまくいってるってことだよ
2022/05/12(木) 09:15:39.58ID:24mxIbhrM
初期の学習率てどうやって決めれば良いの？ それとオプティマイザも
2022/05/12(木) 09:16:43.48ID:24mxIbhrM
adam選んどきゃ正解なの？
2022/05/12(木) 11:51:42.19ID:ssfk6Zuqa
ユニット数とかすべてひっくるめて、無限にある組み合わせの中から適当に選んで試しまくってよさげなのを決めるしかないよ
autokerasみたいなの使って半自動で探すのもいいけど、制限も多いから自力(コーディング)で探すのが楽
2022/05/12(木) 15:04:07.76ID:mMTw6/Aad
過学習なんて言葉いい加減禁句にしてほしい。
エラソぶったおっさんが学会でわかった口して過学習、過学習‥‥‥ブツブツ。、

（苦笑）
2022/05/12(木) 15:07:39.54ID:mMTw6/Aad
ただの造語に騙されないように‥‥‥
559デフォルトの名無しさん (ｻｻｸｯﾃﾛﾙ Sp91-YKh1 [126.234.43.89])
垢版 |
2022/05/12(木) 15:30:13.49ID:TPnOtntRp
オーバーフィッティングならいいのか？
2022/05/12(木) 17:20:58.10ID:l5soNYRaH
たとえばオセロや囲碁などのボードゲームではビットボードが使われてると思うんですが、
学習をさせるときは配列にビットを展開しないといけないんでしょうか？
それともインプットをビットボードの数値にしてもうまく学習できますか？
展開するとしたら結構な計算量とメモリ消費量になると思うのですが、現実どう処理されてるんでしょうか？
2022/05/12(木) 17:40:20.64ID:ssfk6Zuqa
bit単位で扱うことはないな。画像データのほうがはるかにメモリ食う
具体的にはゲーム処理は1マス1enum（内部的には4byteかな)でやるし、学習データは1マス1floatの割り当てでやる
オセロなら8x8マスだからfloat[64] 用意して自駒あるとこ1、敵-1、何もなしzero、入力マスク用にbool[64]用意して駒おけるとこだけtrueにして
lstmも何も使わない単純なPPOに突っ込むだけで一日で勝てないとこまでいくよ
2022/05/12(木) 18:07:08.93ID:XThBUtns0
配列のほとんどの部分が0なので
疎な配列、疎行列あたりのライブラリを使って
メモリを節約する
2022/05/12(木) 18:20:42.07ID:y2m3n7NiM
適当なオープンソースのやつみたら分かるんじゃね？
564デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-uM1l [153.243.53.4])
垢版 |
2022/05/12(木) 18:43:11.76ID:MKi5Gk5o0
>>555
3層パーセプトロンのような、小さいニューラルネットならAdam
VGGやResNetのような、深いネットワークなら、SGDが良いとされる
学習率はとりまデフォルトで様子見
2022/05/12(木) 19:08:36.43ID:eWCwulp9F
過学習の何が気に入らないのか
過学習は過学習だろ
2022/05/12(木) 19:13:03.75ID:SeeVGpfXx
>>565
過学習って学習しているわけじゃなく、学習データを丸暗記してるのと同じだよね
それを学習といいたくないんじゃないかな
567デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6])
垢版 |
2022/05/12(木) 19:17:06.59ID:QHBqVOhI0
過学習と学習不足(未学習)は機械学習の基本的な考え方だねー。varianceとbiasと考えてもいいよー
ところがディープラーニングの世界では、過学習の先に突然精度が上がる現象が確認されてるよー
不思議だねー
2022/05/12(木) 19:26:27.74ID:awPT4EK2M
>>567
この現象、体験したことないんだけどMNISTあたりでも観測できるの？
2022/05/12(木) 19:30:00.86ID:SeeVGpfXx
>>567
適当にぐぐったけどこれのこと？

過学習後も精度向上!?【論文】Deep Double Descent: Where Bigger Models and More Data Hurt の解説
https://www.acceluniverse.com/blog/developers/2020/01/deep-double-descent-where-bigger-models-and-more-data-hurt.html

ニワカに信じがたいので、ちょっと読んでみる
2022/05/12(木) 19:34:46.68ID:V9a83oNra
丸暗記だって学習は学習
人間でも暗記は必要最低限だけにして知識を効率活用できる人もいれば丸暗記したことしか理解できずちょっと応用問題出されただけで理解不能に陥る人もいる
571デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6])
垢版 |
2022/05/12(木) 19:35:33.93ID:QHBqVOhI0
Double Descentだねー
大規模言語モデルだと前提になってるよー
572デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6])
垢版 |
2022/05/12(木) 19:38:29.11ID:QHBqVOhI0
とはいえ過学習を是とすると、それはただの全文検索なので
Double Descent, Overparameterizationは既知の概念ではない何かなんだろうねー
573デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6])
垢版 |
2022/05/12(木) 19:41:34.38ID:QHBqVOhI0
>>568
トイプロブレムで実証したことはないけど、実務で大きめのモデルを扱っている人は、みんなそれっぽい現象を観測した経験があると思うよー
とはいえ、概念を先に知らないと偶然としか思わないんだけどねー
2022/05/12(木) 20:23:08.75ID:gGBQiRDa0
>>573
ふうん
2022/05/12(木) 22:36:43.51ID:m2THFYn4M
>>567
局所解って話ではないの？
2022/05/12(木) 23:38:12.85ID:XThBUtns0
事例が多くなると
結局あらゆる事例が網羅されるという意味じゃね?
2022/05/12(木) 23:53:34.27ID:CoPLz2Vj0
この分野まともな理屈なんて何一つねーんだし
深く考えても無駄よ
他の工学分野とかもっと理論でガチガチに固めてるしな
2022/05/13(金) 12:37:27.02ID:AsvYLwfP0
日本の研究者って理論も弱いよね
2022/05/13(金) 15:43:58.39ID:nFnwnz+O0
弱いというか、現実のDNNの収束過程とは離れた、あまりに理論寄りすぎることばっかりやってる。
2022/05/13(金) 16:49:05.19ID:NE9V9IQG0
現実の結果の説明は多分この先もできないよね
581デフォルトの名無しさん (ﾜｯﾁｮｲ 0255-/AKQ [59.147.205.222])
垢版 |
2022/05/13(金) 16:53:12.85ID:N8AZ2EKD0
岡谷さんってどうですか？
2022/05/13(金) 20:05:28.18ID:UTtAr0xn0
>>577
あなたが知らないだけなんじゃないの？
2022/05/13(金) 20:07:45.53ID:UTtAr0xn0
学習は教師信号との誤差とかで決まる評価関数の値を小さくする結合とかのパラメータを見つける問題に帰着するんだろうな
大まかに言えば組合せ最適化問題
2022/05/13(金) 21:14:31.29ID:btyzcX5fa
問題にしてるレイヤーが違うんだろ
パラメーターだなんだってのは理論だらけだけど
そのデータからどうして予測できるんだ（どんな特徴が使われてるんだ）とか、このモデルよりもあっちのモデルのほうがうまくいく理由は？みたいなとこはこじつけだらけ
2022/05/14(土) 00:04:16.45ID:0dDHcT1o0
理論がないってのは言い過ぎだけど、まあまだわからんことは多いのは事実。
ある程度わかってもパラメータチューニングについては機械的に探すって話はずっと続きそうではある。
2022/05/14(土) 06:50:37.09ID:O8qOoha4a
>>585
別に言い過ぎではないよ。
色々試行錯誤してデモ向けチャンピオンﾃﾞｰﾀ探して
発表や論文書いてそこまで、やりっ放し。
再現性無しじゃ理論も減った暮れも
2022/05/14(土) 16:15:39.79ID:tMZG04rkd
ただのフィッティング技法と考えてよい
教師なし学習は逆フィッティングだが
2022/05/14(土) 17:29:08.39ID:4saW8Bc8M
別の手法として発表されたものが
理論的には同じことをしてるという事もある
2022/05/14(土) 19:16:10.33ID:tMZG04rkd
ファッションでやってる輩が増えてて困る
590デフォルトの名無しさん (ﾜｯﾁｮｲ ca10-Vod4 [153.243.53.4])
垢版 |
2022/05/14(土) 19:28:08.46ID:3asw//Zv0
逆フィッティングとは
2022/05/14(土) 23:22:49.99ID:gU3pbgYf0
>>589
誰だって最初はにわかな存在ですし、分野としては新規参入者が多いことは喜ばしいことですよ。
2022/05/15(日) 05:04:53.83ID:RG3j7DCt0
>>590
集合と集合の分離する（最大限離す）境界を作成するという意味で用いた。多意はない

>>591
↓これ見たとき何か勘違いしてる輩のギャグかなと思った
https://youtu.be/-MCO1FOeaOI
2022/05/16(月) 11:59:51.09ID:oRnyDlKgM
cnnで特徴抽出するときの中間層てどこでもいいの？
convの直後がいいの？それとも活性化通した後のがいいの？
594デフォルトの名無しさん (ﾜｯﾁｮｲ ca10-biPL [153.243.43.6])
垢版 |
2022/05/16(月) 12:08:39.95ID:ucnn58bs0
>>593
転移学習の話なら出力層の直前までを再利用することが多いよー
XAIの話ならなんとも言えないねー。ただ、あまり深い層だと(人が見て)解釈が難しいことが多いよー
2022/05/16(月) 15:03:25.33ID:04bK1tejM
>>594
fc入る直前のを特徴として使ってた
他の層も特徴として一緒に使えば精度か上がるかなって思った
2022/05/18(水) 13:41:31.07ID:cOuIvIQpM
顔認識の肌色差別問題て、グレースケールでやれば良くない？
2022/05/18(水) 16:39:07.89ID:SlOJ3xLY0
>>596
余計強調されるんじゃないですかね。
2022/05/18(水) 16:45:09.98ID:1kgDoT/jH
monkeyとか出てくるの？
599デフォルトの名無しさん (ﾜｯﾁｮｲ ca10-Kq3f [153.243.43.6])
垢版 |
2022/05/18(水) 17:48:14.11ID:tbtjI4Jo0
>>596
グレースケールも次元削減の一種だねー
結局元データの特徴量が強調されるよー
2022/05/18(水) 17:51:38.15ID:cOuIvIQpM
コントラスト補正したくらいじゃ改善されないかな
601デフォルトの名無しさん (ﾜｯﾁｮｲ ca10-Vod4 [153.243.53.4])
垢版 |
2022/05/18(水) 19:44:51.20ID:z8mk94f90
>>596
白人と黒人の写真グレースケールにしてみ？
2022/05/18(水) 22:33:01.65ID:9twh3XQB0
ゴリラと認識されてしまった黒人画像見たが・・・
あれは仕方ないね、俺らの目でもそう見えかねん

な、黄猿ども？
2022/05/18(水) 23:29:26.78ID:SlOJ3xLY0
>>602
老眼では？
2022/05/19(木) 06:52:29.21ID:6liSYt1H0
すみません素朴な疑問ですが

>>596
学習データに偏りがあるんじゃ、と思ったんですがそんなことはない？

>>600
学習用の画像データはそのまま使うのが普通なんでしょうか？ 定正準化とかしないもの？（よくしらない）


黒猫の撮影が難しいように（真っ黒い毛玉にしか見えない）
肌の色によっては識別が難しいのはしょうがないと思う
カメラ側が工夫して、そういう人でも特徴を出しやすい画像を作る方がよいのでは
2022/05/19(木) 16:52:03.32ID:edTczYU6M
グレーススケール後に適当なフィルタかけてエッジ画像にしてからでも駄目？⤵
606デフォルトの名無しさん (ﾜｯﾁｮｲ ca10-biPL [153.243.43.6])
垢版 |
2022/05/19(木) 18:30:15.97ID:zHi3KVOI0
>>605
CNNはエッジ検出も行っているといえるねー
それでも誤検出するなら、データの問題を先に考えるのが今のトレンドだねー
本質的に区別ができないという可能性もあるけど、それなら人が違和感持たないので、なんか不測があるんだろうねー
607デフォルトの名無しさん (ﾜｯﾁｮｲ ca10-Vod4 [153.243.53.4])
垢版 |
2022/05/19(木) 19:46:45.99ID:MWEO0MI00
>>605
骨格や髪型から人種判別して差別する可能性は残る
2022/05/19(木) 21:36:05.49ID:0P/kzYsp0
そもそも元レスの顔認識の肌色差別問題が具体的に何を指しているのか分からないですからね。
2022/05/22(日) 17:55:57.69ID:iVOTdrTva
未知語しかないコーパスに対して辞書無しで単語のわかち書きをやりたいんだけど今のスタンダードな手法はなんですか？
以下見つけたものですが他にオススメあったら教えて下さい

https://github.com/shimo-lab/sembei
行列分解による単語分散表現、出現頻度が低いワードは単語として認識されないのでわかち書きはできない
https://github.com/musyoku/python-npylm
良さげだけどwindowsで環境構築できなかった
610デフォルトの名無しさん (ﾜｯﾁｮｲ e610-kFU8 [153.243.43.6])
垢版 |
2022/05/22(日) 18:45:40.92ID:rU+wfvkz0
>>609
目的が分かち書きだと万能な方法はないねー
何らかのタスクの前処理ならBPEやSPがいいねー
2022/05/22(日) 21:01:10.93ID:pMmiMThE0
モノリンガルコーパスがあるならベイズ教師無しで単語分割するやつがあったな
2022/05/24(火) 12:14:32.31ID:I+NBTrD50
モンテカルロ木探索をしてくれるPythonのライブラリはありますか？
2022/05/24(火) 12:23:50.92ID:+v3XfkcC0
ある
2022/05/24(火) 16:34:45.13ID:eTu9tEN2M
日経プログラム買え
2022/05/24(火) 17:11:53.62ID:9QRmEXzLM
自分でデータセット作るの面倒くさそうだね
適正数もわからんし
ネットなりカメラなりで揃えなきゃいけないし
2022/05/24(火) 18:11:03.03ID:+v3XfkcC0
なんの話？
2022/05/24(火) 18:47:38.96ID:FOAlso0MH
画像分類でもやりたそうな感じだけど具体的需要がなさそう
2022/05/24(火) 19:04:18.42ID:RN1pZpwH0
>>616
>>617
kerasの実用的な使用方法探してたんだけど、調べてもイマイチ
自分で思いつくものはOCRだったり時系列だったりで違うっぽい
植物分類とか車種のデータセット自分でつくるのもめんどくさいなーとなったところです
2022/05/24(火) 19:19:53.27ID:umKX1IFsH
手段が目的化してんだろ
考え直したほうがいい
2022/05/24(火) 20:05:35.87ID:+v3XfkcC0
卒研かよ(笑)
2022/05/25(水) 09:27:48.52ID:Mav3r0Hwr
生き物好きならネタは腐るほどあるが
それでもデータセット作りは面倒
2022/05/26(木) 13:24:36.20ID:mBsXmcA10
画像分類の練習したいんですが、画像のピクセル数ってデータセットで統一しないといけないんですか？
ネットで拾ってきてばらばらのときはどうすればいいですか？
2022/05/26(木) 16:25:26.04ID:WPeCiMTRM
リサイズ
624デフォルトの名無しさん (ﾜｯﾁｮｲ 8b97-llY8 [218.221.184.26])
垢版 |
2022/05/26(木) 17:02:35.13ID:t8LrFIJ+0
Crop
2022/05/26(木) 17:37:50.23ID:xQN+HpOG0
昔のモデルを拾ってきて実行したらリサイズ関数が現在バージョンで無効になってて
そこだけ小改造したなあ
2022/05/26(木) 18:25:55.94ID:LACA6skg0
>>622
データセットの正規化や標準化で調べるとよいかと。

基本的にはライブラリに仕組みが用意されてます。
2022/05/29(日) 10:13:03.26ID:s6sbnJ7C0
本に書いてある通りにCartPoleやったのに全然学習してくれなくて、
コード見直したらコピペしてたところが微妙に違ってて自分が悪かったｗ
2022/06/05(日) 20:36:53.10ID:iN8cahSF0
PythonのtensorflowでResNETを書いたら、
CustomMaskWarning: Custom mask layers require a config and must override get_config. When loading, the custom mask layer must be passed to the custom_objects argument.
warnings.warn('Custom mask layers require a config and must override '
という警告が出て、うまく学習しません。
get_configとやらを書くようなのですが、どこにどのように書けばいいのでしょうか？
2022/06/07(火) 09:53:50.73ID:yKocZueUM
https://jdla.connpass.com/event/249769/

なんでjdla会員と検定資格合格者だけに限定するのかわからん😡

人材を増やしたいんじゃないのか

すぐ利権化するのなこんな資格、日本限定のごく一部の組織しか重要視しないのに
2022/06/07(火) 12:45:06.42ID:53O0dhtQ0
>>629
その極一部の組織が主催してるからでは？
2022/06/07(火) 13:13:20.27ID:yKocZueUM
>>630
そういう閉じた発想を批判してる

講演の最初と最後にjdlaを紹介するだけでいいだろ

conpassのこの手のイベントは大体無料で、特別な参加資格を要さずに広く参加者を募るのに
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況