【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/02/09(火) 15:07:42.69

赤池が出てくるとこじゃね？

2021/02/09(火) 15:12:59.57

>>163
どこからどこまでがあなたの思う最適化理論なのかざっと説明してほしい

2021/02/09(火) 15:16:23.35

>>176
最適化法などというタイトルの教科書でページを割いて説明されているようなものです。

2021/02/09(火) 15:20:00.79

前スレで貼られてたもの

http://www.kurims.kyoto-u.ac.jp/coss/coss2020/suzuki-lecture3.pdf

2021/02/09(火) 15:35:48.37

>>178
2chで理研AIPの資料を見るとは。参考になります

2021/02/09(火) 15:46:28.72

ニューラルネットワークの学習は勾配法の変種が殆どだろう

勾配法自体はもちろん最適化の話の一部なんだが単純だけど遅いので教科書での扱いは少しだけなのが普通

ディープラーニングに役立てるためだけに勉強するのなら特化した資料じゃないと

2021/02/09(火) 16:38:14.25

>>177
ｽﾞｺｰ

2021/02/09(火) 16:46:23.29

こういうのか
最適化法　伊理他

2021/02/09(火) 16:51:44.47

単純、という言葉は相対的なものなので
理解のためには異なる表現が必要

2021/02/09(火) 16:55:44.02

どうやら質問者はOR系の最適化とディープラーニング系のSGDとかの最適化の区別ができていない為
回答者が混乱していると思われ

2021/02/09(火) 17:21:18.35

>>177
質問の仕方から勉強した方がいいよ
長い人生で一番役に立つと思う

2021/02/09(火) 18:25:35.33

>>184
あぁなるほど

脳の老化ってプルーニングかな

2021/02/09(火) 21:14:22.86

プルーニング(刈り込み)、メモメモ

2021/02/09(火) 22:19:53.67

>>186
いえ、ドロップアウトです

2021/02/09(火) 23:54:51.94

条件付き最小解を求めるのは同じじゃないの？
計算力が不足したり数式で解けないから
現実的な解法が必要なだけで

2021/02/10(水) 01:53:15.74

じゃあメモリが圧倒的に増えて全バッチで最適化かませば良くなるかと言えばそうはならんのよ。

2021/02/10(水) 04:08:33.96

理論的にはOR系の最適化の方が遥かにしっかりしてるから
勉強するには面白いね

2021/02/10(水) 16:27:54.38

逆畳み込みで輪郭とか占有面積抽出

うまくやりたいもんだが難しそうだなあ

2021/02/10(水) 19:17:56.35

君にとってはそうかもな

2021/02/10(水) 20:28:03.60

>>190
学習がうまく出来るのと汎化能力は別問題だからな

2021/02/10(水) 20:29:00.29

>>192
輪郭って普通の画像処理でもフィルタ使って実現してるんじゃね？

2021/02/10(水) 22:34:50.44

ディープ使わなくても出来ることにディープ使うのはアホやろ

2021/02/10(水) 23:17:47.30

>>192
逆畳み込みってどんな処理？

2021/02/10(水) 23:23:45.39

ボケのフリに思えてしまう

2021/02/11(木) 00:18:41.60

>>197
deconvolutionでぐぐれ

2021/02/11(木) 01:51:00.91

例えばUNETのデコーダパートの処理であってる？

2021/02/11(木) 10:20:00.19

逆畳み込みを数式表現でしっかり書いてるサイトってほとんどないぞ

2021/02/11(木) 18:56:14.43

Yolo v5　のお勧めサイトを教えてくだちい

**デフォルトの名無しさん** · 2021/02/11(木) 21:09:37.91

おもしろいデータセット集めてるサイトって有名なあそことあそこの他にどこがある？

2021/02/11(木) 22:10:36.42

ドコだよ(笑)

2021/02/12(金) 10:50:36.67

そこだよそこ( ´∀｀ )

2021/02/12(金) 12:21:50.17

>>195
重なりまくってて従来の方法で輪郭を取り出せない状況がある

2021/02/12(金) 18:32:50.05

val accとval lossか同時に上昇してる場合ってどうしてる？
pytorch使ってるんだけど簡単にval loss下げる設定とかないのかな

2021/02/12(金) 18:47:57.07

>>207
そもそもモデル間違ってるとかタスク設定がおかしいとか無視するなら、パラメータ数を増やす

2021/02/12(金) 18:58:36.38

>>207
同時に上昇することなんてあるの？

2021/02/13(土) 02:10:03.27

>>207
正則化項が合算されてないか？
純粋なlossはどうなん？

2021/02/13(土) 20:51:31.78

ありがとう
多分タスク設定がおかしいんだろうなlossは下がってるし
もう少しデータ洗ってみるわ

2021/02/15(月) 07:55:36.79

最近学習し始めたものです

以下を参考にしているのですが、
https://www.tensorflow.org/hub/tutorials/object_detection

以下のような画像が出力されると思いましたが、
うまく表示されませんでした
https://www.tensorflow.org/hub/tutorials/object_detection_files/output_H5F7DkD5NtOx_1.png

こちらは、どこかのフォルダに表示されるのでしょうか？

2021/02/15(月) 08:11:55.22

/tmpの中は？

2021/02/15(月) 08:29:41.84

そのフォルダに無いから悩んでるのか
/tmpに保存されることも解らずに悩んでいるのか
どちらだろう

2021/02/15(月) 08:31:56.76

リアル10年早いかもな

2021/02/15(月) 08:43:10.77

基礎から積み上げて理解していかないで
トップダウンで理解しようとする人が増えたね

良いのか悪いのか判らないけど

2021/02/15(月) 08:46:38.41

>>216
理論の話ではなく、ツールの使い方の話ですか？

2021/02/15(月) 08:46:57.55

よくはないな

2021/02/15(月) 08:47:32.02

どっちにせよ、よくはないな
わるいかどうかはしらん

2021/02/15(月) 10:13:31.86

理論ばっかり学んで実践しない人が周りに多いので、両面のアプローチが必要だわな。とはいえ理論が少し先行していないと意味不明になると思うけど

2021/02/15(月) 10:26:22.13

仕事でやっているなら、当然実践するわけですけど、趣味でやっていると手間とお金をかけて実践するほどの意味があるか？

2021/02/15(月) 10:28:30.35

機械学習をツールとして使うだけでも理論って理解してないと駄目なのかな？
畳み込みが何してるかとかぼんやりとは分かってるけど自分でネットワーク組んだりとかはできない
困ったら大体フォーラムに泣きついてるわ

2021/02/15(月) 10:29:06.90

趣味でやってるからこそ採算度外視して
予算を突っ込めるのでは？

2021/02/15(月) 10:36:49.95

実践しないのなら何のタメにやっているのか・・・

2021/02/15(月) 11:22:39.50

機械学習出来る俺格好良い！かな？

2021/02/15(月) 13:57:51.78

実践できないけど理論がわかる? 哲学かな・・・

2021/02/15(月) 15:03:53.41

哲学、いいえ自己満足です

2021/02/15(月) 19:37:36.08

トラブルシュートを他人任せしているので
実践できているとは言えない

理論も実践も両方できていない

2021/02/15(月) 21:12:29.70

>>213-214
tempの中は、DLした画像の一時保存先のようです

>>216
とりあえず色々サンプル動かして、試して見たかったのです

色々調べた結果、
plt.imshow(image)
の後に
plt.show()
が必要ということが分かりました、ありがとうございました！

2021/02/15(月) 21:16:30.09

高須の勉強よりPythonの勉強しような

2021/02/15(月) 21:23:11.63

>>230
すいません、確かに機械学習関係ない部分でした
失礼致しました

2021/02/15(月) 21:38:25.01

https://i.imgur.com/DZ5drMJ.jpg

2021/02/16(火) 18:06:09.79

バックビルディング型線状降水帯を、深層学習(AI)で早期検知することに成功
研究：防災科研　水、土砂防災研究部門
www.youtube.com/watch?v=V-2O2V1d-70

訓練に使用したモデルは、国土交通省のXRAIN

2021/02/16(火) 19:22:58.41

理論と実践って具体的にはどんな？

2021/02/16(火) 19:26:16.26

>>234
何だろうね

2021/02/17(水) 14:09:42.47

>>229
あーPythonで画像やグラフ表示する時のありがちパターン

2021/02/17(水) 17:16:54.73

pandas最強説
前処理に必要な機能はなんでもついてて今までの苦労は何だったのか？と思える

2021/02/17(水) 21:02:29.56

numpy は画像も扱えるけど
pandasも出来るのけ？

2021/02/18(木) 17:09:32.23

pandasとnumpyはドメインが違う
普通にどっちも使う
numpyの画像データをpandasに入れて相関プロットするときはあるな

2021/02/18(木) 17:17:05.95

reservoirネットワークて知らなかった
有名？

2021/02/18(木) 21:55:55.99

Darknetを超える成果があれば紹介してくれ
のレベル。
2017年から引用論文数低いでそ

2021/02/18(木) 22:29:56.69

>>241
darknetにreservoirネットワークが実装されてんの？

2021/02/19(金) 06:33:12.28

その手の質問はお母さんにねw

2021/02/19(金) 06:58:08.79

>>243
居ないから聞けない
教えてよ

2021/02/19(金) 10:24:28.90

>>244
担当のケースワーカーさんにきいてね

2021/02/19(金) 11:29:56.26

>>245
？
どういう意味？

2021/02/19(金) 11:52:53.18

yolact

物凄いな
でもgpuメモリ食いまくり
マルチGPU推奨

2021/02/19(金) 12:08:49.50

yolact++じゃなくてyalact?
環境作ってみようかな

2021/02/20(土) 10:22:15.82

すみません, 初歩的な質問なのですがベイズ的にコインの表=1, 裏=0の予測を考えた時にそれまでの観測データ集合がDとして与えられていたら加法定理, 乗法定理より
p(x=1|D)=\int_0^1{p(x=1|μ)p(μ|D)dμ}
となるというのがわかりません.
加法定理よりμの周辺化がだせて, 乗法定理より
p(x=1, μ|D)=p(x=1|μ, D)p(μ|D)
まではわかるのですが,
p(x=1|μ, D)=p(x=1|μ)
となるのがわかりません。
どなたかご教授願えますと幸いです

2021/02/20(土) 10:42:49.47

分かる人いません

2021/02/20(土) 11:18:01.74

ナイーヴベイズぐらいしか判らん。
勉強して教示して下さいませ

2021/02/20(土) 11:35:30.13

>>249
乗法定理

2021/02/20(土) 11:46:59.95

>>252
p(x=1|μ, D)に対して乗法定理を使っても
p(x=1|μ, D)=p(x=1|μ)
にならない気がします、
というよりは乗法定理を使ってこの式を出したのでもう一度使うと元の式に戻ってしまうような

2021/02/20(土) 11:59:23.71

>>251
いくら払える？

2021/02/20(土) 12:57:40.22

>>249
自己解決しました、条件付独立により消せたようです、勉強不足でお騒がせいたしましたm(_ _"m)

2021/02/20(土) 13:18:45.11

>>254
⑩won

2021/02/20(土) 14:32:59.23

>>256
哀合

2021/02/20(土) 16:40:01.62

数学の質問なんて。。。
プログラム板も進歩したな

2021/02/22(月) 20:24:09.55

機械学習の予測と大きく乖離したデータが出た場合、なおかつ乖離したデータが重きを置く特徴量が同じである事が多い場合、いっそ省いた方がよかったりする？
過学習されすぎてるだけなのかな

2021/02/22(月) 20:41:07.35

わかんない
>>259

2021/02/22(月) 20:56:06.01

俺もわかんねーや

2021/02/22(月) 21:09:49.10

>>259
具体的にはどんなデータなの？

2021/02/22(月) 21:25:34.02

棄却検定の話と混同？

2021/02/22(月) 21:31:40.72

自動運転レベル4がドイツで実用化だってさ
http://blog.livedoor.jp/rbkyn844/archives/9767360.html

2021/02/22(月) 21:49:14.79

ドイツは規格に命かけてるからね

2021/02/22(月) 22:13:41.97

>>259
直感的に今の機械学習法ではうまくいかない予感

2021/02/22(月) 23:35:19.80

>>262
競馬です
年齢高い馬が実力や実際のオッズより過小評価されとる。。

2021/02/23(火) 03:17:45.85

年齢を連続値で入れるだけじゃなくていろいろ試してもダメ？
ビニング、若いor not、老馬or not、適齢期or notなど

2021/02/23(火) 06:39:19.44

>>268
実験の詳細が分からんから助言のしようがない

2021/02/23(火) 08:51:38.71

>>264
アイスバーンと地吹雪ホワイトアウトに対応できるの？

2021/02/23(火) 10:01:22.84

>>267
回帰か分類かわからんけど、不均衡データとかそういう話であるならweight付けてみたら? 基本的にはダウンサンプリングの方が効果あると思うけど、何事もやってみないとわからん

2021/02/24(水) 07:45:41.23

>>270
無理
そんな例外は放置

2021/02/24(水) 07:59:21.26

少ないながら今後も確実に発生する事象を勝手に例外扱いして無視するなどという都合のいいことをするから
高精度を謳うのに実用時にまともな結果を出さないモデルで溢れることとなるんだよ

2021/02/24(水) 08:53:20.56

>>272
だったら使えんな
今でも運転下手くそなレベルでも走れてるんだ
相当下手くそなやつだけが時々事故る

そんなレベルでは普通の道でも危なっかしい