【統計分析】機械学習・データマイニング31

2021/09/26(日) 01:32:46.82

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2022/01/03(月) 10:21:23.45

新たなアルゴリズムを考えたりできる研究者でもない限り、機械学習専門家と言いながら実態は既存のライブラリのうまい組み合わせ方を知っているちょっと頭のいい作業員でしかないからな
そんなものはライブラリや周辺のツールが便利になれば不要になる仕事

2022/01/03(月) 11:11:04.57

自分の専門領域プラス機械学習は今後も大きな武器になるが機械学習だけはマジでやめとけ
そんな人材が求められていたのは数年前まで
最先端の深層学習研究者は別だけど、そんなことできるの極々一部の天才だけだ

2022/01/03(月) 14:36:57.71

あと機械学習の専門研究なんて、現在ただのラベリング合戦の研究だからな。

名前を付けた手法をいかに精度良く見せかけていかに周囲に素早く拡めるかの世界

2022/01/03(月) 14:42:30.59

プログラミングやったことない&できない奴が始めるには最適な分野
hello worldレベルの知識ですらやってけるし、論文読むのに忌避感なけりゃ一か月でおまえらより上になれる

2022/01/03(月) 14:48:37.53

その通り
だから機械学習だけしかやってない人は危機感を持とうね

2022/01/03(月) 15:20:09.07

英語やプログラミングも専門分野と合わさって初めて価値を発揮しますからね。

専門分野なしにとにかく流行りのツールを学びたいという人はいつの時代も見られるものです。

2022/01/03(月) 15:35:09.15

寝る間を惜しんで機械学習コンペに精を出す人もいるけどむしろコンペを開催する側の能力がなければ近い内に淘汰される側となる。
専門外の人に解かせて使い物になるモデルが出来上がるということは問題設定や事前に収集したデータが適切だったということであって、
そこまで準備する能力があればモデル生成作業はコンペ・外注・自動ツール等々、その時点で一番コスパがいい方法を選ぶだけ。

2022/01/03(月) 20:47:57.48

プログラミング自体そのうち淘汰されるからな。やる意味ないぞｗ
でも今は意味なるんだよ。今がよけりゃそれでいい

2022/01/03(月) 22:27:45.53

そりゃどんな仕事もそのうち淘汰されるわ。
だから働かないとかただの馬鹿だろ。

2022/01/04(火) 00:02:04.61

「そのうち」でひと括りにする方がよっぽど馬鹿かと
淘汰されるのに数十年かかるならほとんどの現役世代は気にしなくていいけど数年で淘汰される可能性がある技能をせっせと身につける必要はない

2022/01/05(水) 04:15:21.19

なんつーか、、
AIって言葉が先行し過ぎ。
数学的にただの最適化問題で解ける問題をわざわざ機械学習(例えばNN)で解いて何をやってるんだろうと思ってしまうこと多々あり。

一応念のため言っておくが元々数学的な手法を機械学習やってるやつが種々の数学的な手法を勝手に『教師あり学習』『教師なし学習』『強化学習』に分類したのが始まり。

DLが出て加速的にこの分野人気が出たが元々の数学の背景は知っとけ。

2022/01/05(水) 07:14:44.64

訂正

機械学習やってるやつが種々の数学的な手法を勝手に『教師あり学習』『教師なし学習』『強化学習』に分類したのが始まり。

2022/01/05(水) 07:37:22.29

じゃあどの本を読めばいいの？

2022/01/05(水) 09:56:41.43

そのうちAIで一発充てて億万長者

2022/01/05(水) 10:10:11.14

>>315
勝手に分類したというソースとかあります？
最適化や統計学を参考に発展したのかなと言ったら激怒されたことがありまして。
でも、例えば最尤法なんてのはロナルドフィッシャーの前からあるわけで。

2022/01/05(水) 21:30:42.32

>>313
プログラミングがあと数年で淘汰されるとか本気で言ってるとしたら本当のバカだよ。

2022/01/05(水) 23:57:29.94

ここで言ってるのはプログラミングじゃなくて「既存の機械学習ライブラリにデータを突っ込んでいい感じのモデルを生成する作業」だぞ

2022/01/06(木) 08:28:37.04

>>320
昔よりどんどん設定が楽になってるからなあ
深層学習関連で厄介だったのって結局はデータセットをどんな形式(XMLかJSONか)
でしかもそれを各要素をどんな順番にしてどのディレクトリに置くかで動かないとか
あるいはオンプレミスならGPUドライバのインストールとか
そういうIT関連の初歩だけど躓きやすいところでうまく行かない人が多かっただけで、
そのお膳立てが出来てるならそんな難しい話ではないからなあ

2022/01/06(木) 11:27:51.20

>>318
その3つはここ最近できた分類。
2010年以前に初版の機械学習の本を参照のこと。その分類殆ど書いてない。
例えば『カーネル～』『パターン認識～』とかの本を読んみな。

＞激怒された
どの分野の誰が激怒した？

2022/01/06(木) 12:57:18.54

>>322
ありがとうございます。記述がないか見てみます。

> どの分野の誰が激怒した？
もう辞めた元同僚です。詳しくは知りませんが、建築系の分野で深層学習の応用をやっていたようです。

2022/01/06(木) 12:59:34.26

>>322
dudaとhartの本1973に既にその分類あった気がする

2022/01/06(木) 13:53:25.23

激怒したのがただのおっさんだった件について

2022/01/06(木) 14:05:13.26

>>320
そんな輩は淘汰とかの前にそもそも成り立ってすらいないがな。

2022/01/06(木) 21:51:07.42

1クラスSVMで正常データが原点から遠く、未学習データが原点付近に写像されるって説明よく見るけどどういう原理なの？

2022/01/07(金) 06:52:41.42

どこの説明？

2022/01/07(金) 09:19:56.68

シューティングゲームやらせたら最初はスコアゼロ＝原点近くだけど、そのうち点が入りだして原点から遠くなって
でもそれ以上点がとれなくなってくるとそこで収束する（何万点って決まったとこ以上遠くならなくなる）みたいなことかな

2022/01/09(日) 17:33:58.49

専門分野がんばろ

2022/01/10(月) 12:26:00.91

コロナ感染者数予測ですら当たり外れしか見えず外れただろ謝れとか言う阿保が多いから
機械学習でどんなに精緻にモデリングしても見合った成果が得られない気がする

線形回帰くらいじゃないと納得しないだろうな

2022/01/10(月) 13:32:36.73

阿保に評価されることを成果目標とするならどんなに頑張っても成果得られないだろうな
でもそんなとこを目標としてないからｗ

2022/01/10(月) 13:54:34.12

非専門家に理解させるのが面倒だと思うなら機械学習だけやっていたのでは不十分で、機械学習の成果を利用したサービスを自分で立ち上げる必要がある
そのサービス自体に価値があれば中身の機械学習が一般人に理解不能なアルゴリズムであろうと外部の人には関係ない
DeepLとか中身がどうであろうと便利だから使われているが、もしDeepLのアルゴリズムだけ作ってそれを誰かに売りたいならその説明をして理解させなければ売れるわけがない

2022/01/10(月) 16:36:12.87

>>331
8割おじさんが最近出した本読んだんだが
モデルの説明がめちゃくちゃ多い
機械学習も取り入れてるみたいでちゃんとやる人がやれば予測できるんだなと思った
国民がバカすぎる

2022/01/10(月) 17:49:20.98

>>334
予測できるはずがない
統計学をちゃんとやっている人なら
データが恣意的なので無理
とすぐに分かるはず

2022/01/10(月) 18:01:50.82

どこまで予測するかだよ
日々の新規感染者報告数を一人の単位できっちり当ててく予想なんてのはそりゃできるはずないが
元データが恣意的だったり正確じゃなくてもおおよそなら十分予測できる
過去の動きから実効再生産数は連休に跳ね上がってるから、連休後は増えるなんてのは馬鹿でも予想できるだろ
だから日付だけでなく休日情報をデータに含めとくとかそういうのの積み重ねだよ

2022/01/10(月) 18:07:25.70

コロナの予測に必要なのは機械学習ではない

2022/01/10(月) 18:44:16.50

>>335
そりゃ予測なんだから当たり前でしょ
問題はそういうモデルを専門家が色々出すことで
政府や国民が判断できる環境を作ることだよ
現場ほとんどの専門家が何も出してない
Googleと8割おじさんくらいしか出してない

2022/01/10(月) 21:48:02.54

今現在知りうる情報から少し先の状況を大まかに把握することは良くやる事だよな
スポーツなんかでもボールの動きの少し先を予測して動くし
対戦形式だと相手の少しの動き予備動作とか癖とかで予測したり
台風の進路予想とかも
経済活動や人間の活動や会社の業績予想、株価予想なんかもある

ウイルス感染も人間の活動とウイルスの特性とかで大まかに予測できるだろう

2022/01/10(月) 23:28:34.52

>>338
だから「できない」からやらないわけで
せめてランダムにPCR検査をやってくれたら
参考になったのに
今後もランダムサンプリングはやらないのだろうけど

2022/01/11(火) 00:38:34.33

ランダム検査って検査受けたくないと考える人も対象に選ばれれば検査しなければ無意味なわけで、
例えば受験生とかその家族が今検査して陽性なんて出たら困るから絶対検査など受けられない
他にも同様な事情で受けない人が出るので結局対象に偏りが生じるから本当のランダムにはならない

2022/01/11(火) 01:01:34.22

ランダム検査したとして、その結果をどう活用するの？

2022/01/11(火) 01:18:47.71

ランダム検査すれば信頼性の高い市中感染率の推移データが得られる
そのデータをLSTMにぶち込めばっていう古典的な統計学に基づいた予測だろうな
いわゆる深層学習的な考え方じゃない

2022/01/11(火) 09:10:36.85

>>343
それを市中感染の注意喚起に使うってこと？
新規陽性者数の報道だけでは足りないかな？
新規陽性者数って蔓延状況の関数とも考えられるよね。

2022/01/11(火) 12:30:42.01

何に使うかは別次元の話
新規陽性者報告数は蔓延状況の関数だけど、検査場が飽和したら数値が下側になるし、大規模無料検査が行われたら上側になる
真の感染者数を求めるには変数が多すぎる関数なんだよ
ランダム検査の方がそういう変数を少なくできる

2022/01/11(火) 12:50:53.52

>>345
ランダム検査の結果を何に活用するか知りたいのが最初の質問です。
新規陽性者数が注意を要する指標なのは同意で、陽性率を報道してるのもそのためかと。
ランダム検査は強制力を伴うので、それに見合った活用法があるのかなと思って。

2022/01/11(火) 13:15:48.20

検査せずに動き回ってる市中感染者数が見えてくる
例えば、そういう人たちと感染したらリスクある基礎疾患抱えてるような人が接触しないようにする
～ワクチンパスポートの基礎疾患バージョンみたいな新たな対策をする根拠(効果予測)となる

でも一番大きいのは疫学的な科学データの蓄積。今役に立たなくてもデータを集めること自体に価値がある
協力金として100万円差し上げますってすりゃいいだろ。「ハズレた！もっと大規模にランダム検査しろ」ってクレームしか起きないぞｗ

2022/01/11(火) 15:22:10.54

科学データの蓄積
といっても株によって性質がかなり異なるみたいだから
意味があるかどうかは疑問
国が大好きな前例に基づいた対策には使えるけど
新例は前例とは違うのであまり意味がないかと

2022/01/11(火) 23:54:39.59

未来はわからんから計測する必要ないとかどんだけ思考停止だよ。
言うほど増減のパターンなんてそんなにはないわ。

2022/01/12(水) 10:34:23.29

何の話
いつから株の話？

2022/01/12(水) 10:46:58.74

株価とかじゃなくて変異株のことだろ
従来株の感染者数データからは、オミクロンのような変異株が流行したときの予測ができないってこと

逆に通常株としての予測値との差から変異株の実社会中での特性を見出すこともできるし
データはあればあるほどいいのにな。データを集めるコストに見合うかっていうとまた別問題だが

2022/01/12(水) 13:07:12.36

感染経路とか基本再生産数とかウイルスの特徴があるからそれらを参考にできると思うけどな

実行再生産数は色んな条件を統合した結果だと思う
ウイルスの特性とか人間側の感染対策とかワクチンの有効性とかワクチン接種率とか

オミクロン株は感染力はデルタ株より高いとわかれば
感染者数は増えると予想するのは自然だと思う
有効な感染対策が普及したらそれで変化するだろうし

2022/01/15(土) 21:05:54.36

神経回路は潜在的な統計学者だった
─理研、脳神経が自由エネルギー原理に従っていることを明らかに
https://www.riken.jp/press/2022/20220114_3/

＞どのような神経回路も「自由エネルギー原理」と呼ばれる近年注目される脳理論に従っており、
潜在的に”統計学的な推論”を行っていることを数理解析により明らかに

＞神経生理学的に妥当な「コスト関数」を逆算し、それが自由エネルギー原理のコスト関数と同一であることを数理的に解明

2022/01/15(土) 21:07:13.39

自由エネルギー原理とは

→
生物の知覚や学習、行動は自由エネルギーと呼ばれるコスト関数を最小化するようになっており、
その結果生物は外界に適応できるという理論

今回、
神経回路のコスト関数と、自由エネルギーは数式の構造が全く同じであることが判明

統計学者が行うように、観測データから背後の原因をベイズ推論することを自律的に行っており、
そうして外界を模倣することが”神経回路の普遍的な特性”であることを証明

2022/01/15(土) 21:48:06.91

これ何も新しいこと説明していなくない？

2022/01/15(土) 22:01:11.99

最適な未来予想の実現化をモニターする神経細胞の発見ゼブラフィッシュ
https://www.riken.jp/press/2021/20210929_2/index.html

＞最適な未来の予測（脳内モデル）と現実との予測誤差を脳内において表現する魚は、その予測誤差を最小化するように行動する、

すなわち見える景色がいつも後方に移動するように休むことなく尻尾を振り続けることで、
素早く最も効率的な逃避行動を取ることができる

2022/01/15(土) 22:28:15.49

エネルギーが最小になるように関数系が確定するのは何となくわかるが‥、、

ここは機械学習のスレです。
脳の話は他でやれ。

2022/01/16(日) 00:28:38.95

正規化されてない確率密度をエネルギーって言ってるだけだぞ。

2022/01/16(日) 02:32:25.93

それは失礼。より最悪やわ。
>>353-356誰も信じないから去れや。

2022/01/16(日) 09:43:00.35

自由エネルギー原理てなに？

2022/01/16(日) 21:58:00.09

自由エネルギー原理は、簡単にいうと「生物の知覚や学習、行動は自由エネルギーと呼ばれるコスト関数を最小化するように決まり、その結果生物は外界に適応できる」という理論です。

と下のサイトに書いてある

https://www.riken.jp/press/2022/20220114_3/

2022/01/16(日) 22:15:42.15

経済学みたい

2022/01/17(月) 10:49:12.20

ボルツマンマシンみたいなもの

2022/01/20(木) 15:25:19.44

お前らの誰かだろw

ＡＩ使いわいせつ動画を「モザイクなし」、ネット公開…男を著作権法違反で在宅起訴
https://www.yomiuri.co.jp/national/20220119-OYT1T50117/

2022/01/21(金) 03:11:23.15

GANか

2022/01/21(金) 07:48:17.86

Generative Asoko Networks

2022/01/21(金) 09:59:21.21

モザイク外してモロ映像ができてたんなら猥褻物陳列罪に問われそうなもんだが違うのか
公開するのにわざわざモザイクかけ直したってことはないよな？w
猥褻物とは認識できないほどクオリティ低かったか

2022/01/21(金) 10:28:32.81

モザイク外したのではなくあくまで何らかの方法で生成した画像をモザイク部分に貼り付けただけだからな

2022/01/21(金) 11:10:51.29

GANで顔のすげ替えみたいな昔のコラ画像はできるけど、やっぱ変な不自然さは残ってるね。微妙に視線がおかしかったり表情がほとんど変わらなかったりってなってる。
実用性はちと微妙

2022/01/21(金) 11:16:40.32

>>369
顔を変えるのはディープフェイクって言うので少し前に問題になってた
中国で作られてたと思う

2022/01/21(金) 14:40:28.34

ディープフェイク出たときはこんなに簡単にうまく合成できるなんてと感心したっけ
陰影もそれなりについてるし

2022/01/22(土) 02:01:53.05

Kerasを使わない純粋なTensorflowを学ぶための参考書ってある？

2022/01/22(土) 03:47:59.38

>>372
公式ページで十分じゃないか？実際自分は自動微分付きCPU/GPU切り替え可能なテンソル計算ツールとして使ってるけど
公式ページと、謎のエラーはstackoverflowでこまってない。

2022/01/22(土) 16:18:55.66

>>369
上手く出来てる奴は見分け付かないし、学習が足りんだけだと思う

2022/01/22(土) 19:30:35.71

>>371
去年のSSIIでそれを見破る方法の
講演があったらしいが聞き逃した。orz

郡飛系のオブジェクト検出が一昨年。
これも聞き逃した。orz
※SSDとかYoloが苦手とする分野との事

2022/01/23(日) 00:56:32.18

眼を瞑っている学習データが少ないから
ディープフェイクは瞬きしないとか何とか

2022/01/25(火) 12:28:11.33

hnswて日本語で何て言うの？

2022/01/25(火) 16:10:19.93

https://ledge.ai/new-ai-institute-by-gebru/
この記事、間違ってる

修正すれば投稿していいと言われたのに、ゲブが修正せずに出せないんなら辞める、と啖呵を切ったら、ググルからじゃあどうぞと言われ、ググルから辞めることになった

2022/01/31(月) 00:22:16.22

IIFES行ってるやついるか？

2022/02/04(金) 13:36:58.80

MoEてアンサンブルじゃないの？

2022/02/13(日) 01:04:28.48

Rの勉強初めて1ヶ月ですが楽しいです
仕事への活かし方を知りたいです

2022/02/15(火) 16:37:07.78

KL-divergenceってなんなの？

2022/02/15(火) 20:15:04.10

>>382

https://ja.m.wikipedia.org/wiki/カルバック・ライブラー情報量

2つの分布が似ているかどうか
似ていると小さな値になる

2022/02/15(火) 20:28:22.06

分布のmetricだったのかthx

2022/02/16(水) 10:56:19.23

さすがにググレカス言いたくなるぞ

2022/02/16(水) 13:26:34.85

Don't get on the chart

2022/02/17(木) 08:54:47.80

>>381
仕事で活かすならまずは社内のERPやCRMで得られるcsvファイルを加工する所から始めるといいと思う
時系列データの加工やtableの集約、簡単なクラスタ分析で傾向視覚化することに慣れて、そこから色々なライブラリの活用などを勉強して適用範囲を増やすといいのでは？

ネットにも色々と情報があるけど、個人的にはamazonのUse Rシリーズの本から興味のありそうな本を買って読んで使っている
当たり外れがあるけど、個人の趣味と仕事の実益を兼ねられるので悪くないと思っている
これで休日や移動時間の使い方もかなり変わったけど、コロナで余計な飲み会などがなくなってよかったかも

2022/02/19(土) 22:32:37.76

>>387
ありがとうございます。
勉強するにはいい環境になりましたよね。

しかし、use R 高いですね！

2022/02/20(日) 18:59:22.79

転移学習てすごいとおもいました

2022/02/20(日) 19:20:15.07

>>388
確かに高いのでAmazonの関連書籍を探してみてもいいと思います
Packt社のRシリーズもコード付きで結構良かったと思います
日本語の書籍でも色々と出ていますね

2022/02/21(月) 00:01:27.48

仮想通貨botterデビューしたいんだがどこから始めればいいのやら

2022/02/21(月) 00:01:49.58

リッチマンさんの本も買って読んだんだが初心者には厳しい

2022/02/21(月) 04:18:03.59

>>392
あれがわからないなら基礎が抜けてるから機械学習の勉強すべき
まず学習に使うアルゴリズムである勾配ブースティングを理解する(ぶっちゃけこれ以外は捨てて良い)

次に予測に使うための特徴量エンジニアリングの勉強
この２つをやればまずは基礎はクリアできるし
実際あの本でやってるのもこの２つを雑に説明しいるだけ

本質的な部分は全部隠されてるから自分でやるしかない

2022/02/21(月) 05:40:37.41

>>393
オススメの本かサイトありますか？

2022/02/21(月) 12:24:47.43

リッチマンて誰？

2022/02/21(月) 13:26:31.45

>>395
richmanbtc

2022/02/21(月) 16:51:47.61

ファインチューニングも転移学習だよね？

2022/02/21(月) 19:19:44.00

>>394
ないっす
とりあえずlightgbmを理解しな？
あの本でも使われてる
ほぼあらゆる回帰と分類はこのアルゴリズムによって精度が上がることがkaggleで実証されてる

2022/02/25(金) 21:52:09.08

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw

2022/02/26(土) 17:09:49.03

100万クラスの物体認識てどう実装すればいいの？
mlpだけでメモリ不足になりそうなんだけど。。。

2022/02/26(土) 17:28:54.64

そのくらいの多さだったら普通のクラシフィケーションはしない。
https://qiita.com/gesogeso/items/547079f967d9bbf9aca8

2022/02/26(土) 17:40:32.48

>>400
Extreme classificationという研究分野があるけど、非実用的。
哺乳類>有袋類>カンガルー、的に段階的に認識する。

2022/02/26(土) 18:02:08.45

>>401
>>402
ありがとう！
調べてみるよ

2022/02/28(月) 21:24:48.02

>>400
学習データは何件くらいあるの？
100万クラスでゼロから学習だと、億単位が必要になりそう。