【統計分析】機械学習・データマイニング31

2021/09/26(日) 01:32:46.82

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2022/01/10(月) 23:28:34.52

>>338
だから「できない」からやらないわけで
せめてランダムにPCR検査をやってくれたら
参考になったのに
今後もランダムサンプリングはやらないのだろうけど

2022/01/11(火) 00:38:34.33

ランダム検査って検査受けたくないと考える人も対象に選ばれれば検査しなければ無意味なわけで、
例えば受験生とかその家族が今検査して陽性なんて出たら困るから絶対検査など受けられない
他にも同様な事情で受けない人が出るので結局対象に偏りが生じるから本当のランダムにはならない

2022/01/11(火) 01:01:34.22

ランダム検査したとして、その結果をどう活用するの？

2022/01/11(火) 01:18:47.71

ランダム検査すれば信頼性の高い市中感染率の推移データが得られる
そのデータをLSTMにぶち込めばっていう古典的な統計学に基づいた予測だろうな
いわゆる深層学習的な考え方じゃない

2022/01/11(火) 09:10:36.85

>>343
それを市中感染の注意喚起に使うってこと？
新規陽性者数の報道だけでは足りないかな？
新規陽性者数って蔓延状況の関数とも考えられるよね。

2022/01/11(火) 12:30:42.01

何に使うかは別次元の話
新規陽性者報告数は蔓延状況の関数だけど、検査場が飽和したら数値が下側になるし、大規模無料検査が行われたら上側になる
真の感染者数を求めるには変数が多すぎる関数なんだよ
ランダム検査の方がそういう変数を少なくできる

2022/01/11(火) 12:50:53.52

>>345
ランダム検査の結果を何に活用するか知りたいのが最初の質問です。
新規陽性者数が注意を要する指標なのは同意で、陽性率を報道してるのもそのためかと。
ランダム検査は強制力を伴うので、それに見合った活用法があるのかなと思って。

2022/01/11(火) 13:15:48.20

検査せずに動き回ってる市中感染者数が見えてくる
例えば、そういう人たちと感染したらリスクある基礎疾患抱えてるような人が接触しないようにする
～ワクチンパスポートの基礎疾患バージョンみたいな新たな対策をする根拠(効果予測)となる

でも一番大きいのは疫学的な科学データの蓄積。今役に立たなくてもデータを集めること自体に価値がある
協力金として100万円差し上げますってすりゃいいだろ。「ハズレた！もっと大規模にランダム検査しろ」ってクレームしか起きないぞｗ

2022/01/11(火) 15:22:10.54

科学データの蓄積
といっても株によって性質がかなり異なるみたいだから
意味があるかどうかは疑問
国が大好きな前例に基づいた対策には使えるけど
新例は前例とは違うのであまり意味がないかと

2022/01/11(火) 23:54:39.59

未来はわからんから計測する必要ないとかどんだけ思考停止だよ。
言うほど増減のパターンなんてそんなにはないわ。

2022/01/12(水) 10:34:23.29

何の話
いつから株の話？

2022/01/12(水) 10:46:58.74

株価とかじゃなくて変異株のことだろ
従来株の感染者数データからは、オミクロンのような変異株が流行したときの予測ができないってこと

逆に通常株としての予測値との差から変異株の実社会中での特性を見出すこともできるし
データはあればあるほどいいのにな。データを集めるコストに見合うかっていうとまた別問題だが

2022/01/12(水) 13:07:12.36

感染経路とか基本再生産数とかウイルスの特徴があるからそれらを参考にできると思うけどな

実行再生産数は色んな条件を統合した結果だと思う
ウイルスの特性とか人間側の感染対策とかワクチンの有効性とかワクチン接種率とか

オミクロン株は感染力はデルタ株より高いとわかれば
感染者数は増えると予想するのは自然だと思う
有効な感染対策が普及したらそれで変化するだろうし

2022/01/15(土) 21:05:54.36

神経回路は潜在的な統計学者だった
─理研、脳神経が自由エネルギー原理に従っていることを明らかに
https://www.riken.jp/press/2022/20220114_3/

＞どのような神経回路も「自由エネルギー原理」と呼ばれる近年注目される脳理論に従っており、
潜在的に”統計学的な推論”を行っていることを数理解析により明らかに

＞神経生理学的に妥当な「コスト関数」を逆算し、それが自由エネルギー原理のコスト関数と同一であることを数理的に解明

2022/01/15(土) 21:07:13.39

自由エネルギー原理とは

→
生物の知覚や学習、行動は自由エネルギーと呼ばれるコスト関数を最小化するようになっており、
その結果生物は外界に適応できるという理論

今回、
神経回路のコスト関数と、自由エネルギーは数式の構造が全く同じであることが判明

統計学者が行うように、観測データから背後の原因をベイズ推論することを自律的に行っており、
そうして外界を模倣することが”神経回路の普遍的な特性”であることを証明

2022/01/15(土) 21:48:06.91

これ何も新しいこと説明していなくない？

2022/01/15(土) 22:01:11.99

最適な未来予想の実現化をモニターする神経細胞の発見ゼブラフィッシュ
https://www.riken.jp/press/2021/20210929_2/index.html

＞最適な未来の予測（脳内モデル）と現実との予測誤差を脳内において表現する魚は、その予測誤差を最小化するように行動する、

すなわち見える景色がいつも後方に移動するように休むことなく尻尾を振り続けることで、
素早く最も効率的な逃避行動を取ることができる

2022/01/15(土) 22:28:15.49

エネルギーが最小になるように関数系が確定するのは何となくわかるが‥、、

ここは機械学習のスレです。
脳の話は他でやれ。

2022/01/16(日) 00:28:38.95

正規化されてない確率密度をエネルギーって言ってるだけだぞ。

2022/01/16(日) 02:32:25.93

それは失礼。より最悪やわ。
>>353-356誰も信じないから去れや。

2022/01/16(日) 09:43:00.35

自由エネルギー原理てなに？

2022/01/16(日) 21:58:00.09

自由エネルギー原理は、簡単にいうと「生物の知覚や学習、行動は自由エネルギーと呼ばれるコスト関数を最小化するように決まり、その結果生物は外界に適応できる」という理論です。

と下のサイトに書いてある

https://www.riken.jp/press/2022/20220114_3/

2022/01/16(日) 22:15:42.15

経済学みたい

2022/01/17(月) 10:49:12.20

ボルツマンマシンみたいなもの

2022/01/20(木) 15:25:19.44

お前らの誰かだろw

ＡＩ使いわいせつ動画を「モザイクなし」、ネット公開…男を著作権法違反で在宅起訴
https://www.yomiuri.co.jp/national/20220119-OYT1T50117/

2022/01/21(金) 03:11:23.15

GANか

2022/01/21(金) 07:48:17.86

Generative Asoko Networks

2022/01/21(金) 09:59:21.21

モザイク外してモロ映像ができてたんなら猥褻物陳列罪に問われそうなもんだが違うのか
公開するのにわざわざモザイクかけ直したってことはないよな？w
猥褻物とは認識できないほどクオリティ低かったか

2022/01/21(金) 10:28:32.81

モザイク外したのではなくあくまで何らかの方法で生成した画像をモザイク部分に貼り付けただけだからな

2022/01/21(金) 11:10:51.29

GANで顔のすげ替えみたいな昔のコラ画像はできるけど、やっぱ変な不自然さは残ってるね。微妙に視線がおかしかったり表情がほとんど変わらなかったりってなってる。
実用性はちと微妙

2022/01/21(金) 11:16:40.32

>>369
顔を変えるのはディープフェイクって言うので少し前に問題になってた
中国で作られてたと思う

2022/01/21(金) 14:40:28.34

ディープフェイク出たときはこんなに簡単にうまく合成できるなんてと感心したっけ
陰影もそれなりについてるし

2022/01/22(土) 02:01:53.05

Kerasを使わない純粋なTensorflowを学ぶための参考書ってある？

2022/01/22(土) 03:47:59.38

>>372
公式ページで十分じゃないか？実際自分は自動微分付きCPU/GPU切り替え可能なテンソル計算ツールとして使ってるけど
公式ページと、謎のエラーはstackoverflowでこまってない。

2022/01/22(土) 16:18:55.66

>>369
上手く出来てる奴は見分け付かないし、学習が足りんだけだと思う

2022/01/22(土) 19:30:35.71

>>371
去年のSSIIでそれを見破る方法の
講演があったらしいが聞き逃した。orz

郡飛系のオブジェクト検出が一昨年。
これも聞き逃した。orz
※SSDとかYoloが苦手とする分野との事

2022/01/23(日) 00:56:32.18

眼を瞑っている学習データが少ないから
ディープフェイクは瞬きしないとか何とか

2022/01/25(火) 12:28:11.33

hnswて日本語で何て言うの？

2022/01/25(火) 16:10:19.93

https://ledge.ai/new-ai-institute-by-gebru/
この記事、間違ってる

修正すれば投稿していいと言われたのに、ゲブが修正せずに出せないんなら辞める、と啖呵を切ったら、ググルからじゃあどうぞと言われ、ググルから辞めることになった

2022/01/31(月) 00:22:16.22

IIFES行ってるやついるか？

2022/02/04(金) 13:36:58.80

MoEてアンサンブルじゃないの？

2022/02/13(日) 01:04:28.48

Rの勉強初めて1ヶ月ですが楽しいです
仕事への活かし方を知りたいです

2022/02/15(火) 16:37:07.78

KL-divergenceってなんなの？

2022/02/15(火) 20:15:04.10

>>382

https://ja.m.wikipedia.org/wiki/カルバック・ライブラー情報量

2つの分布が似ているかどうか
似ていると小さな値になる

2022/02/15(火) 20:28:22.06

分布のmetricだったのかthx

2022/02/16(水) 10:56:19.23

さすがにググレカス言いたくなるぞ

2022/02/16(水) 13:26:34.85

Don't get on the chart

2022/02/17(木) 08:54:47.80

>>381
仕事で活かすならまずは社内のERPやCRMで得られるcsvファイルを加工する所から始めるといいと思う
時系列データの加工やtableの集約、簡単なクラスタ分析で傾向視覚化することに慣れて、そこから色々なライブラリの活用などを勉強して適用範囲を増やすといいのでは？

ネットにも色々と情報があるけど、個人的にはamazonのUse Rシリーズの本から興味のありそうな本を買って読んで使っている
当たり外れがあるけど、個人の趣味と仕事の実益を兼ねられるので悪くないと思っている
これで休日や移動時間の使い方もかなり変わったけど、コロナで余計な飲み会などがなくなってよかったかも

2022/02/19(土) 22:32:37.76

>>387
ありがとうございます。
勉強するにはいい環境になりましたよね。

しかし、use R 高いですね！

2022/02/20(日) 18:59:22.79

転移学習てすごいとおもいました

2022/02/20(日) 19:20:15.07

>>388
確かに高いのでAmazonの関連書籍を探してみてもいいと思います
Packt社のRシリーズもコード付きで結構良かったと思います
日本語の書籍でも色々と出ていますね

2022/02/21(月) 00:01:27.48

仮想通貨botterデビューしたいんだがどこから始めればいいのやら

2022/02/21(月) 00:01:49.58

リッチマンさんの本も買って読んだんだが初心者には厳しい

2022/02/21(月) 04:18:03.59

>>392
あれがわからないなら基礎が抜けてるから機械学習の勉強すべき
まず学習に使うアルゴリズムである勾配ブースティングを理解する(ぶっちゃけこれ以外は捨てて良い)

次に予測に使うための特徴量エンジニアリングの勉強
この２つをやればまずは基礎はクリアできるし
実際あの本でやってるのもこの２つを雑に説明しいるだけ

本質的な部分は全部隠されてるから自分でやるしかない

2022/02/21(月) 05:40:37.41

>>393
オススメの本かサイトありますか？

2022/02/21(月) 12:24:47.43

リッチマンて誰？

2022/02/21(月) 13:26:31.45

>>395
richmanbtc

2022/02/21(月) 16:51:47.61

ファインチューニングも転移学習だよね？

2022/02/21(月) 19:19:44.00

>>394
ないっす
とりあえずlightgbmを理解しな？
あの本でも使われてる
ほぼあらゆる回帰と分類はこのアルゴリズムによって精度が上がることがkaggleで実証されてる

2022/02/25(金) 21:52:09.08

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw

2022/02/26(土) 17:09:49.03

100万クラスの物体認識てどう実装すればいいの？
mlpだけでメモリ不足になりそうなんだけど。。。

2022/02/26(土) 17:28:54.64

そのくらいの多さだったら普通のクラシフィケーションはしない。
https://qiita.com/gesogeso/items/547079f967d9bbf9aca8

2022/02/26(土) 17:40:32.48

>>400
Extreme classificationという研究分野があるけど、非実用的。
哺乳類>有袋類>カンガルー、的に段階的に認識する。

2022/02/26(土) 18:02:08.45

>>401
>>402
ありがとう！
調べてみるよ

2022/02/28(月) 21:24:48.02

>>400
学習データは何件くらいあるの？
100万クラスでゼロから学習だと、億単位が必要になりそう。

2022/03/01(火) 07:31:45.97

小室哲哉が理研に入ってて草

2022/03/01(火) 17:37:55.12

>>404
1クラスほぼ1枚、運が良くて2、3枚て感じ
転移学習でやるか、siftを使うしかないかと思ってた

2022/03/01(火) 18:02:29.10

普通の十数クラスでも数枚じゃろくな結果にならないのに
100万クラスで数枚だと絶望だよ

2022/03/01(火) 18:51:28.00

百万クラスが互いに余程かけ離れた特徴量を持ってる対象とかですかね。

クラスタリングとかならわかりますけども、分類だと分岐の調整がほぼ働きませんし訓練データに対してさえ精度でなさそうですね。

2022/03/04(金) 17:53:22.48

metric learningが良くね？

2022/03/07(月) 20:19:41.23

統計検定4級って社会人が受けてたら浮く？

2022/03/07(月) 20:19:49.19

28歳です

2022/03/07(月) 21:07:31.50

今は1級を除いてCBT試験（オンライン試験）しかないから浮くとか浮かないとかないぞ。

2022/03/08(火) 03:35:43.59

中学数学からやり直さなきゃいけないレベルだったorz
とりま統計学が最強の学問である(数学編)を参考に最短ルートを行く

2022/03/08(火) 20:00:59.24

混乱してるんだけど
↓の理解で良いの？

表現学習
└距離学習
　└対照学習

2022/03/08(火) 20:29:30.66

>>414
距離と対照は包含関係ではない

2022/03/08(火) 20:39:17.51

日本語に訳してるのが混乱の元のような気がしてならない

2022/03/08(火) 20:54:13.09

contrastive lossによるmetric learningと
contrastive learningて微妙に違うの？コンテキストが違う感じ？

2022/03/10(木) 02:36:40.93

メトリックで探索する用途じゃなくてpre-trainのためのcontrastive learningというのはある。

2022/03/12(土) 15:52:28.60

サポートベクター回帰とカーネル回帰って同じですか？

2022/03/12(土) 18:10:34.04

別

2022/03/12(土) 20:01:47.52

企画職で、プログラミングできないなりに勉強してて、何かしら予測するところまではできるようになった。
ただ精度を検証したり精度上げたりってとこがうまく出来ないから、仕事で使うには難しいね。

2022/03/12(土) 20:43:47.27

>>421
精度上げるならドメイン知識豊富な企画職の方が有利かもしれない。
予測に寄与しそうな特徴量を考えるのが大切だから。

2022/03/12(土) 21:45:40.55

ランダムにサンプルを分けるんじゃなくて、あらかじめ決められた膨大なサンプルでバギングってできますか？

2022/03/13(日) 00:12:08.08

>>422
確かに。よそのチームに掛け合ってデータとってくるとか、そういうのは得意かな！

ただ、それで精度上がったとかよくわかんなくて悩む。予測の出し方とか解説してる記事とかはよく見るけど、どうやってそれを継続的に運用発展させるのかわかる本が欲しいよね

2022/03/13(日) 00:27:37.40

ランダムフォレストが特徴量を選択する性質がありますね。

ただそれを頼ってなんでも放り込んでしまうと学習コストが跳ね上がるので、結局は設計者が選別したものを使うのですが。

他にアルゴリズム自体が特徴量を選択する手法ってありますかね？

2022/03/13(日) 02:18:47.32

>>424
表形式データならXGBoostに入れてハイパラ調整するだけじゃないの？

2022/03/13(日) 06:36:10.83

>>421
仕事で使う場合、MLは目的ではなくて手段だと考えないと。誰の目にも見える形で成果を出さないと評価はされない。
詳しいことは河本：データ分析・AIを実務に活かすデータドリブン思考などを参照。

2022/03/13(日) 10:01:59.98

>>424
MLOpsっていう分野だけど正解は無いから、どこも悩んでいる

2022/03/13(日) 10:41:45.71

専門家じゃなくても現場レベルで機械学習適用が容易になってきてるからね
画像分類やらテーブル形式データからの予測とか、もう誰でもできるレベルだし
これからは何か他に専門を持って、その課題解決に機械学習適用するのがいいよ

2022/03/13(日) 11:05:33.21

>>427
ありがとう、読んでみるよ！
>>429
そうだね、思ったより簡単だった。今はいろんな実務の人に実演して驚いてもらって、一緒に課題を見つける協力関係つくるのをがんばってる

2022/03/13(日) 17:11:48.11

「マスターアルゴリズム」って本面白いな
まだ序盤までしか読んでないけどワクワクしてくる
「われわれは仮想世界を生きている」も最高に知的好奇心くすぐられたり今年は当たり本によく当たるわ

2022/03/13(日) 17:12:46.30

>>421
君たいな人にこそ「マスターアルゴリズム」はオススメっぽい

2022/03/13(日) 22:04:56.57

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw

2022/03/14(月) 09:43:51.31

でもさ、ぶっちゃけ機械学習の研究者やエンジニアよりデザイナーとかアーティストとかクリエイティブ系とかの方が文化的にも世界を豊かに彩って楽しくしてれるよね
人工知能は発展していけばインフラみたいになるものだし、そこからはより人間らしく創造的な活動が重要になる

結局、人にしか出来ないようなスキルの方が本質なんだと思うわ

2022/03/14(月) 09:45:43.27

芸術家の方がカッコいいしモテるんだよなあ
数学やプログラミング出来たって「わあすごーい」と言われるだけで、、、辛えわ

2022/03/14(月) 10:10:47.18

どうでもよくてわろた

2022/03/14(月) 10:42:35.45

どうせなら大きな経済的成功を成さないと機械学習やってる意味ねえから仮想通貨botterにでも転生しようかと思ってる

2022/03/14(月) 11:19:15.97

どうぞどうぞ

2022/03/14(月) 11:26:19.84

伸びてると思ったら書き込み一人だけ。しかもポエム系ｗ

2022/03/14(月) 20:22:26.24

アートで食ってくのと、数理的スキルで食ってくの、楽なのは圧倒的に後者
数理的スキルそれなりにあったらそこそこ割の良い仕事取れると思うけどなあ
そう思えないんだとしたら多分案件を探している市場がミスマッチなんだと思うけどな