【統計分析】機械学習・データマイニング31

2021/09/26(日) 01:32:46.82

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2022/01/16(日) 22:15:42.15

経済学みたい

2022/01/17(月) 10:49:12.20

ボルツマンマシンみたいなもの

2022/01/20(木) 15:25:19.44

お前らの誰かだろw

ＡＩ使いわいせつ動画を「モザイクなし」、ネット公開…男を著作権法違反で在宅起訴
https://www.yomiuri.co.jp/national/20220119-OYT1T50117/

2022/01/21(金) 03:11:23.15

GANか

2022/01/21(金) 07:48:17.86

Generative Asoko Networks

2022/01/21(金) 09:59:21.21

モザイク外してモロ映像ができてたんなら猥褻物陳列罪に問われそうなもんだが違うのか
公開するのにわざわざモザイクかけ直したってことはないよな？w
猥褻物とは認識できないほどクオリティ低かったか

2022/01/21(金) 10:28:32.81

モザイク外したのではなくあくまで何らかの方法で生成した画像をモザイク部分に貼り付けただけだからな

2022/01/21(金) 11:10:51.29

GANで顔のすげ替えみたいな昔のコラ画像はできるけど、やっぱ変な不自然さは残ってるね。微妙に視線がおかしかったり表情がほとんど変わらなかったりってなってる。
実用性はちと微妙

2022/01/21(金) 11:16:40.32

>>369
顔を変えるのはディープフェイクって言うので少し前に問題になってた
中国で作られてたと思う

2022/01/21(金) 14:40:28.34

ディープフェイク出たときはこんなに簡単にうまく合成できるなんてと感心したっけ
陰影もそれなりについてるし

2022/01/22(土) 02:01:53.05

Kerasを使わない純粋なTensorflowを学ぶための参考書ってある？

2022/01/22(土) 03:47:59.38

>>372
公式ページで十分じゃないか？実際自分は自動微分付きCPU/GPU切り替え可能なテンソル計算ツールとして使ってるけど
公式ページと、謎のエラーはstackoverflowでこまってない。

2022/01/22(土) 16:18:55.66

>>369
上手く出来てる奴は見分け付かないし、学習が足りんだけだと思う

2022/01/22(土) 19:30:35.71

>>371
去年のSSIIでそれを見破る方法の
講演があったらしいが聞き逃した。orz

郡飛系のオブジェクト検出が一昨年。
これも聞き逃した。orz
※SSDとかYoloが苦手とする分野との事

2022/01/23(日) 00:56:32.18

眼を瞑っている学習データが少ないから
ディープフェイクは瞬きしないとか何とか

2022/01/25(火) 12:28:11.33

hnswて日本語で何て言うの？

2022/01/25(火) 16:10:19.93

https://ledge.ai/new-ai-institute-by-gebru/
この記事、間違ってる

修正すれば投稿していいと言われたのに、ゲブが修正せずに出せないんなら辞める、と啖呵を切ったら、ググルからじゃあどうぞと言われ、ググルから辞めることになった

2022/01/31(月) 00:22:16.22

IIFES行ってるやついるか？

2022/02/04(金) 13:36:58.80

MoEてアンサンブルじゃないの？

2022/02/13(日) 01:04:28.48

Rの勉強初めて1ヶ月ですが楽しいです
仕事への活かし方を知りたいです

2022/02/15(火) 16:37:07.78

KL-divergenceってなんなの？

2022/02/15(火) 20:15:04.10

>>382

https://ja.m.wikipedia.org/wiki/カルバック・ライブラー情報量

2つの分布が似ているかどうか
似ていると小さな値になる

2022/02/15(火) 20:28:22.06

分布のmetricだったのかthx

2022/02/16(水) 10:56:19.23

さすがにググレカス言いたくなるぞ

2022/02/16(水) 13:26:34.85

Don't get on the chart

2022/02/17(木) 08:54:47.80

>>381
仕事で活かすならまずは社内のERPやCRMで得られるcsvファイルを加工する所から始めるといいと思う
時系列データの加工やtableの集約、簡単なクラスタ分析で傾向視覚化することに慣れて、そこから色々なライブラリの活用などを勉強して適用範囲を増やすといいのでは？

ネットにも色々と情報があるけど、個人的にはamazonのUse Rシリーズの本から興味のありそうな本を買って読んで使っている
当たり外れがあるけど、個人の趣味と仕事の実益を兼ねられるので悪くないと思っている
これで休日や移動時間の使い方もかなり変わったけど、コロナで余計な飲み会などがなくなってよかったかも

2022/02/19(土) 22:32:37.76

>>387
ありがとうございます。
勉強するにはいい環境になりましたよね。

しかし、use R 高いですね！

2022/02/20(日) 18:59:22.79

転移学習てすごいとおもいました

2022/02/20(日) 19:20:15.07

>>388
確かに高いのでAmazonの関連書籍を探してみてもいいと思います
Packt社のRシリーズもコード付きで結構良かったと思います
日本語の書籍でも色々と出ていますね

2022/02/21(月) 00:01:27.48

仮想通貨botterデビューしたいんだがどこから始めればいいのやら

2022/02/21(月) 00:01:49.58

リッチマンさんの本も買って読んだんだが初心者には厳しい

2022/02/21(月) 04:18:03.59

>>392
あれがわからないなら基礎が抜けてるから機械学習の勉強すべき
まず学習に使うアルゴリズムである勾配ブースティングを理解する(ぶっちゃけこれ以外は捨てて良い)

次に予測に使うための特徴量エンジニアリングの勉強
この２つをやればまずは基礎はクリアできるし
実際あの本でやってるのもこの２つを雑に説明しいるだけ

本質的な部分は全部隠されてるから自分でやるしかない

2022/02/21(月) 05:40:37.41

>>393
オススメの本かサイトありますか？

2022/02/21(月) 12:24:47.43

リッチマンて誰？

2022/02/21(月) 13:26:31.45

>>395
richmanbtc

2022/02/21(月) 16:51:47.61

ファインチューニングも転移学習だよね？

2022/02/21(月) 19:19:44.00

>>394
ないっす
とりあえずlightgbmを理解しな？
あの本でも使われてる
ほぼあらゆる回帰と分類はこのアルゴリズムによって精度が上がることがkaggleで実証されてる

2022/02/25(金) 21:52:09.08

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw

2022/02/26(土) 17:09:49.03

100万クラスの物体認識てどう実装すればいいの？
mlpだけでメモリ不足になりそうなんだけど。。。

2022/02/26(土) 17:28:54.64

そのくらいの多さだったら普通のクラシフィケーションはしない。
https://qiita.com/gesogeso/items/547079f967d9bbf9aca8

2022/02/26(土) 17:40:32.48

>>400
Extreme classificationという研究分野があるけど、非実用的。
哺乳類>有袋類>カンガルー、的に段階的に認識する。

2022/02/26(土) 18:02:08.45

>>401
>>402
ありがとう！
調べてみるよ

2022/02/28(月) 21:24:48.02

>>400
学習データは何件くらいあるの？
100万クラスでゼロから学習だと、億単位が必要になりそう。

2022/03/01(火) 07:31:45.97

小室哲哉が理研に入ってて草

2022/03/01(火) 17:37:55.12

>>404
1クラスほぼ1枚、運が良くて2、3枚て感じ
転移学習でやるか、siftを使うしかないかと思ってた

2022/03/01(火) 18:02:29.10

普通の十数クラスでも数枚じゃろくな結果にならないのに
100万クラスで数枚だと絶望だよ

2022/03/01(火) 18:51:28.00

百万クラスが互いに余程かけ離れた特徴量を持ってる対象とかですかね。

クラスタリングとかならわかりますけども、分類だと分岐の調整がほぼ働きませんし訓練データに対してさえ精度でなさそうですね。

2022/03/04(金) 17:53:22.48

metric learningが良くね？

2022/03/07(月) 20:19:41.23

統計検定4級って社会人が受けてたら浮く？

2022/03/07(月) 20:19:49.19

28歳です

2022/03/07(月) 21:07:31.50

今は1級を除いてCBT試験（オンライン試験）しかないから浮くとか浮かないとかないぞ。

2022/03/08(火) 03:35:43.59

中学数学からやり直さなきゃいけないレベルだったorz
とりま統計学が最強の学問である(数学編)を参考に最短ルートを行く

2022/03/08(火) 20:00:59.24

混乱してるんだけど
↓の理解で良いの？

表現学習
└距離学習
　└対照学習

2022/03/08(火) 20:29:30.66

>>414
距離と対照は包含関係ではない

2022/03/08(火) 20:39:17.51

日本語に訳してるのが混乱の元のような気がしてならない

2022/03/08(火) 20:54:13.09

contrastive lossによるmetric learningと
contrastive learningて微妙に違うの？コンテキストが違う感じ？

2022/03/10(木) 02:36:40.93

メトリックで探索する用途じゃなくてpre-trainのためのcontrastive learningというのはある。

2022/03/12(土) 15:52:28.60

サポートベクター回帰とカーネル回帰って同じですか？

2022/03/12(土) 18:10:34.04

別

2022/03/12(土) 20:01:47.52

企画職で、プログラミングできないなりに勉強してて、何かしら予測するところまではできるようになった。
ただ精度を検証したり精度上げたりってとこがうまく出来ないから、仕事で使うには難しいね。

2022/03/12(土) 20:43:47.27

>>421
精度上げるならドメイン知識豊富な企画職の方が有利かもしれない。
予測に寄与しそうな特徴量を考えるのが大切だから。

2022/03/12(土) 21:45:40.55

ランダムにサンプルを分けるんじゃなくて、あらかじめ決められた膨大なサンプルでバギングってできますか？

2022/03/13(日) 00:12:08.08

>>422
確かに。よそのチームに掛け合ってデータとってくるとか、そういうのは得意かな！

ただ、それで精度上がったとかよくわかんなくて悩む。予測の出し方とか解説してる記事とかはよく見るけど、どうやってそれを継続的に運用発展させるのかわかる本が欲しいよね

2022/03/13(日) 00:27:37.40

ランダムフォレストが特徴量を選択する性質がありますね。

ただそれを頼ってなんでも放り込んでしまうと学習コストが跳ね上がるので、結局は設計者が選別したものを使うのですが。

他にアルゴリズム自体が特徴量を選択する手法ってありますかね？

2022/03/13(日) 02:18:47.32

>>424
表形式データならXGBoostに入れてハイパラ調整するだけじゃないの？

2022/03/13(日) 06:36:10.83

>>421
仕事で使う場合、MLは目的ではなくて手段だと考えないと。誰の目にも見える形で成果を出さないと評価はされない。
詳しいことは河本：データ分析・AIを実務に活かすデータドリブン思考などを参照。

2022/03/13(日) 10:01:59.98

>>424
MLOpsっていう分野だけど正解は無いから、どこも悩んでいる

2022/03/13(日) 10:41:45.71

専門家じゃなくても現場レベルで機械学習適用が容易になってきてるからね
画像分類やらテーブル形式データからの予測とか、もう誰でもできるレベルだし
これからは何か他に専門を持って、その課題解決に機械学習適用するのがいいよ

2022/03/13(日) 11:05:33.21

>>427
ありがとう、読んでみるよ！
>>429
そうだね、思ったより簡単だった。今はいろんな実務の人に実演して驚いてもらって、一緒に課題を見つける協力関係つくるのをがんばってる

2022/03/13(日) 17:11:48.11

「マスターアルゴリズム」って本面白いな
まだ序盤までしか読んでないけどワクワクしてくる
「われわれは仮想世界を生きている」も最高に知的好奇心くすぐられたり今年は当たり本によく当たるわ

2022/03/13(日) 17:12:46.30

>>421
君たいな人にこそ「マスターアルゴリズム」はオススメっぽい

2022/03/13(日) 22:04:56.57

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
クソチョンはゲリ便をじゅるじゅると
うまそうに食うw

2022/03/14(月) 09:43:51.31

でもさ、ぶっちゃけ機械学習の研究者やエンジニアよりデザイナーとかアーティストとかクリエイティブ系とかの方が文化的にも世界を豊かに彩って楽しくしてれるよね
人工知能は発展していけばインフラみたいになるものだし、そこからはより人間らしく創造的な活動が重要になる

結局、人にしか出来ないようなスキルの方が本質なんだと思うわ

2022/03/14(月) 09:45:43.27

芸術家の方がカッコいいしモテるんだよなあ
数学やプログラミング出来たって「わあすごーい」と言われるだけで、、、辛えわ

2022/03/14(月) 10:10:47.18

どうでもよくてわろた

2022/03/14(月) 10:42:35.45

どうせなら大きな経済的成功を成さないと機械学習やってる意味ねえから仮想通貨botterにでも転生しようかと思ってる

2022/03/14(月) 11:19:15.97

どうぞどうぞ

2022/03/14(月) 11:26:19.84

伸びてると思ったら書き込み一人だけ。しかもポエム系ｗ

2022/03/14(月) 20:22:26.24

アートで食ってくのと、数理的スキルで食ってくの、楽なのは圧倒的に後者
数理的スキルそれなりにあったらそこそこ割の良い仕事取れると思うけどなあ
そう思えないんだとしたら多分案件を探している市場がミスマッチなんだと思うけどな

2022/03/15(火) 00:56:33.52

リーマン的な思考から来る小銭稼ぎならそうだろうね
そもそも今どの市場でも数理的スキル持ってたらアンマッチなんてまず起きない
ただ>>434>>435みたいなのはエンジニアでは無理だし、億単位の圧倒的な成功も余程卓越したものを持ってないと無理

俺はリーマン的成功には何の興味も無いんだよ

2022/03/15(火) 07:56:41.40

自分もマスターアルゴリズム買った
たしかにいい本だね
本屋で表紙見かけた時ラノベか何かかと思ってたw

2022/03/15(火) 10:50:00.24

>>442
わいも本屋で何気に手に取ってパラパラっと見たら良本の匂いがしたから即買ったクチ
仮想通貨botで市場から資金調達しつつ、マスターアルゴリズムや真理の探究するわ

2022/03/15(火) 12:33:22.68

マスターアルゴリズム、って学部1, 2年生には魅力的な内容かも
エッセイだし

2022/03/15(火) 23:51:36.94

>>441
分野がアートだろうとクリエイターだろうとエンジニアだろうと億単位の圧倒的な成功なんて一握りだろ
戦略コンサルとかにでも転職したらいいんじゃね、そんなに成功にこだわるなら
アートもクリエイターもエンジニアも成功を目指して選ぶ業態というよりは、金銭より大事なものがあってどうしても金に心を売れない人種がする仕事だと思うがなあ
夢見すぎだよ

2022/03/16(水) 18:55:26.68

エンジニアは金銭目当てだよ
特に昨今の機械学習ブーム見れば一目瞭然
少なくともアーティストやクリエイターと同列扱いなど勘違いも甚だしい、次元が違う

2022/03/16(水) 19:09:10.14

ヒントンやルカンやベンジオがアーティストか？違うだろ

2022/03/16(水) 19:10:19.19

smtやってた連中は金融に行って大儲けした

2022/03/19(土) 21:48:51.08

こういうのはどういう仕組みなんですか？
11万件のデータを学習させているそうです
なんとなく胡散臭いような…
https://twitter.com/Angama_Market/status/1504823635953188865
https://twitter.com/5chan_nel (5ch newer account)

2022/03/19(土) 22:09:24.89

>>449
ウソです

2022/03/20(日) 11:21:04.95

anacondaってゆうほど便利じゃなくない？
モジュールのインストールが超遅かったりコンフリクト解決してくれなかったり

2022/03/20(日) 11:44:01.28

conda install使うとはまるな
総合的に普通よりもちょい上ぐらいのイメージ

2022/03/20(日) 18:44:56.60

>>451
ソースコードからPython実行環境を構築してみると分かる。パッケージ管理ツールの有り難さが。
文句を言う前に自分が努力してみよう。

2022/03/20(日) 18:46:40.29

opencvのインストール、6時間経っても終わんない😭

2022/03/20(日) 20:22:45.30

>>453
普段はpip使ってるけど使いたいライブラリがanacondaおすすめしてたから使ってみたらこうだよ(o´･ω･`o)

2022/03/20(日) 23:28:12.61

condaは仮想環境構築には便利

2022/03/21(月) 00:56:53.16

anaconda は、モジュールの依存を解決してくれないの？
嘘でしょ？そんなパッケージマネージャーってある？

Ubuntu のapt, Ruby のBundler, Node.js のnpm/yarn は、依存を解決するけど

2022/03/21(月) 01:12:35.94

anaconda今年から商用利用有料になったからminicondaに変えて取得リポジトリ変えないといけない
だったらvenvで環境切ってpipで自分で解決したほうがいい

2022/03/21(月) 06:35:51.00

wordcloudって面白いけど
単語の重みの数値とか単語間の繋がりの数値とか順位とかを出力してくれる機能はあるのかなあ？

2022/03/21(月) 18:06:01.26

>>459
特定ライブラリの機能じゃないから実装によるだろ

2022/03/22(火) 10:26:04.56

谷中瞳とか女はイージーで良いなあ
広告塔にもなるし