【統計分析】機械学習・データマイニング31

2021/09/26(日) 01:32:46.82

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/12/17(金) 19:31:22.57

tensorflow
でも素のtensorflowを使うってならpytorch

2021/12/17(金) 20:04:44.82

どれでも良い

2021/12/17(金) 22:10:55.81

とりあえずtensorflowとDezeroを試そうかな？

2021/12/18(土) 12:43:09.46

pandasの本を読んでいる。
早くkaggleをやれるようになりたい。

2021/12/18(土) 17:32:55.78

まず参加しろよ

2021/12/18(土) 18:31:07.02

>>250
使いやすさではpytorchだけど同じパラメータでも
収束の速度や精度に違いが出るから両方試すしかないんだよね
めんどくせぇわ

2021/12/19(日) 00:06:13.67

結局論文のコードそのまま取ってくるとかだからtensorflowでもpytorchでもどっちでもええわ。
今時は可読性もそんな変わらんし。

2021/12/19(日) 08:16:24.75

paper with codeだとpytorchのほうが多いな。

2021/12/19(日) 20:39:08.97

bertとdoc2vec等の埋め込みの違いってなあに？の

2021/12/20(月) 11:22:34.02

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
朝鮮人はゲリ便をじゅるじゅると
うまそうに食うw

2021/12/20(月) 19:40:53.92

>>259
埋め込みってのはワンホットベクトルの後ろに全結合層を入れることだよ
それらのモデルは全部そうなってるでしょ

2021/12/21(火) 16:16:11.47

>>261
後続のタスクがうまくいくように調整したfc層の出力？

2021/12/21(火) 18:15:28.31

>>262
まあそんなイメージ
ワンホットベクトルを一旦全結合層を個別に通すことで
特徴量として学習がうまくいくようにしている
word2vecなどはそのおかげで単語の意味を学習することに成功した
これは他の分野にも応用できてどういうものを学習させるか？で特徴量を自動的に学習できることを示している
とんでもない発明だよ
計算量的にもワンホットベクトルとの積は対象の重みをインデックスとして取り出すってだけで良いのも味噌
テンソルの演算がいらないから高速

2021/12/28(火) 23:33:18.19

AIって名前だけで受注取れる時代は既に終ってる。
https://xtech.nikkei.com/atcl/nxt/column/18/00001/05585/
機械学習なんてタダのツールです。本職にはしないようにしましょう。

2021/12/28(火) 23:43:01.89

そこってOCRだけの会社だろ。そりゃ仕方ない

2021/12/28(火) 23:47:24.59

>>264
精度が出ないシステムだった？

2021/12/28(火) 23:58:56.89

あの会社の事例でAI全体を語られても困るわ

2021/12/29(水) 02:45:19.55

sklearn動かしてるだけの技術者は既に淘汰され始めてるよ
それよりも基礎集計しっかりやって知見を得ることの方がただモデル作るだけよりも何倍も意義がある

2021/12/29(水) 07:48:20.39

kerasやpytorchで何か検出しましただけの人も淘汰か

2021/12/29(水) 08:20:09.99

言うほど業務でkeras使うか？

2021/12/29(水) 10:59:29.75

ぶっちゃけそれを単に動かしてるだけの技術者っているの？
基本的に他の専門があって、データ解析のために必要に応じて機械学習を使ってる人が多いのでは？

2021/12/29(水) 15:24:18.72

技術者はただ単に動かしてるだけ（指示待ちプログラマ）
ほかに専門があって必要に応じて使うのは研究者かな（自分で動くプログラマ）
ま、言葉の定義なんてどうでもいいけど、どっちが多いかと言えば圧倒的に前者じゃないかな
AI系のいわゆるIT奴隷がほぼ全て含まれる

2021/12/29(水) 17:41:28.61

仕事なら客がいるわけで
その客の問題解決になるように作ってるはず
研究者は成果がなんの役に立たなくてもいいのなら自分の興味だけで研究したらいいけど
そんな研究に金を出してくれる人はいるかわからない

2021/12/29(水) 19:11:11.48

その客がツール使えば機械学習できるようになってきてるってことだね
社外に頼まなくても社内でできるようになりつつあるし

2021/12/29(水) 19:26:32.35

大企業なら統計学に詳しい人がいるだろうからね。
プログラマと協力すればある程度は何とかなりそう。

2021/12/29(水) 19:33:16.06

もう専門家はいらない

2021/12/29(水) 20:45:29.33

統計学ってカウントベースの統計学の方？これ利用価値あるの？

2021/12/29(水) 21:54:00.37

今の統計学は深層学習もやるぞ。AIしない統計学は10年以上に終わってる

2021/12/29(水) 22:39:30.12

>>275
大企業ならグループ内に研究所があったりする

2021/12/30(木) 02:07:07.02

企業にとって大事なのは確実な課題解決の手法であって機械学習は課題解決手段の一つに過ぎない。

お金にならなかったら縁を切るだけ。
4～5年前あたりからAIは全ての課題を解決出来ると錯覚してる輩がいてホント困る。

2021/12/30(木) 07:18:27.49

趣味とか小さな会社だったらそうなんだけどな
ある程度大きくなってくとAIでやれと言われたらAIでやらないといけない
それで解決できるかや客が満足するかは問題じゃないし「これはAIには向かないです」なんてひっかきまわすのは嫌われるし、そもそも仕様書作ってるとこに意見する経路がない

2021/12/30(木) 10:16:02.10

うちは大手メーカーだけど、AIでできることできないことの取捨選択が進んできたわ
数年前は何でもAIって雰囲気もあったけどね

2021/12/30(木) 18:57:57.40

AIは人間に出来ることはすべて出来るってだけで、人間に出来ないことはAIにもできないことが多いからね。

2021/12/30(木) 19:04:02.88

>>283
人間にできることをAIで全てできる
なんてことはないだろう

2021/12/30(木) 19:05:58.97

そうなの？

2021/12/30(木) 19:07:43.18

構造的なものだけでしょ
うなじを直接見るとか

2021/12/30(木) 19:14:06.27

以前は創造することは出来ないと言われてたけど、今では絵を描いたり作曲したりクリエイティブな作業もできるようだけど。

2021/12/30(木) 19:38:32.71

創造的、てなんだろうね

2021/12/30(木) 19:39:35.20

クリエイティブってことでは。

2021/12/30(木) 19:49:18.46

創造性をください

2021/12/30(木) 19:50:01.12

中東三大宗教において創造主とは神を意味するらしいので、創造するとその世界の神になるのでは？

2021/12/30(木) 22:50:11.24

人間も絵を描く技能は過去の作品の模倣から始まりますし、その意味では現在のAIは十分創造性を持っているのかもしれませんね。

2021/12/30(木) 23:13:16.48

人間の感性にマッチするような独創的な絵をAIに生成させるのはムリだな
でもそれは今はムリってだけで来年、再来年にはどうなってるか分からない。限界はAIを作る人間側にあるんだよ

2021/12/31(金) 00:42:05.82

AIの進歩によって人がドンドンいらなくなって行くのだけは確かだな
そして日本はこの分野において完全な負け組だということ
つまりこの分野が絡んで人を減らしたり、製品に付加価値を付けられたりすると
勝てないということだね

2021/12/31(金) 01:03:18.71

少子高齢化で働き手が減ってるから人手がかからなくなるのは良いことでもあるような

2021/12/31(金) 01:58:39.97

弱った人間が死ななくなると感染症が広がりやすくなるのでは？
人類はそうやって自滅すると思います。

2021/12/31(金) 09:37:41.44

神なんておのれを助けるものをたすくだろ、役に立たねー

2021/12/31(金) 10:46:28.66

どんどん違う仕事ができるだけだろ

2021/12/31(金) 12:16:18.20

そのとおり。
違う仕事をしましょう。

2022/01/01(土) 00:25:22.86

ドンドン違う仕事ができると言っても
日本は新しいことにチャレンジしない国だからね
世界で創業から100年以上経過した企業の41％が日本企業とか
200年以上経過した企業の65％が日本企業とか
会社の96.3％が同族企業とか
新興企業のほとんどが数年で消滅して大きくならないとか、、、
日本の体質を物語っている
失われた30年と言われているが
IT云々から始ってAI、仮想通貨と国と企業が自らの手で
新しい分野を殺してきたようなところがあるんで

2022/01/01(土) 01:16:42.43

労働力を安く買い叩くことでAIに対抗しようとしてるという地獄が日本の現状

2022/01/01(土) 06:43:40.56

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
朝鮮人はゲリ便をじゅるじゅると
うまそうに食うw

2022/01/03(月) 05:27:11.01

少なくとも今の学生は機械学習をメインにせず専門の知識習得に務めるべし。

例えばロボット関係やりたいのに制御工学飛ばして機械学習の上っ面だけ身につけてる輩は不要人材。

2022/01/03(月) 10:21:23.45

新たなアルゴリズムを考えたりできる研究者でもない限り、機械学習専門家と言いながら実態は既存のライブラリのうまい組み合わせ方を知っているちょっと頭のいい作業員でしかないからな
そんなものはライブラリや周辺のツールが便利になれば不要になる仕事

2022/01/03(月) 11:11:04.57

自分の専門領域プラス機械学習は今後も大きな武器になるが機械学習だけはマジでやめとけ
そんな人材が求められていたのは数年前まで
最先端の深層学習研究者は別だけど、そんなことできるの極々一部の天才だけだ

2022/01/03(月) 14:36:57.71

あと機械学習の専門研究なんて、現在ただのラベリング合戦の研究だからな。

名前を付けた手法をいかに精度良く見せかけていかに周囲に素早く拡めるかの世界

2022/01/03(月) 14:42:30.59

プログラミングやったことない&できない奴が始めるには最適な分野
hello worldレベルの知識ですらやってけるし、論文読むのに忌避感なけりゃ一か月でおまえらより上になれる

2022/01/03(月) 14:48:37.53

その通り
だから機械学習だけしかやってない人は危機感を持とうね

2022/01/03(月) 15:20:09.07

英語やプログラミングも専門分野と合わさって初めて価値を発揮しますからね。

専門分野なしにとにかく流行りのツールを学びたいという人はいつの時代も見られるものです。

2022/01/03(月) 15:35:09.15

寝る間を惜しんで機械学習コンペに精を出す人もいるけどむしろコンペを開催する側の能力がなければ近い内に淘汰される側となる。
専門外の人に解かせて使い物になるモデルが出来上がるということは問題設定や事前に収集したデータが適切だったということであって、
そこまで準備する能力があればモデル生成作業はコンペ・外注・自動ツール等々、その時点で一番コスパがいい方法を選ぶだけ。

2022/01/03(月) 20:47:57.48

プログラミング自体そのうち淘汰されるからな。やる意味ないぞｗ
でも今は意味なるんだよ。今がよけりゃそれでいい

2022/01/03(月) 22:27:45.53

そりゃどんな仕事もそのうち淘汰されるわ。
だから働かないとかただの馬鹿だろ。

2022/01/04(火) 00:02:04.61

「そのうち」でひと括りにする方がよっぽど馬鹿かと
淘汰されるのに数十年かかるならほとんどの現役世代は気にしなくていいけど数年で淘汰される可能性がある技能をせっせと身につける必要はない

2022/01/05(水) 04:15:21.19

なんつーか、、
AIって言葉が先行し過ぎ。
数学的にただの最適化問題で解ける問題をわざわざ機械学習(例えばNN)で解いて何をやってるんだろうと思ってしまうこと多々あり。

一応念のため言っておくが元々数学的な手法を機械学習やってるやつが種々の数学的な手法を勝手に『教師あり学習』『教師なし学習』『強化学習』に分類したのが始まり。

DLが出て加速的にこの分野人気が出たが元々の数学の背景は知っとけ。

2022/01/05(水) 07:14:44.64

訂正

機械学習やってるやつが種々の数学的な手法を勝手に『教師あり学習』『教師なし学習』『強化学習』に分類したのが始まり。

2022/01/05(水) 07:37:22.29

じゃあどの本を読めばいいの？

2022/01/05(水) 09:56:41.43

そのうちAIで一発充てて億万長者

2022/01/05(水) 10:10:11.14

>>315
勝手に分類したというソースとかあります？
最適化や統計学を参考に発展したのかなと言ったら激怒されたことがありまして。
でも、例えば最尤法なんてのはロナルドフィッシャーの前からあるわけで。

2022/01/05(水) 21:30:42.32

>>313
プログラミングがあと数年で淘汰されるとか本気で言ってるとしたら本当のバカだよ。

2022/01/05(水) 23:57:29.94

ここで言ってるのはプログラミングじゃなくて「既存の機械学習ライブラリにデータを突っ込んでいい感じのモデルを生成する作業」だぞ

2022/01/06(木) 08:28:37.04

>>320
昔よりどんどん設定が楽になってるからなあ
深層学習関連で厄介だったのって結局はデータセットをどんな形式(XMLかJSONか)
でしかもそれを各要素をどんな順番にしてどのディレクトリに置くかで動かないとか
あるいはオンプレミスならGPUドライバのインストールとか
そういうIT関連の初歩だけど躓きやすいところでうまく行かない人が多かっただけで、
そのお膳立てが出来てるならそんな難しい話ではないからなあ

2022/01/06(木) 11:27:51.20

>>318
その3つはここ最近できた分類。
2010年以前に初版の機械学習の本を参照のこと。その分類殆ど書いてない。
例えば『カーネル～』『パターン認識～』とかの本を読んみな。

＞激怒された
どの分野の誰が激怒した？

2022/01/06(木) 12:57:18.54

>>322
ありがとうございます。記述がないか見てみます。

> どの分野の誰が激怒した？
もう辞めた元同僚です。詳しくは知りませんが、建築系の分野で深層学習の応用をやっていたようです。

2022/01/06(木) 12:59:34.26

>>322
dudaとhartの本1973に既にその分類あった気がする

2022/01/06(木) 13:53:25.23

激怒したのがただのおっさんだった件について

2022/01/06(木) 14:05:13.26

>>320
そんな輩は淘汰とかの前にそもそも成り立ってすらいないがな。

2022/01/06(木) 21:51:07.42

1クラスSVMで正常データが原点から遠く、未学習データが原点付近に写像されるって説明よく見るけどどういう原理なの？

2022/01/07(金) 06:52:41.42

どこの説明？

2022/01/07(金) 09:19:56.68

シューティングゲームやらせたら最初はスコアゼロ＝原点近くだけど、そのうち点が入りだして原点から遠くなって
でもそれ以上点がとれなくなってくるとそこで収束する（何万点って決まったとこ以上遠くならなくなる）みたいなことかな

2022/01/09(日) 17:33:58.49

専門分野がんばろ

2022/01/10(月) 12:26:00.91

コロナ感染者数予測ですら当たり外れしか見えず外れただろ謝れとか言う阿保が多いから
機械学習でどんなに精緻にモデリングしても見合った成果が得られない気がする

線形回帰くらいじゃないと納得しないだろうな

2022/01/10(月) 13:32:36.73

阿保に評価されることを成果目標とするならどんなに頑張っても成果得られないだろうな
でもそんなとこを目標としてないからｗ

2022/01/10(月) 13:54:34.12

非専門家に理解させるのが面倒だと思うなら機械学習だけやっていたのでは不十分で、機械学習の成果を利用したサービスを自分で立ち上げる必要がある
そのサービス自体に価値があれば中身の機械学習が一般人に理解不能なアルゴリズムであろうと外部の人には関係ない
DeepLとか中身がどうであろうと便利だから使われているが、もしDeepLのアルゴリズムだけ作ってそれを誰かに売りたいならその説明をして理解させなければ売れるわけがない

2022/01/10(月) 16:36:12.87

>>331
8割おじさんが最近出した本読んだんだが
モデルの説明がめちゃくちゃ多い
機械学習も取り入れてるみたいでちゃんとやる人がやれば予測できるんだなと思った
国民がバカすぎる

2022/01/10(月) 17:49:20.98

>>334
予測できるはずがない
統計学をちゃんとやっている人なら
データが恣意的なので無理
とすぐに分かるはず

2022/01/10(月) 18:01:50.82

どこまで予測するかだよ
日々の新規感染者報告数を一人の単位できっちり当ててく予想なんてのはそりゃできるはずないが
元データが恣意的だったり正確じゃなくてもおおよそなら十分予測できる
過去の動きから実効再生産数は連休に跳ね上がってるから、連休後は増えるなんてのは馬鹿でも予想できるだろ
だから日付だけでなく休日情報をデータに含めとくとかそういうのの積み重ねだよ

2022/01/10(月) 18:07:25.70

コロナの予測に必要なのは機械学習ではない

2022/01/10(月) 18:44:16.50

>>335
そりゃ予測なんだから当たり前でしょ
問題はそういうモデルを専門家が色々出すことで
政府や国民が判断できる環境を作ることだよ
現場ほとんどの専門家が何も出してない
Googleと8割おじさんくらいしか出してない

2022/01/10(月) 21:48:02.54

今現在知りうる情報から少し先の状況を大まかに把握することは良くやる事だよな
スポーツなんかでもボールの動きの少し先を予測して動くし
対戦形式だと相手の少しの動き予備動作とか癖とかで予測したり
台風の進路予想とかも
経済活動や人間の活動や会社の業績予想、株価予想なんかもある

ウイルス感染も人間の活動とウイルスの特性とかで大まかに予測できるだろう

2022/01/10(月) 23:28:34.52

>>338
だから「できない」からやらないわけで
せめてランダムにPCR検査をやってくれたら
参考になったのに
今後もランダムサンプリングはやらないのだろうけど

2022/01/11(火) 00:38:34.33

ランダム検査って検査受けたくないと考える人も対象に選ばれれば検査しなければ無意味なわけで、
例えば受験生とかその家族が今検査して陽性なんて出たら困るから絶対検査など受けられない
他にも同様な事情で受けない人が出るので結局対象に偏りが生じるから本当のランダムにはならない

2022/01/11(火) 01:01:34.22

ランダム検査したとして、その結果をどう活用するの？

2022/01/11(火) 01:18:47.71

ランダム検査すれば信頼性の高い市中感染率の推移データが得られる
そのデータをLSTMにぶち込めばっていう古典的な統計学に基づいた予測だろうな
いわゆる深層学習的な考え方じゃない

2022/01/11(火) 09:10:36.85

>>343
それを市中感染の注意喚起に使うってこと？
新規陽性者数の報道だけでは足りないかな？
新規陽性者数って蔓延状況の関数とも考えられるよね。

2022/01/11(火) 12:30:42.01

何に使うかは別次元の話
新規陽性者報告数は蔓延状況の関数だけど、検査場が飽和したら数値が下側になるし、大規模無料検査が行われたら上側になる
真の感染者数を求めるには変数が多すぎる関数なんだよ
ランダム検査の方がそういう変数を少なくできる

2022/01/11(火) 12:50:53.52

>>345
ランダム検査の結果を何に活用するか知りたいのが最初の質問です。
新規陽性者数が注意を要する指標なのは同意で、陽性率を報道してるのもそのためかと。
ランダム検査は強制力を伴うので、それに見合った活用法があるのかなと思って。

2022/01/11(火) 13:15:48.20

検査せずに動き回ってる市中感染者数が見えてくる
例えば、そういう人たちと感染したらリスクある基礎疾患抱えてるような人が接触しないようにする
～ワクチンパスポートの基礎疾患バージョンみたいな新たな対策をする根拠(効果予測)となる

でも一番大きいのは疫学的な科学データの蓄積。今役に立たなくてもデータを集めること自体に価値がある
協力金として100万円差し上げますってすりゃいいだろ。「ハズレた！もっと大規模にランダム検査しろ」ってクレームしか起きないぞｗ

2022/01/11(火) 15:22:10.54

科学データの蓄積
といっても株によって性質がかなり異なるみたいだから
意味があるかどうかは疑問
国が大好きな前例に基づいた対策には使えるけど
新例は前例とは違うのであまり意味がないかと

2022/01/11(火) 23:54:39.59

未来はわからんから計測する必要ないとかどんだけ思考停止だよ。
言うほど増減のパターンなんてそんなにはないわ。

2022/01/12(水) 10:34:23.29

何の話
いつから株の話？