【統計分析】機械学習・データマイニング28

2020/05/01(金) 09:32:34.08

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578892284/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2020/08/10(月) 07:01:26.47

>>868
マインドエンジンのデモ見れば？

2020/08/10(月) 08:08:41.65

そうやって糞動画を再生させようとするのやめれ

2020/08/10(月) 14:09:47.47

低評価押してきた

2020/08/11(火) 09:40:48.44

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw

2020/08/11(火) 21:01:12.18

基本的な質問で申し訳ないんですけど、そもそも分類器（で良いんですかね）って何なんでしょう
例えばタイタニックのデータを使って学習するとか、顔写真いっぱい読ませて顔検出させるとか、学習の結果何らかの「判断基準」が生成されるという認識なんですけど
この基準の実体って一体どういうものなんでしょうか。いや中に小人さんがいるわけでもないわけですし
何かしらの新規データが投入されて、その基準と「照らし合わせて」、「判定する」っていうのが色々説明読んでも概念的というか実際どういうことしてるのかと
opencvの顔認識見てるんですけど分類器のコンストラクタでなんかぐちゃぐちゃ数値書いてるxmlを読み込んでてこれどういうこと？ってなって不思議に思ったんです

2020/08/11(火) 21:05:07.88

ラベル

2020/08/11(火) 22:03:15.22

>>873
ある空間を〇と×に分ける境界線や境界面

2020/08/11(火) 23:15:43.68

>>875
正確には超平面
座標変換した超空間でもっともうまく分類する
超平面を決定する問題

2020/08/12(水) 01:46:47.09

超平面ググッてみましたけど、つまり二次元のグラフで最小二乗法で近似直線の方程式出すみたいに、入力データに上手く合致する方程式が生成されるってことでいいんですかね。平面って方程式の形で扱うことになりますよね
方程式を保存というのもあれですから、a1x1+a2x2+......+anxn=0 としたらa1～axのリストが分類器として外部ファイルに保存されるとかそんな感じでしょうか
判定する新規入力データに関しては各特徴量と係数をそれぞれ掛け合わせて総和を取ってみたいな

2020/08/12(水) 02:43:55.48

>>877
2次元平面でならExcelの散布図に散らばった
データ点同士が似ているなら近傍に偏りがあるはず
と言うことにして境界線を求める
その境界線が求まればそれ以上以下、内部外部などで判定出来るようになるということ
その軸（パラメーター）がxyの2つではなく
gpt-3 だと1750億パラメーターつまり1750億次元の散布図の境界を超平面で分割する事

2020/08/12(水) 07:58:03.72

ありがとうございます。
ただ知りたいのはそういう概念的なところでなくて、プログラムの中でそれがどういう数値データになっているのか
判定ってどういうアルゴリズムでされているのか、そういう次元のことでして

2020/08/12(水) 08:47:18.70

>>879
>>877の通り
数式の係数を保存している

2020/08/12(水) 09:03:28.71

>>879
アルゴリズムはいろいろSVMとかDTとかKmeansとか

2020/08/13(木) 11:10:55.74

小人さんは実在するぞ

2020/08/13(木) 11:21:18.72

私はコロボックル

2020/08/13(木) 17:24:41.27

機械学習のプログラミングスクールに行こうと思ってるけど直前で悩みだした
７０万が半分になるけどやっぱり高いし、とはいっても独習だと学んだ証明が得られないし

2020/08/13(木) 17:42:09.89

受けることをオススメ

2020/08/13(木) 18:02:22.39

>>885
受けた方がよいですか、そっかー

2020/08/13(木) 18:12:17.93

>>885
すいませんけど一応理由欲しいです。背中を押して欲しくて

2020/08/13(木) 18:18:23.01

やめとけ

2020/08/13(木) 18:22:20.27

どっちや～

2020/08/13(木) 18:29:28.31

子どもチャレンジや学研やらリモートの独学に向いてない人は一定数いる
コロナ禍で美術大の学生さんとかは気の毒で仕方ない
ん十万円も払ってモニター画面だけでは満足出来ない
環境に身を置かないと学習出来ないという体質なら
通える環境がある所に行くべき

2020/08/13(木) 18:38:21.50

通える環境あるのはやっぱりいいですよね
ほんとはキカガクってスクールが第一希望でしたがコロナでオンライン授業になったみたいなので
やめとこーってなりました

2020/08/13(木) 19:04:36.11

就職活動？

2020/08/13(木) 19:18:07.04

まずは統計検定3級を狙ってみたら？
実務だと2級～1級の人が多い印象だけど。

2020/08/13(木) 19:27:51.42

講義とか研修とか同じ内容でも受ける人によってその価値は違うだろう
内容を理解できるか、既に知っていた事か、自分の興味と合っているか、実践する機会があるかとか人によって違うし

2020/08/13(木) 19:30:28.51

>>892
転職かスキルアップかな

>>893
統計2級はなんとか取りました
あとはudemyやyoutubeでチュートリアル的なものは出来るようになったけど
理論面はちょっと厳しい

2020/08/13(木) 19:36:08.23

>>895
2級持ってるなら、社内プロジェクトに参加させてもらってデータ分析の実務経験を積んだらいいんじゃない？
プライベートで本読んだりコンペに参加したりしつつ。

2020/08/13(木) 19:54:58.78

>>895
カリキュラム公開されてるの？

2020/08/13(木) 19:57:20.92

会社でそう出来れば一番いいですが難しいので外で学んでくるかってとこですね

>>894の人の言う通りですし、金額に見合うかは分かりませんが得るものはやっぱりあると思うので
スクールで頑張ってみます

2020/08/13(木) 20:14:48.58

大学の聴講生にでもなった方が良いんじゃないかしら

2020/08/13(木) 21:05:19.42

>>887
体系的に学べるし
得るものはあるから

2020/08/13(木) 22:44:19.09

自分みたいに基礎だけ勉強して
すぐコンペに参加するタイプの人は少なそうだな
コンペで上を目指すということは
その問題に対しての基礎知識を知らなければならないということであり
今、何が最新なのかを探すことになる
上にいる奴等の手法を逸早くパクるっていう
一番重要なことは勉強で学ぶことが出来ない

と言っても自分ももう参加してないんで今はどうなっているのか知らないが、、、
自動化が進んでるんだろうな

2020/08/14(金) 00:53:50.54

今アンサンブル時代って聞いた
即興でチーム作ってアンサンブル学習で多数決で勝負らしい
JAZZかよ

2020/08/14(金) 08:38:20.44

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw

2020/08/14(金) 09:42:02.08

gpt3の日本語版、 NTT 当たりが作らないかな

2020/08/14(金) 15:06:59.95

スクールとかいって活躍した人知らないからやめときな
ぶっちゃけこの分野はみんな独学だよ

2020/08/14(金) 16:53:06.04

基本を学んだ証明が欲しいならコンペや自作プロダクトでいくらでも証明できるからな

2020/08/14(金) 17:12:19.00

>>906
コンペって参加すれば何人中何位とかランク付けされるんですか？
それとも、例えば、トップ3だけ表彰されるとかそんな感じですか？

もし、10000人参加して全員の順位が出るのならば、1000位くらいでも結構勉強しているという証明になりますよね。

そもそもコンペというのは人間が評価はしないんですか？単に、認識率が高ければ高いほどいいAIというような評価なんですか？
もし後者だとすると10000人参加しても1位から10000位まで簡単にランク付けできますね。

2020/08/14(金) 17:14:42.45

お布施システム
ととかるちょ

2020/08/14(金) 18:34:12.90

>>907
Kaggleという有名なコンペがあるから調べてみるといいよ。
実務だと与えられたデータで予測精度を競うというより、データそのものを適切に抽出する実験計画の能力の方が求められたりするけど。

2020/08/14(金) 19:11:26.69

>>901
xgboost一強になってしまってから知らないんだけど
トレンド変わったのかな

2020/08/14(金) 19:32:59.15

カグラーの使えなさは異常

2020/08/15(土) 11:18:49.77

>>902
ある意味パワー勝負みたいなところあるからね
そんな感じになってるんか

>>910
テーブルデータ以外でも
無理矢理xgb使ってみるといい数値が出る
ってことも結構あるしな

2020/08/15(土) 11:42:21.06

文部科学省が公開した新学習指導要領に対応した高校の「情報」の教員研修用教材で
kaggleのタイタニックや黒魔術が載ってたんだな、、、

2020/08/15(土) 11:49:05.23

非力なPCでも動くってことでtinyYOLOなんだろうか？
あのダークな感じがマニアックだと思ってたけど
そんなちゃんとした資料に出て来るようになってるんだ、、、

2020/08/17(月) 09:12:29.13

kaggleは精度求めること以外脳がない人が多いよ
実務ではデータ理解の方が重要なのにkaggleのディスカッションだとホストに対してラベルの付け方よこせとかそんなのばっかり

2020/08/17(月) 10:50:07.36

>>915
データ理解って解釈するって事だから解釈する人次第で変わるんじゃないか？
つまり人によって違う
機械学習なのに形式的に扱えないとそのメリットの一部が損なわれるように思う

2020/08/17(月) 11:37:22.77

「よくわからんけど予測精度は高い」ようなモデルを運用してる会社ってあるのかな？
顧客への説明とか、leakageのような落とし穴を回避するためにも、ある程度は人間が理解可能なものを運用してるんじゃないかな。
実データには多重共線性があるので、実際には理解した気になってるだけかもしれないけど。

2020/08/17(月) 11:45:52.21

温暖化仮説を信じ込んで対策に無駄な金使ってる企業はいっぱいある

2020/08/17(月) 12:06:54.13

人間が理解可能＝機械学習良く分からない人にも人間の言語で説明できる、という意味ならそれは必須ではないし、必須とするなら機械学習の適用範囲を自ら制限することになる
モデルの良さを客観的な数学的指標に基づいて検証している(その数学的意味を理解できない人には意味不明)、という意味なら当然必須だろう

2020/08/17(月) 12:42:45.75

人に説明できるって言うのはモデルに要求されるひとつの機能ではあるけれど必須でもない気がする

将棋や囲碁で人が理解できない手を打っていても人より強いわけで

2020/08/17(月) 12:48:04.45

馬鹿には理解出来ないってだけで
理解出来る人間もいる

2020/08/17(月) 13:37:55.77

法的責任が発生する場合には責任者は人間なので理解できないと不味いでしょうね

2020/08/17(月) 13:52:20.45

>>917
自社で使う分には内部で合意できたらいいんじゃないの？

2020/08/17(月) 13:53:21.81

>>917
DLは内部の処理は説明できないんじゃないかな？
それでも使われている所はあるんだろう

2020/08/17(月) 13:55:38.39

>>919
モデルの良さって汎化誤差とか正確率とか混合行列とかで計算する値の事を指している？

2020/08/17(月) 13:58:06.53

>>922
それも事前のテストでこんな結果が出ていたから使った
でいいんじゃないのかな？

人間に任せていても突然の病気とかで想定外の事が起きたりする
完璧はコストとかの制約の中で難しいだろうし

2020/08/17(月) 13:58:13.51

普通のプログラムでも使用結果は免責だろう、ものによるとは思うけど

2020/08/17(月) 14:38:05.31

結局googleとか自社サービスで使う以外はほぼ無理だろ。もめごとの種にしかならん。

2020/08/17(月) 15:18:32.65

いかにも日本的な発想(笑)

2020/08/17(月) 17:24:49.36

>>929
責任取らずに物だけ作ればいいと思ってんのが日本的発想だっつーの。
そんなだからSIerに牛耳られるわけだ。

2020/08/17(月) 19:14:41.28

もろだけ作ってればいいとは思ってないけど
便利なものは率先してなるべく早く市場に流そうっていう意気込みが見られるのは中国米国だね

2020/08/17(月) 19:33:52.20

プログラムならすぐアップデートすりゃいいけど、形ある商品だと止めてほしい
だいたい日本の製造業は責任取るから動作検証とかでコスト掛かって余計に負けていったけど、
買う方からすると高くても壊れないほうがいいわ、自分は。

2020/08/17(月) 21:53:23.68

ド素人がわめいてるｗ

2020/08/18(火) 09:29:15.81

企業が内製すりゃ済む話
AIもプログラムも

2020/08/18(火) 09:41:14.10

飛行機とか車とかその仕組みを詳しく知らなくても利用してるんじゃないかな
故障発生率とか燃費とか事故時の被害の程度とかテストや実際の結果を数値化して判断しているだろう

突き詰めて行ったらエンジン内部の酸素やガソリンなどの分子や粒子の細かい動きがどうなっているかは判らない事もあるんじゃないの？必要性が高くなければその解明の優先順位は低くなる

2020/08/18(火) 09:59:17.36

飛行機の限界積載重量って相変わらず「だいたいこのくらいなら安全じゃろー」程度しかわかってないよな

2020/08/18(火) 10:06:11.45

自動運転当たりのaiなら
治験みたいに
承認受けられるようにしたら？

2020/08/18(火) 10:23:47.05

>>935
そういうことにはならないだろうなぁ
例えば、物にもよるだろうけど俺が知ってるディープフェイクは口元に物を持っていくとそこ周辺が完全にぼやけるんだよね
飛行機や車とは違ってありとあらゆる映像を想定して評価するなんて不可能に近いと思う
したがって定量的な評価だけじゃなく意味を正しく捕らえられているかの定性的な評価が求められると思う
さらに言えば定量的な評価にはトレンドやら空間的自己相関によるランダムネスやらの問題が出てくる
専門的な言葉を使えば、評価に使ったサンプルは独立かつ同分布の両方を満たすことはあんまりないってことさ
無作為割り当て以外の因果推論ならなおさら定性的な評価が求められる
え？無作為割り当て以外の因果推論なんて不可能だって？
全くもって同意。俺の上司に言ってやってくれ
ユーザーの行動ログを利用した強調フィルタリングによるレコメンデーションとか何言ってんの？って

2020/08/18(火) 10:27:15.48

>>937
死亡事故が発生したら誰がどう責任を負うの？

2020/08/18(火) 10:45:44.59

>>936
軽過ぎても危険だから
ダミーの荷物載せて調節するんだよな

2020/08/18(火) 11:27:21.24

>>940
船もそうだな

>>938
> ディープフェイクは口元に物を持っていくとそこ周辺が完全にぼやける
ﾎｯﾎｰ（・∀・）

2020/08/18(火) 12:08:19.85

>924
重みｗ行列のi,j成分の大きさでこの項目は考慮されているとかやってるみたいよ

2020/08/18(火) 12:36:10.37

>>942
w[i,j] != 0の有意差検定とかできるのかしら

2020/08/18(火) 12:37:39.17

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw

日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw

2020/08/18(火) 12:39:02.76

予測でビジネスしてるところって案外無いな

2020/08/18(火) 12:57:57.28

需給予測のこと？
会計とかposシステムとか作ってる会社が既存品の新サービスとして開発してるよ

2020/08/18(火) 13:13:56.15

>>945
天気予報

2020/08/18(火) 13:31:02.06

車の衝突予想とかやってるろ

2020/08/18(火) 13:43:24.28

人間が運転するよりAI運転の方が事故率や損害が小さければ使われるだろう
自家用なら個人が乗って緊急時は自分で運転することにして責任を負うとか
メーカーは販売会社が保険を掛けておくとか(その分販売価格に上乗せされるだろう)
社用車ならその会社やメーカーは販売会社が保険を掛けておく

人間が事故を起こしても元どおりにする事はできないし結局はお金で解決するくらいしかできない
事故が起きたら起きないように改善したらその後の車に反映されて更に事故率は下がる
個人に依存していたら改善は個人単位でしかない

2020/08/18(火) 13:53:04.70

>>938
何を言いたいのかよく判らないけど
意味を捉えるって猫とかの判別はある程度できているし
物体の切り出しもある程度できているだろう

ディープフェイクの例は個別に作り出してから組み合わせる処理をするべきところで
複数の物体を同時に作り出しているからってだけだろう

2020/08/18(火) 13:57:21.15

>>942
リバースエンジニアリングみたいな事はできるだろうね

出来上がったものを分解して調べる
ここを少し変えたら結果がこう変わったとかを調べていけば出来上がったものについて少しは判るかもしれない

そのコストをかけて説明するだけだとコスパ悪いと思うけど

2020/08/18(火) 14:59:46.54

>>950
＞猫とかの判別はある程度できている
(-ω- ?)はて？この根拠はどこにあるのだろう？
人類は過去に一度でも猫判別の精度を測れたことがあるのだろうか？(=ﾟωﾟ=)ﾆｬｰ
夕暮れ時の逆光やレア猫種の微妙な角度などあらゆる場合を想定したデータセットなど用意出きるのだろうか？
やっぱり人の主観によるモデル評価が必要になりそうだ(゜-゜)(。_。)ｳﾝｳﾝ
(ΦДΦ) ＜ｷﾞｷﾞｷﾞ…ﾎﾞｸﾊﾆﾝｹﾞﾝﾆﾅﾚﾙﾉ?
■ディープラーニングの判断根拠を理解する手法
https://qiita.com/icoxfog417/items/8689f943fd1225e24358

無作為割り当て以外の因果推論の場合、残差と説明変数に相互情報量がどのくらい残っているかとか色んな角度で妥当性を検証するからもっと大変だ(ﾟＡﾟ;)

2020/08/18(火) 15:28:22.91

事故の起きない車を作って欲しいby上級

2020/08/18(火) 16:06:51.66

有望な会社に投資したら、貧乏人

2020/08/18(火) 18:47:47.93

xvideosかpornhub辺りで学習させると、顔見ただけで女性器の色と形を類推する「omamco generator」は作れますか？

2020/08/18(火) 18:57:43.60

猫かどうかの判断は主観でええやろ
どうせラベル付いてんだろうし
教師なしのモデル評価になるとまた変わるか

2020/08/18(火) 19:43:11.90

モザイク消しなら既にあるぞ

2020/08/18(火) 21:02:10.52

>>955
只の画像

2020/08/18(火) 21:19:44.57

>>957
違う！
かわいいアイドルの顔を読ませて女性器を生成したいの！

鼻がデカい男はイチモツがデカいとか、見えない相関関係があるでしょ？
女性器にも相関関係があると思うの。
唇の色が〇〇なら…的な。

2020/08/18(火) 21:58:59.36

CSDNにいくらでもあるだろ。

2020/08/18(火) 22:17:34.72

>>952
人間でも難しいものはそもそも判別する情報が不足しているから判別不明だろう
機械学習は人間にできない事も必ず出来るようになるものではないだろう

2020/08/18(火) 23:34:54.39

遺伝的アルゴリズムについての良い参考書ありますか？言語はPythonです。

2020/08/18(火) 23:52:23.80

ディープラーニングの勉強してて画像処理のところに入ったんですけど突然ネットワークの図が板を重ねたようなものになって困惑しています
https://cdn-images-1.medium.com/max/1546/1*wkQi0Y1RI_CpKoJ9jLa_WA.png
こういうやつです。特徴量の数だけ入力層のノードがあってそれが接続されていて重みがあって活性化関数があって……という感じで理解していたのですが
ノードはどこへ行ったのでしょうか

2020/08/18(火) 23:56:42.83

>>963
いままで一次元に並んでいたノードを並べ替えただけ
一枚の板にはノードが二次元に並んでいる
板が何枚も並んでいるので三次元になってると思えばいい

2020/08/19(水) 00:24:00.40

>>962
遺伝的アルゴリズムは仕組みだけの事だから
どんな本でも良いと思う
1.遺伝子に相当するデータを持たせて
2.環境暴露で評価をソートして選別淘汰
3.ランダムに掛け合わせて子孫生成
4.1からやり直し

2020/08/19(水) 03:49:54.53

AWS lambdaかazure functionsでtensorflow-gpu使ったモデルの推論結果を返す関数作りたいんだけどどっち使うのが楽かな？
なんかAWSはpip使えないみたいだしazure の方が良さげ？

2020/08/19(水) 06:07:05.39

azure

2020/08/19(水) 09:33:46.68

>>966
Azure FunctionsはC#/Windowsランタイム以外は使い物にならないゴミなんで手を出しちゃダメ
コンテナにしてFargateとかGCPのCloud Runとかにしたら