【統計分析】機械学習・データマイニング24

2019/05/01(水) 10:39:45.57

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured

2019/05/22(水) 19:39:16.28

もはやタスクとしては一番優しいよね

2019/05/22(水) 19:45:38.25

>>422 昔の限られた資源で手書き文字をリアルタイムで認識するには、出来るだけ使える情報を使ったと言う事だよ。メモリも殆どなかった時代だから。

そう言う工夫は今でも重要だぞ。

2019/05/22(水) 20:17:17.55

郵便番号自動読取区分機（東芝）
https://www.postalmuseum.jp/column/collection/post_27.html

これを念頭に>>413を書いた

2019/05/22(水) 20:49:17.09

電総研で森某がやってたな

2019/05/23(木) 02:07:31.46

〒は0とOの区別しなくて良いからな-

2019/05/23(木) 03:43:20.27

オートエンコーダが異常検知に使われてるって記事見かけるけど、微量な変化は捕らえられるのかね？
形状がダイナミックに変わるやつは検知出来そうだけどちょっとズレてますとか傾いてますとか分かるもんなのかな

2019/05/23(木) 07:24:28.77

試せよ

2019/05/23(木) 08:25:32.04

フリーでデータ分析の仕事を始めて15年になりますけど
2016年ぐらいからビッグデータバブル
という状況になりまして、
かなり高額の報酬もらえてます。
ビッグデータバブル万歳！

でも、もうすぐバブル崩壊ですね？

2019/05/23(木) 11:31:14.42

バブルのピークはもう過ぎたんじゃないでしょうか
ガートナーによると幻滅期に入ったそうですし

2019/05/23(木) 11:47:52.98

>>429
15年はすごいな。
どうやって仕事とってるの？
どんな感じの内容？

2019/05/23(木) 11:54:54.54

>>430　IoTの時代になるからますますデータ量は大きくなる。　分析からAIみたいな方向に移っていくだろうけど。
>>431 一度入り込めば継続的に仕事が出てくるだろ。　人手が足りないんだから。

2019/05/23(木) 12:22:09.21

ワイは入り込んだのかよくわからんまま、データ分析のフロントエンドやってるｗ

2019/05/23(木) 14:56:13.82

>>431
機械学習利用で25年喰っている会社もあるからね
今は、社員一人頭の売り上げが５千万円

2019/05/23(木) 15:37:04.89

経費が4千５百万

2019/05/23(木) 16:09:08.44

給料4千万!?
ｲｲﾈｰ

2019/05/23(木) 17:09:31.05

会社に勤めたことないのないニート

2019/05/23(木) 17:33:26.69

>>432
最近は素人でもそれなりに分析出来るようになってきてる。
そのためほとんどが社内で完結できる案件になってきてると思えるけど、その中でフリーに頼るような案件ってどんなのがあるのかと思って。

2019/05/23(木) 17:50:31.70

ニート募集って広告見かけたｗ

2019/05/23(木) 18:27:08.62

>>435 普通ソフトの会社の売り上げは給与の2倍、社員が1／3ももらえていなければやめるよ。

>>438 大手企業が直接フリーを雇うわけないじゃん。
下請け、孫請け、3次受けとあるんだから、企業はまともな下請け会社にずっと仕事を出してるつもり。

しかし、フリーはアルバイトみたいなものだから、下請け会社が孫請け会社を使っていませんと申請しても、嘘ではないからずっと続く。
下手な小さな会社は苦労する。

2019/05/23(木) 18:33:27.62

流石に下請けなの知ってるでしょ。
飲み会でもしたら上流からの金の流れ分かるよ

2019/05/23(木) 18:38:31.97

>>435
ところがどっこい。
さらにどこかのパッケージソフト使っているわけでもないし
外注なしなんで、スゲー利益なんだよ。
KDDのコンペティションでは、この10年で2度準優勝してるよ。

2019/05/23(木) 18:42:23.86

>>442
御社行きたい♡

2019/05/23(木) 18:44:23.84

わたしゃそこの社員じゃないよ。
昔いたけど。

2019/05/23(木) 18:46:43.57

さらに、基本的に直受けしかしない。
また、受託もやらない、全て委任契約のみ。

2019/05/23(木) 18:52:21.08

さらにさらに、
成果物に関しては、相手企業には使用権のみ許諾して
所有権は渡さない。
嘘と思う人がいるだろうが、本当の話だよ。
もちろん日本の会社。

2019/05/23(木) 18:53:34.22

訂正
＞所有権は渡さない。　→　所有権と著作権は渡さない。

2019/05/23(木) 18:54:42.44

以上で終了

2019/05/23(木) 19:07:26.93

そういう会社無いと夢がないからイイネ

2019/05/23(木) 19:09:57.33

どこかわかるわ

2019/05/23(木) 19:10:53.84

えーどこどこー？

2019/05/23(木) 20:25:57.11

>>440
オレ1人で月の売り上げ5千万以上、年に7億稼いでたけど給料800万やった。
（2割は利益を出していた）
体壊して辞めたけど。

2019/05/23(木) 20:30:25.84

TJOがあんなポジショントークする奴だとは思わなかった
ガッカリ

2019/05/23(木) 20:31:11.91

それはいかん。自分は零細ITにいたけど上の方は1千万超えてたよ

2019/05/23(木) 22:27:38.39

>>419
いやそれだとAIの進歩に時間かかりすぎじゃない？
CNNが発明されたのって90年代だよね？

2019/05/24(金) 00:21:08.49

>>452
あそこは技術者一人当たりじゃなくて社員一人当たりなんで
経理も総務も含めて、かつバイトも使っていないしね。

2019/05/24(金) 07:06:03.33

>>453
AutoMLのこと？

2019/05/24(金) 07:44:19.65

そ

2019/05/24(金) 10:44:00.43

＞ID:nwZRkhw20
内容を盛るな

2019/05/24(金) 11:45:01.97

需給予測は市場規模小さい業界だと思ったが
今は広がってんのかね

2019/05/24(金) 11:46:32.82

>>455
昔のＰＣでNNの計算なんてとてもやってられん

2019/05/24(金) 12:03:40.99

自然言語処理を専門にするか、画像認識を専門にするか…

2019/05/24(金) 12:19:35.24

画像認識のがいいよ

2019/05/24(金) 12:51:54.61

自然言語のほうがいいよ

2019/05/24(金) 13:00:34.07

これからは強化学習だよ

2019/05/24(金) 13:16:34.07

>>自然言語処理を専門にするか、画像認識を専門にするか…

>画像認識のがいいよ
>自然言語のほうがいいよ

耳の不自由な人を
画像認識と自然言語で支援しなさい

2019/05/24(金) 16:44:12.22

gunってなんの役に立つんだろうと思ってたけど結構gunを使ったサービス増えてきたね

2019/05/24(金) 16:58:18.90

機械学習には適切なデータが大量に必要と言っている人がいたけど、
別にそこまで適切ではなくてもいいんだよ
ある程度信頼できれば
https://gigazine.net/news/20190524-google-deep-learning-depth/

2019/05/24(金) 16:58:34.59

>>467
GANな

2019/05/24(金) 18:11:30.03

>>467
実務上は、少ないデータでいかに使える結果を得るかということが
必要とされることが多いですからね。

2019/05/24(金) 21:35:22.94

そうそう
ビッグデータというけど
続けて標本サイズの小さい仕事をやってる。

ｎ＝40個ほどしかないけど
説明変数200ほどあって
14種類の機械学習試したら
どの方法でもなんとか予測できた。

同僚の手腕がいいので助かってる。

2019/05/24(金) 21:49:38.41

教師無しではデータの量と質が要求されるけど、
教師有りでは過学習に陥らないように学習させれば、1/10ぐらいの量でもイケルという認識

2019/05/25(土) 06:04:38.31

嘘松( ´・∀・｀)ｿｰﾅﾝﾀﾞ

2019/05/25(土) 08:41:04.76

GUNは業務では使えんけど見栄えいいから公開に向いてるってだけだぞ。

2019/05/25(土) 08:46:24.90

ぐん？

2019/05/25(土) 09:03:03.05

>>472
そんなん問題によって違うとしかいいようがない
学習をしやすい問題とそうではない問題がある
機械学習の基本中の基本

2019/05/25(土) 09:20:50.22

教師データの水増しに使われてるよ

2019/05/25(土) 10:07:48.15

>>431
＞　どうやって仕事とってるの？　どんな感じの内容？

「フリー」と書きましたけど、自営業というより「非正規」という意味で書きました。
元々統計学を専攻してたけど卒業してからIT企業にてSEやってました。
その会社でいろいろイヤなことがあって辞めて、
メーカー系列のPG作成のアルバイト募集で面接にいったとき、
統計学を専攻していたと言ったら
ちょうどデータ分析の人を探しているということで
アルバイトしませんか？といわれたのがはじまりです。

その後は、請負い、契約社員、SES契約、派遣社員と
いろいろな契約形態でやっていましたけど、
そろそろ正社員になるかもしれません。

正社員になると年収は少し下がりますけど、
もうすぐ不況になりそうな予感がするので、
さっさと正社員になったほうがいいと思っています。

2019/05/25(土) 10:55:38.38

教師あり学習って教師なしに誤差ゼロの特徴量が加わっただけだから大した差はないのになぜか別物扱いしてしまう人が多いよね

2019/05/25(土) 11:19:48.34

伝統的に別として説明する教科書が多いからだよ

2019/05/25(土) 11:24:42.57

フリーで月200万もらえてたとかじゃなさそうね。

2019/05/25(土) 12:14:49.26

>>479
誤差ゼロって何に対する誤差だよ
ラベルの事を指してるんだろうがラベルは予測に使わないし特徴量ではない
教師ありとなしは完全に別物だぞ

2019/05/25(土) 12:28:42.88

ラベル以外の特徴量から何らかの方法でラベルに近そうなものを計算して、その計算結果と実際のラベルを比較して誤差を調べる
誤差が大きければ計算方法を修正する
そうして最適なラベルの算出方法を決定するわけで、「予測に使う」というのが学習過程で使われるという意味ならラベルもその他の特徴量もしっかり予測に使われている
教師ありではラベルは絶対的に正しいこと(=誤差ゼロ)を前提とするのでラベルとの誤差が精度の良い評価対象になるが、
教師なしでは誤差混じりの特徴量しか得られなかったがために別の評価指標を使っているだけのこと
理論の上では本質的な違いはないんだよ

2019/05/25(土) 12:49:19.46

損失、じゃなくて？
誤差なの？

2019/05/25(土) 12:55:03.49

>>483
学習途中の話？予測に使うというのはモデルに入力するという意味
運用時にラベルは与えられないだろ？
教師なしは学習時と運用時で使える情報は同じだが教師ありは違う

自動車と金槌の本質的な違いは？って聞かれても答えに困るわ
逆に理論のどこを見て本質的に同じだと思うのか
用語の意味を都合よく解釈しているようにしか思えない

2019/05/25(土) 13:04:20.15

>>484
誤差の大小と損失の大小は同じなのでここではどちらでも良い

2019/05/25(土) 13:07:36.46

>>483
前から教師ありとなしの本質的な差がないと主張する人がいて、その真意を聞きたかった

例えばMNISTで教師なしで分類したとする
全部で10種類とクラスの数を固定すれば、教師なしでもおそらく正しく分類してもらえ、本質的な差がないという主張は理解できる

ではクラスの数が不明としたらどうだろう？教師なしではどんなにデータを増やしてもクラスの数が不明な限り同じ結果は得られないだろう

この辺りの説明をしないで本質的に同じと説明すると、機械学習は本質的には最小二乗法と同じと言ってしまい炎上したのと同じ危うさがある

2019/05/25(土) 13:53:46.85

元々数学的な手法がいろいろあって、機械学習の分野のやつが勝手に2つに分類しただけ。
教師有りと無しで基礎原理は大きく異なる。

2019/05/25(土) 14:05:38.03

まあ何らかのモデルの式のパラメーターを最大/最小にする問題と考えると大差はないかもしれん
正解ラベルとの誤差で式を立てるかそれ以外の式で立てるかどうかの違いでしかない
数学的に考えれば

2019/05/25(土) 14:07:27.49

？？？

2019/05/25(土) 14:07:51.79

>>489
原理わかってないの？

2019/05/25(土) 14:09:45.78

489の条件は絶対的でないよ

2019/05/25(土) 14:23:18.41

ディープラーニング使ったらCGとかも今よりずっと低コストで作れるんだろうな
個人でスターウォーズなみの映画とか作れたりとか
特に流体の表現でかなり効果を発揮しそう

2019/05/25(土) 15:42:51.81

3水準以上の多重比較検定は偶然の確率が上がるから棄却域を下げるっていうのが納得いかないんだけど
ABCの3水準があってAとBに差があるかだけが知りたい場合Cとの検定は関係ないのでは？(極論を言えばCとの検定を行わない)
どこかに差があるかを調べたい場合のみ有意水準を操作すればいいの？

2019/05/25(土) 15:49:22.03

>>489
そうだな、犬も猫も人間も哺乳類と考えると大差はないかもしれん

2019/05/25(土) 16:19:05.08

データサイエンティスト育成講座
https://www.hanmoto.com/bd/isbn/9784839965259

2019/05/25(土) 16:40:11.40

・手取り足取りデータの前処理から予測モデルの作成、チューニングまで一通り網羅
・質の良い参考書がたくさん紹介されており、これから先もある程度示してくれる
・学術書でないので、安い

欠点: いずれも入門書である以上当たり前ですが
・アルゴリズムの数学的なところはすっとばし
・実務の前処理地獄はこんなもんじゃない
・この本の内容ができる程度で「AI人材」を名乗るな

2019/05/25(土) 16:42:30.74

まず松尾豊の研究室から
論文とデータサイエンティストが生まれてから
本を出せや

2019/05/25(土) 16:45:51.62

執筆者ではない
監修ですらない

2019/05/25(土) 17:10:51.99

現在、AI事業が流行ってるわけではなく、AI事業を育成するための事業が流行中。
実績？わらわら。

2019/05/25(土) 17:21:31.34

>>494
若干スレ違いとも思うけど検定の多重性問題だね
ロジカルに考えると分かると思うよ

例えば3学級A, B, Cの算数の試験で、学級Cは他学級よりも優秀か調べたい
つまり (C > A) AND (C > B) を調べたい
検定としては(A = C) OR (B = C)を帰無仮説としてこれを棄却したい
棄却域をそれぞれ5%とすると、5%の可能性で(A = C)がFalse, (B = C)がFalseとなる
(A = C)と(B = C)の両方がFalseにならない限り、(A = C) OR (B = C)はFalseにならない
この場合はA = Cを帰無仮説とした検定とB = Cを帰無仮説とした検定の2つを行って良い

別のケースで、学級Aあるいは学級Bが学級Cよりも優秀か調べたい場合を考える
つまり (A > C) OR (B > C) を調べたい
検定としては(A = C) AND (B = C)を棄却したい
上記同様に棄却域をそれぞれ5%とすると、5%の可能性で(A = C)がFalse, (B = C)がFalseとなる
(A = C)と(B = C)のどちらかがFalseになると(A = C) AND (B = C)はFalseになってしまう
つまり棄却されやすくなってしまっているので有意水準を調整する必要がある

2019/05/25(土) 17:36:49.30

>>493
どゆふうに流体と関係あんの？

2019/05/25(土) 18:13:45.67

>>496
この本見たけど初心者には訳わからんし上級者には役に立たなさそうで何とも惜しい感じがした

2019/05/25(土) 18:20:19.51

>>502
流体の境界条件・初期条件に対する流体の解析処理結果を学習データとして使用すれば、それをもとに自動的に流体のアニメーションを生成してくれるものができるはずって意味です
今までの流体解析はスーパーコンピュータ使ったりしてすごくコスト高かったけどAI使えば低スペックＰＣでもよりリアルな流体表現ができるよねって話

2019/05/25(土) 19:52:31.11

>>501
出したい結論次第ということか

あと質問なんだけど、
前者の帰無仮説の(A=C)と(B=C)をそれぞれ棄却域5%で検定したら
全体では棄却域1-(1-0.05)*(1-0.05)=9.75%で検定したことになりませんか？

2019/05/25(土) 21:18:20.43

>>505
前者は(A=C)の検定と(B=C)の検定を合わせて全体でという考え方はしない

帰無仮説の説明からしたほうが良さそう

「Aの平均とBの平均は異なる」を検証するのに、わざわざ帰無仮説として
「Aの平均とBの平均は同じである(A = B)」という仮説をするのか？
それは「同じである」ことはケースとして1ケースしかないが
同じでないことはケースが無限に存在し検証ができない
「平均が同じ」という仮説を立てることで、現在発生している状況が
どのくらい起こりにくいことなのかを計算することができる

後者の(A = B) AND (B = C)は書き直せばA = B = Cで
これはケースとしては1ケースしかないので帰無仮説として利用可能である

しかし前者の(A = B) OR (B = C)は、片方を満たせばもう片方は無限のケースを許してしまい
これは帰無仮説として設定しても計算できない

大元の質問に戻って、ABCの3水準がある場合にCの検定をする必要がないのでは?
という質問については、帰無仮説として「A=B=C」が設定できないのであれば
当然多重比較検定の前提条件を満たしていない

2019/05/25(土) 21:54:09.32

>今までの流体解析はスーパーコンピュータ使ったりしてすごくコスト高かったけどAI使えば低スペックＰＣでもよりリアルな流体表現ができるよねって話
ありえねーわ。
微分方程式の数値解求めるアルゴリズムと
補間曲線フィッティングするアルゴリズムは目的も用途も別。

ちなみにＣＡＥとＡＩは相性自体は良い。
ＣＡＥはデータを無限に生成できるからな。
昔からアンテナシミュレーションソフトに最適化っていう機能あって
古い機械学習アルゴリズムがついていたりした。

2019/05/25(土) 22:17:07.06

>>506
同時にfalse positiveが発生しない限り間違って棄却されないから問題ないってことか

2019/05/26(日) 02:54:23.04

>>507
AIを使った流体のCG表現が不可能である理由はなに？
人間には手書きで流体のアニメーションを書けたりするけどAIには無理ってこと？

2019/05/26(日) 15:06:35.97

>>509
今ゲーム業界はレイトレーシングだなんだと騒いでるけどこの技術が確立されたらより現実と見分けがつかないグラフィックのゲームとかできそうだね

2019/05/26(日) 15:41:51.01

sim2realとか使って荒いシミュレーションで大雑把なグラフィックを作ってAIでリアルに仕上げたりできそうだね

2019/05/26(日) 15:43:31.27

今の機械学習では仮説形成と演繹ができないと言われているが
仮説と演繹と帰納を識別できる判別器を作れないものなの？

2019/05/26(日) 15:49:47.77

演繹しまくりじゃね

2019/05/26(日) 16:06:05.73

>>512
×機械学習
〇深層学習

2019/05/26(日) 16:07:30.86

分類としては3つしかないけど難しそうだね
--(帰納)-->(仮説)--(演繹)-->

ループとかも問題になりそう

ニワトリ → 判別機 → 卵の演繹です！
卵 → 判別機 → ニワトリの演繹です！

2019/05/26(日) 18:28:41.21

必要か？

2019/05/26(日) 19:59:54.33

>>514
ニューラルネット自体が関数近似器でしか無いから根本的に厳しいような気もする

2019/05/26(日) 20:03:16.17

その手のことは組合せ爆発を伴うから
機械学習で連続的な取り扱いで楽することが流行っとるわけよ。

2019/05/26(日) 20:05:37.77

というか演繹って機械学習と真逆の考えだからなあ
出発点の事実から論理をどう組み上げるかだから学習の余地は無くて、組合せ最適化あたりだろうか

2019/05/27(月) 01:28:00.88

学習した識別器をつかって答えを予測することは演繹とは少し違うのかな
そこら辺の概念的なことをよく理解できていない

2019/05/27(月) 05:32:58.30

バックプロパゲーションについて勉強してます
https://qiita.com/43x2/items/50b55623c890564f1893
このページの式13.14.15に突然yって出てくるんですがこれはどういういみですか？
何故ここでyが出てくるのかわかりません
どなたかわかりやすく教えていただけないでしょうか？