【統計分析】機械学習・データマイニング24

2019/05/01(水) 10:39:45.57

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured

2019/05/23(木) 20:30:25.84

TJOがあんなポジショントークする奴だとは思わなかった
ガッカリ

2019/05/23(木) 20:31:11.91

それはいかん。自分は零細ITにいたけど上の方は1千万超えてたよ

2019/05/23(木) 22:27:38.39

>>419
いやそれだとAIの進歩に時間かかりすぎじゃない？
CNNが発明されたのって90年代だよね？

2019/05/24(金) 00:21:08.49

>>452
あそこは技術者一人当たりじゃなくて社員一人当たりなんで
経理も総務も含めて、かつバイトも使っていないしね。

2019/05/24(金) 07:06:03.33

>>453
AutoMLのこと？

2019/05/24(金) 07:44:19.65

そ

2019/05/24(金) 10:44:00.43

＞ID:nwZRkhw20
内容を盛るな

2019/05/24(金) 11:45:01.97

需給予測は市場規模小さい業界だと思ったが
今は広がってんのかね

2019/05/24(金) 11:46:32.82

>>455
昔のＰＣでNNの計算なんてとてもやってられん

2019/05/24(金) 12:03:40.99

自然言語処理を専門にするか、画像認識を専門にするか…

2019/05/24(金) 12:19:35.24

画像認識のがいいよ

2019/05/24(金) 12:51:54.61

自然言語のほうがいいよ

2019/05/24(金) 13:00:34.07

これからは強化学習だよ

2019/05/24(金) 13:16:34.07

>>自然言語処理を専門にするか、画像認識を専門にするか…

>画像認識のがいいよ
>自然言語のほうがいいよ

耳の不自由な人を
画像認識と自然言語で支援しなさい

2019/05/24(金) 16:44:12.22

gunってなんの役に立つんだろうと思ってたけど結構gunを使ったサービス増えてきたね

2019/05/24(金) 16:58:18.90

機械学習には適切なデータが大量に必要と言っている人がいたけど、
別にそこまで適切ではなくてもいいんだよ
ある程度信頼できれば
https://gigazine.net/news/20190524-google-deep-learning-depth/

2019/05/24(金) 16:58:34.59

>>467
GANな

2019/05/24(金) 18:11:30.03

>>467
実務上は、少ないデータでいかに使える結果を得るかということが
必要とされることが多いですからね。

2019/05/24(金) 21:35:22.94

そうそう
ビッグデータというけど
続けて標本サイズの小さい仕事をやってる。

ｎ＝40個ほどしかないけど
説明変数200ほどあって
14種類の機械学習試したら
どの方法でもなんとか予測できた。

同僚の手腕がいいので助かってる。

2019/05/24(金) 21:49:38.41

教師無しではデータの量と質が要求されるけど、
教師有りでは過学習に陥らないように学習させれば、1/10ぐらいの量でもイケルという認識

2019/05/25(土) 06:04:38.31

嘘松( ´・∀・｀)ｿｰﾅﾝﾀﾞ

2019/05/25(土) 08:41:04.76

GUNは業務では使えんけど見栄えいいから公開に向いてるってだけだぞ。

2019/05/25(土) 08:46:24.90

ぐん？

2019/05/25(土) 09:03:03.05

>>472
そんなん問題によって違うとしかいいようがない
学習をしやすい問題とそうではない問題がある
機械学習の基本中の基本

2019/05/25(土) 09:20:50.22

教師データの水増しに使われてるよ

2019/05/25(土) 10:07:48.15

>>431
＞　どうやって仕事とってるの？　どんな感じの内容？

「フリー」と書きましたけど、自営業というより「非正規」という意味で書きました。
元々統計学を専攻してたけど卒業してからIT企業にてSEやってました。
その会社でいろいろイヤなことがあって辞めて、
メーカー系列のPG作成のアルバイト募集で面接にいったとき、
統計学を専攻していたと言ったら
ちょうどデータ分析の人を探しているということで
アルバイトしませんか？といわれたのがはじまりです。

その後は、請負い、契約社員、SES契約、派遣社員と
いろいろな契約形態でやっていましたけど、
そろそろ正社員になるかもしれません。

正社員になると年収は少し下がりますけど、
もうすぐ不況になりそうな予感がするので、
さっさと正社員になったほうがいいと思っています。

2019/05/25(土) 10:55:38.38

教師あり学習って教師なしに誤差ゼロの特徴量が加わっただけだから大した差はないのになぜか別物扱いしてしまう人が多いよね

2019/05/25(土) 11:19:48.34

伝統的に別として説明する教科書が多いからだよ

2019/05/25(土) 11:24:42.57

フリーで月200万もらえてたとかじゃなさそうね。

2019/05/25(土) 12:14:49.26

>>479
誤差ゼロって何に対する誤差だよ
ラベルの事を指してるんだろうがラベルは予測に使わないし特徴量ではない
教師ありとなしは完全に別物だぞ

2019/05/25(土) 12:28:42.88

ラベル以外の特徴量から何らかの方法でラベルに近そうなものを計算して、その計算結果と実際のラベルを比較して誤差を調べる
誤差が大きければ計算方法を修正する
そうして最適なラベルの算出方法を決定するわけで、「予測に使う」というのが学習過程で使われるという意味ならラベルもその他の特徴量もしっかり予測に使われている
教師ありではラベルは絶対的に正しいこと(=誤差ゼロ)を前提とするのでラベルとの誤差が精度の良い評価対象になるが、
教師なしでは誤差混じりの特徴量しか得られなかったがために別の評価指標を使っているだけのこと
理論の上では本質的な違いはないんだよ

2019/05/25(土) 12:49:19.46

損失、じゃなくて？
誤差なの？

2019/05/25(土) 12:55:03.49

>>483
学習途中の話？予測に使うというのはモデルに入力するという意味
運用時にラベルは与えられないだろ？
教師なしは学習時と運用時で使える情報は同じだが教師ありは違う

自動車と金槌の本質的な違いは？って聞かれても答えに困るわ
逆に理論のどこを見て本質的に同じだと思うのか
用語の意味を都合よく解釈しているようにしか思えない

2019/05/25(土) 13:04:20.15

>>484
誤差の大小と損失の大小は同じなのでここではどちらでも良い

2019/05/25(土) 13:07:36.46

>>483
前から教師ありとなしの本質的な差がないと主張する人がいて、その真意を聞きたかった

例えばMNISTで教師なしで分類したとする
全部で10種類とクラスの数を固定すれば、教師なしでもおそらく正しく分類してもらえ、本質的な差がないという主張は理解できる

ではクラスの数が不明としたらどうだろう？教師なしではどんなにデータを増やしてもクラスの数が不明な限り同じ結果は得られないだろう

この辺りの説明をしないで本質的に同じと説明すると、機械学習は本質的には最小二乗法と同じと言ってしまい炎上したのと同じ危うさがある

2019/05/25(土) 13:53:46.85

元々数学的な手法がいろいろあって、機械学習の分野のやつが勝手に2つに分類しただけ。
教師有りと無しで基礎原理は大きく異なる。

2019/05/25(土) 14:05:38.03

まあ何らかのモデルの式のパラメーターを最大/最小にする問題と考えると大差はないかもしれん
正解ラベルとの誤差で式を立てるかそれ以外の式で立てるかどうかの違いでしかない
数学的に考えれば

2019/05/25(土) 14:07:27.49

？？？

2019/05/25(土) 14:07:51.79

>>489
原理わかってないの？

2019/05/25(土) 14:09:45.78

489の条件は絶対的でないよ

2019/05/25(土) 14:23:18.41

ディープラーニング使ったらCGとかも今よりずっと低コストで作れるんだろうな
個人でスターウォーズなみの映画とか作れたりとか
特に流体の表現でかなり効果を発揮しそう

2019/05/25(土) 15:42:51.81

3水準以上の多重比較検定は偶然の確率が上がるから棄却域を下げるっていうのが納得いかないんだけど
ABCの3水準があってAとBに差があるかだけが知りたい場合Cとの検定は関係ないのでは？(極論を言えばCとの検定を行わない)
どこかに差があるかを調べたい場合のみ有意水準を操作すればいいの？

2019/05/25(土) 15:49:22.03

>>489
そうだな、犬も猫も人間も哺乳類と考えると大差はないかもしれん

2019/05/25(土) 16:19:05.08

データサイエンティスト育成講座
https://www.hanmoto.com/bd/isbn/9784839965259

2019/05/25(土) 16:40:11.40

・手取り足取りデータの前処理から予測モデルの作成、チューニングまで一通り網羅
・質の良い参考書がたくさん紹介されており、これから先もある程度示してくれる
・学術書でないので、安い

欠点: いずれも入門書である以上当たり前ですが
・アルゴリズムの数学的なところはすっとばし
・実務の前処理地獄はこんなもんじゃない
・この本の内容ができる程度で「AI人材」を名乗るな

2019/05/25(土) 16:42:30.74

まず松尾豊の研究室から
論文とデータサイエンティストが生まれてから
本を出せや

2019/05/25(土) 16:45:51.62

執筆者ではない
監修ですらない

2019/05/25(土) 17:10:51.99

現在、AI事業が流行ってるわけではなく、AI事業を育成するための事業が流行中。
実績？わらわら。

2019/05/25(土) 17:21:31.34

>>494
若干スレ違いとも思うけど検定の多重性問題だね
ロジカルに考えると分かると思うよ

例えば3学級A, B, Cの算数の試験で、学級Cは他学級よりも優秀か調べたい
つまり (C > A) AND (C > B) を調べたい
検定としては(A = C) OR (B = C)を帰無仮説としてこれを棄却したい
棄却域をそれぞれ5%とすると、5%の可能性で(A = C)がFalse, (B = C)がFalseとなる
(A = C)と(B = C)の両方がFalseにならない限り、(A = C) OR (B = C)はFalseにならない
この場合はA = Cを帰無仮説とした検定とB = Cを帰無仮説とした検定の2つを行って良い

別のケースで、学級Aあるいは学級Bが学級Cよりも優秀か調べたい場合を考える
つまり (A > C) OR (B > C) を調べたい
検定としては(A = C) AND (B = C)を棄却したい
上記同様に棄却域をそれぞれ5%とすると、5%の可能性で(A = C)がFalse, (B = C)がFalseとなる
(A = C)と(B = C)のどちらかがFalseになると(A = C) AND (B = C)はFalseになってしまう
つまり棄却されやすくなってしまっているので有意水準を調整する必要がある

2019/05/25(土) 17:36:49.30

>>493
どゆふうに流体と関係あんの？

2019/05/25(土) 18:13:45.67

>>496
この本見たけど初心者には訳わからんし上級者には役に立たなさそうで何とも惜しい感じがした

2019/05/25(土) 18:20:19.51

>>502
流体の境界条件・初期条件に対する流体の解析処理結果を学習データとして使用すれば、それをもとに自動的に流体のアニメーションを生成してくれるものができるはずって意味です
今までの流体解析はスーパーコンピュータ使ったりしてすごくコスト高かったけどAI使えば低スペックＰＣでもよりリアルな流体表現ができるよねって話

2019/05/25(土) 19:52:31.11

>>501
出したい結論次第ということか

あと質問なんだけど、
前者の帰無仮説の(A=C)と(B=C)をそれぞれ棄却域5%で検定したら
全体では棄却域1-(1-0.05)*(1-0.05)=9.75%で検定したことになりませんか？

2019/05/25(土) 21:18:20.43

>>505
前者は(A=C)の検定と(B=C)の検定を合わせて全体でという考え方はしない

帰無仮説の説明からしたほうが良さそう

「Aの平均とBの平均は異なる」を検証するのに、わざわざ帰無仮説として
「Aの平均とBの平均は同じである(A = B)」という仮説をするのか？
それは「同じである」ことはケースとして1ケースしかないが
同じでないことはケースが無限に存在し検証ができない
「平均が同じ」という仮説を立てることで、現在発生している状況が
どのくらい起こりにくいことなのかを計算することができる

後者の(A = B) AND (B = C)は書き直せばA = B = Cで
これはケースとしては1ケースしかないので帰無仮説として利用可能である

しかし前者の(A = B) OR (B = C)は、片方を満たせばもう片方は無限のケースを許してしまい
これは帰無仮説として設定しても計算できない

大元の質問に戻って、ABCの3水準がある場合にCの検定をする必要がないのでは?
という質問については、帰無仮説として「A=B=C」が設定できないのであれば
当然多重比較検定の前提条件を満たしていない

2019/05/25(土) 21:54:09.32

>今までの流体解析はスーパーコンピュータ使ったりしてすごくコスト高かったけどAI使えば低スペックＰＣでもよりリアルな流体表現ができるよねって話
ありえねーわ。
微分方程式の数値解求めるアルゴリズムと
補間曲線フィッティングするアルゴリズムは目的も用途も別。

ちなみにＣＡＥとＡＩは相性自体は良い。
ＣＡＥはデータを無限に生成できるからな。
昔からアンテナシミュレーションソフトに最適化っていう機能あって
古い機械学習アルゴリズムがついていたりした。

2019/05/25(土) 22:17:07.06

>>506
同時にfalse positiveが発生しない限り間違って棄却されないから問題ないってことか

2019/05/26(日) 02:54:23.04

>>507
AIを使った流体のCG表現が不可能である理由はなに？
人間には手書きで流体のアニメーションを書けたりするけどAIには無理ってこと？

2019/05/26(日) 15:06:35.97

>>509
今ゲーム業界はレイトレーシングだなんだと騒いでるけどこの技術が確立されたらより現実と見分けがつかないグラフィックのゲームとかできそうだね

2019/05/26(日) 15:41:51.01

sim2realとか使って荒いシミュレーションで大雑把なグラフィックを作ってAIでリアルに仕上げたりできそうだね

2019/05/26(日) 15:43:31.27

今の機械学習では仮説形成と演繹ができないと言われているが
仮説と演繹と帰納を識別できる判別器を作れないものなの？

2019/05/26(日) 15:49:47.77

演繹しまくりじゃね

2019/05/26(日) 16:06:05.73

>>512
×機械学習
〇深層学習

2019/05/26(日) 16:07:30.86

分類としては3つしかないけど難しそうだね
--(帰納)-->(仮説)--(演繹)-->

ループとかも問題になりそう

ニワトリ → 判別機 → 卵の演繹です！
卵 → 判別機 → ニワトリの演繹です！

2019/05/26(日) 18:28:41.21

必要か？

2019/05/26(日) 19:59:54.33

>>514
ニューラルネット自体が関数近似器でしか無いから根本的に厳しいような気もする

2019/05/26(日) 20:03:16.17

その手のことは組合せ爆発を伴うから
機械学習で連続的な取り扱いで楽することが流行っとるわけよ。

2019/05/26(日) 20:05:37.77

というか演繹って機械学習と真逆の考えだからなあ
出発点の事実から論理をどう組み上げるかだから学習の余地は無くて、組合せ最適化あたりだろうか

2019/05/27(月) 01:28:00.88

学習した識別器をつかって答えを予測することは演繹とは少し違うのかな
そこら辺の概念的なことをよく理解できていない

2019/05/27(月) 05:32:58.30

バックプロパゲーションについて勉強してます
https://qiita.com/43x2/items/50b55623c890564f1893
このページの式13.14.15に突然yって出てくるんですがこれはどういういみですか？
何故ここでyが出てくるのかわかりません
どなたかわかりやすく教えていただけないでしょうか？

2019/05/27(月) 07:48:28.29

>>521
(9)式の y のことだよ。(10)式の微分を考えると出てくる。

2019/05/27(月) 07:54:02.92

>>522
なるほど！ありがとうございます

2019/05/27(月) 11:50:06.57

初歩的な質問で申し訳ないのですが
2値分類の評価指標に関して教えて下さい
accuracyはデータが偏ってる場合には適さないという理由は理解できました
データの割合が均等な場合（正常50%　異常50%）の場合でもaccuracyは評価に適していないのでしょうか？

2019/05/27(月) 13:29:27.61

>>524
例えば犬と猫の写真があって
犬の写真を犬と判断 TP
犬の写真を猫と判断 TN
猫の写真を猫と判断 FP
猫の写真を犬と判断 FN
Acc = (TP+TN)/(TP+TN+FP+FN)
だから、TPとTNは式の形から全く等価
犬を猫と判断しまくってもOKなの？
あなたのやりたいことがOKなら使ってもいいし
NGなら別の指標

2019/05/27(月) 14:54:42.55

思いっきりミスってた
こういうのは犬とか猫より正常、異常のが間違いがないな

正常な写真をX枚、正常を正常と判断する確率をα
異常な写真をY枚、異常を異常と判断する確率をβ
とすると、それぞれの枚数は
TP = αX
TN = βY
FN = (1-α)X
FP = (1-β)Y
Acc = (αX + βY) / (X + Y)
仮にXとYが同じ枚数ならX=Yとして(α+β)/2
偏りがなければ使っても良いかといえば、αとβを等価に扱って良ければOKだし、等価に扱えないなら別の指標

2019/05/27(月) 17:23:55.48

>>526
とても分かりやすい説明ありがとうございます
正答率は説明頂いた特徴があり、それでも参考書や記事などで正答率を算出する事が多いのは単純に説明がしやすいからでしょうか？

2019/05/27(月) 17:28:43.12

タスクとエラーのリスクに応じて個々で検討すべき事柄だから
大体は省略されてる

2019/05/27(月) 18:05:50.75

機械学習にしろディープラーニングにしろデータを元に「学習」するわけじゃないですか
でその「学習した結果」に新しいデータを通すとそのデータに対応する答えを「結果」が弾き出しますよね
このときの「結果」って一体なんなんでしょうか。小人さんがマシンの中にいるわけでもなし
パラメータがx1x2...xnってあったときに結果としてf(x1, x2,....xn)な関数が生成されるみたいな理解でいいんでしょうか？
もしそうならその関数が実際どんな数式？なのか見る術はありますか？kerasで勉強しています

2019/05/27(月) 18:22:40.43

補間

2019/05/27(月) 18:24:14.91

一回単純なモデルでいいからライブラリ使わずに実装してみるといいよ

2019/05/27(月) 18:57:20.00

補間だが演繹

2019/05/27(月) 19:00:05.40

あー、今日も仕事終わった
だりィ、
データ分析やらせろボケ上司！
書類仕事はイャダ－！

2019/05/27(月) 19:02:36.82

データ見せる為のWebUI作ってる。書類よりはマシだな

2019/05/27(月) 19:12:00.16

>>529
簡単な最小二乗法を試してみるといい
エクセルでできるから

2019/05/27(月) 19:20:32.76

AI人材って普通に理系なだけだな
騒ぐほどのモンではないと思うけど、文系を引きずり下ろせるチャンスなわけだ

2019/05/27(月) 19:59:53.30

データサイエンスで経営戦略方面から射撃
AIエンジニアリングで花形現場からの射撃で十字放火や

2019/05/27(月) 20:01:57.78

それを安く使い捨てたいから文系様がAI人材量産計画を叫んでいるのが現状

2019/05/27(月) 20:01:58.26

いや、sum関数やvba位の位置づけになるかと

2019/05/27(月) 20:10:01.28

計算資源ドカ食いするExcelやでぇ

2019/05/27(月) 20:12:55.37

エクセルの最小二乗法は怪しくなかったか？

2019/05/27(月) 20:23:42.82

>>529
イメージとしては間違ってないと思う

kerasならmodel.layer[i].get_weights()で重み取れるから見ることはできるけど意味はないかな

AND OR XORくらいなら重み見て頑張れないこともないが

2019/05/29(水) 21:10:53.74

パーセプトロンの勉強してる
分類問題なら出力層は当然その分類する項目の数になるだろうとは思うのね。0から4を判別するのに学習データのラベルが[0 0 1 0 0]みたいな
んで回帰問題の出力層のノードが複数になるケースってある？住宅価格予想みたいに答が一つに定まるのが回帰問題だから当然出力層はノード一つだよなとか思ってたんだけど
なんかそうじゃないっぽい？

2019/05/29(水) 21:13:20.60

>>543
勉強にお勧めの書籍やサイトはありますか？

2019/05/29(水) 22:11:55.58

「15分後の株価」と「30分後の株価」とか

2019/05/29(水) 22:17:48.69

>>545
株価予想って機械学習で一般人でできるのかね
どれだけ質のいい情報が入手できるかのほうが重要そう

トランプのツイッターが原因で中国の株が乱高下してても中国の個人投資家はなんで相場が動いてるのか分からんかったとかいう話聞いたし

2019/05/29(水) 22:32:21.01

株価って突発的な出来事の影響が大きそうだし予想できるもんなんかね

2019/05/29(水) 22:32:43.30

>>543
銀行1の株価、銀行2の株価、とか？
同じ業種の株価は連動するから、入力も出力もグループ化するよ

>>545
個人でも儲かる方法はあるよ
詳細は言わないけど、どうしても大手とは違うやり方になる

2019/05/29(水) 22:36:38.33

>>546
中国株触るのにトランプの動向チェックしないなんてありえないから
たぶん中華投資家は情報統制食らってるんじゃないかな。

2019/05/29(水) 22:37:08.35

>>547
予想というより結果を大事にする
ボラティリティ(分散)はGARCHでかなり上手くモデルに当てはまる

ボラティリティが予想できるなら、オプションで儲けられるはずだけど、そもそものオプション価格がそれを見越した価格設定がされていて手数料負けする

なので違うやり方になる

株価自身の予想は統計的には予想できないことになっている

でも、儲ける方法はある
こんな感じ？

2019/05/29(水) 22:38:46.58

株価は短期なら意外と当たるんだが、
たまに来る、予想と違う方向へどかんと動いて固定
これが怖い。大体これにやられて退場する人が多い
最近だとリーマンショックとか。

2019/05/29(水) 22:42:11.57

あまり儲からないけど、ほぼ確実なのは鞘どりだね
連動する株価を反対売買する
これは機械学習するまでもなく従来の時系列データ解析で十分できるけど、今なら機械学習で簡単にできるよ
この方法は手数料がとにかく安くなるようにするのがポイント