【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/23(日) 22:26:30.66

なんのスレだよ

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 22:28:48.65

>>551
因果律は「人が因果があると決めたもの」という意味で虚構あるいは集団幻想みたいなものかと

>>550
「アクセルを踏むと車の速度が増大する」という因果律を人が決めたのではないですか？
客観的な言い方を追求するのならば「アクセルの踏み込み度合いと車の速度とは r = 1 の相関関係があります」にとどまるべきで、それ以上のいいかたは、主観が混じっているのです、純粋性を追求すれば、そういう結論になるかと

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 22:29:09.54

>>552
そう、それはあくまでも仮定なんですよ

2018/12/23(日) 22:43:37.49

>>554
根底にあるのは自然科学の法則じゃね？
法則が複雑に影響しているけど

2018/12/23(日) 22:46:29.80

>>554
表現の方法は別でも可能だけど
法則自体は存在する
つまり因果関係と言っている
原因と結果の関係は存在する

あなたが言っているのは表現の方法が人間の決めた方法だ
と言っているだけ
表現の方法を変えても良いけど
他の人と知識を共有したり議論するのに不便

2018/12/23(日) 22:58:32.74

まともにディープラーニングするならこの程度のマシンが必要って認識でいいか？
http://masagutti.hatenablog.com/entry/more_gpu

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 23:12:54.72

>>556
>>557
「自然法則」とはいいますが、実は確率的な表現しかできないことが現代では判明しているのでは？
ニュートン力学等は一見確定的、未来予言可能的だけれども、それはニュートン力学は近似でしかないためなのでは？

>>557
＞法則自体は存在する
観測者によって変化するものを「存在する」といっていいのですか？

2018/12/23(日) 23:32:04.52

>>559
で結局言いたいことは何？
因果関係が人間の解釈だとして
その結果何か有益なことがあるの？

観測者によって確率的に結果が変わる→存在しない
とは言えない
存在の有無とは無関係じゃね？ら

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 02:08:21.64

>>559
＞「自然法則」とはいいますが、実は確率的な表現しかできないことが現代では判明しているのでは？

初耳ですね。
何の記事ですかそれ？

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 02:19:05.05

会社でよく構造解析/磁界解析を行ってますが実物との精度はかなりよいです。
大学時代は多体原子シミュレーションの第一原理バンド計算やってましたが精度が悪いなんて思ったことないですね。

マクスウェル方程式やシュレディンガー方程式が自然界の法則から外れてるとは思えません。
自然界の法則ってこの流れでは何のことを指してますか？

2018/12/24(月) 05:00:33.06

>>559
それはニュートン力学が適用できるのはマクロな領域だけである(ミクロな領域では量子力学が必要になる)、という問題であって自然法則全般の問題ではないと思われ

2018/12/24(月) 06:03:38.20

お前らF検定とか使わんのだろうね
わかりきってる専門用語？
そうだよね！

2018/12/24(月) 10:34:24.33

量子力学使って確率的に扱わないといけないのは10^-34のオーダーのプランク定数が無視できない量を扱う時であって、
メートル単位やキログラム単位程度のスケールのもの扱って有意水準1%とか5%とかに設定しておきながら量子力学を気にしても誤差と区別できないので全く無意味

2018/12/24(月) 10:52:40.92

頭が良すぎるバカの典型
計算過程を楽にするために近似するなんてことはザラにある
近似が嫌いならロジスティック使わず全部ガウスでやれ

2018/12/24(月) 10:58:44.68

そういうの頭が良すぎるって言わないしｗ
単に知識が扱いきれていないだけだな。

2018/12/24(月) 11:35:38.32

因果関係の話だったのに量子力学の話になってる

2018/12/24(月) 11:55:15.57

それはクソコテのせい

2018/12/24(月) 12:12:43.91

元々の>>542での相関関係と因果関係の話に戻せば、>>543の通りに強い相関関係があるからといって
必ずしも一方を変えれば他方が変わるとは限らないことは事実というか自明なので議論の余地はない

2018/12/24(月) 14:03:28.28

ＱＺ　糞コテ

2018/12/24(月) 15:48:01.24

梅毒患者数推移
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-FM.png

梅毒患者数♂ 40代♂急増（全年齢も著しい増加）
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-ageM.png

梅毒患者数♀ 20～29代♀急増（その他ﾊﾞﾊﾞｧは微増）
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-ageF.png

2018/12/24(月) 15:49:11.97

https://www0.nih.go.jp/niid/idsc/idwr/IDWR2017/idwr2017-49.pdf

梅毒報告数
https://i.imgur.com/366sXAR.png

梅毒報告数（人口10万人あたり）
https://i.imgur.com/8BXlN7s.png

島根でｾｯｸｽするのが一番安全

2018/12/24(月) 15:50:31.42

訪日外客数出典：JNTO
梅毒患者数出典：NIID

　　　　訪日外客数　梅毒患者数
2006　　7334077　　　　　112
2007　　8346969　　　　　162
2008　　8350835　　　　　205
2009　　6789658　　　　　196
2010　　8611175　　　　　173
2011　　6218752　　　　　248
2012　　8358105　　　　　297
2013 　10363904　　　　　419
2014 　13413467　　　　　507
2015 　19737409　　　　1044

https://i.imgur.com/S5JIrCq.png

r=0.958533469

で、因果関係（）があんのかどうか見分けてみろよ

2018/12/24(月) 16:18:26.06

>>574
これは良い例題！

2018/12/24(月) 16:20:04.59

2変数しか出さないんじゃ相関以上のことは言えないね

2018/12/24(月) 16:46:47.84

因果関係ってのは時間軸での変化なんだから、梅毒患者を増減させる施策を一切せずに強制的に訪日外客数増やして梅毒患者が増えるかの実験と、
訪日外客数を増減させる施策を一切せずに梅毒患者を強制的に増やしてから訪日外客数が増えるかの実験という時間軸情報を含む両実験をしなければ統計的には誰も何も言えない
ただし偏相関係数の絶対値を大きく低下させるような第三の因子を見つけられない限り、経験的には「訪日外客数増加→梅毒患者増加」の因果関係が自明なので
誰もそんな調査・実験には金を出さないだろうから経験的に得た因果関係が成立すると考えるしかない

2018/12/24(月) 17:13:40.72

レベル低い質問で申し訳ないんだがPythonで画像認識をしたいんだがネット上での画像収集ってどうやったらいいんだ？例えば、猿の画像が大量に欲しい時に猿ってうったら猿の画像データを大量に保存できるようなものってどうやったら作れるんだ？

2018/12/24(月) 17:18:20.96

>>572
女性より男性のほうが圧倒的に数が多いということは
女性のほうが男性よりもたくさん複数の異性と性交渉を行っているという結果ですね。

2018/12/24(月) 17:22:49.56

>>578
Googleの画像検索APIを叩くのではダメか？

2018/12/24(月) 17:33:55.13

>>578>>580
https://qiita.com/ysdyt/items/02a9e6b4e70f26385abc
bingのAPIが良いっぽい
ちなみにスクレイピングすると即Banされる

2018/12/24(月) 17:34:41.08

imagenetのデータセット使えよ

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 17:59:28.33

y=t*sin(t)にて
yとtの相関係数取っても相関係数が小さいのだが‥

これは相関ないと言ってよいかどうか(笑)

2018/12/24(月) 18:09:03.60

>>583
それはあくまで"ピアソンの"相関係数の話
ピアソンの相関係数は線形な関係を見出すために存在しておりそれは定義を見れば明らか
非線形なものを扱いたければ良さげな物を探すか新たに作るしかない

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/24(月) 18:21:28.85

>>577
＞「訪日外客数増加→梅毒患者増加」の因果関係が自明
因果関係ではないですよ、あくまで相関関係だけですね、因果関係をいうのであれば、訪日客の増加が梅毒患者増加に直結する理由が必要です

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/24(月) 18:23:37.65

>>562
＞マクスウェル方程式やシュレディンガー方程式が自然界の法則から外れてるとは思えません。
うらやましいですね、マックスウェル方程式の方は理解できますが、シュレーディンガーはさっぱり理解できないです…

＞自然界の法則ってこの流れでは何のことを指してますか？
私はニュートン力学を念頭においていましたが他の方はどうでしょうか？

2018/12/24(月) 21:08:54.96

そんなあなたに自己相関係数

2018/12/24(月) 21:44:39.21

>>585
訪日した人が梅毒に罹っていて
その人から感染した
という仮説は考えられる

2018/12/24(月) 21:54:43.53

>>588
因果関係を示すにはRCTとか、せめてRDデザインとか考えよう

2018/12/24(月) 21:57:29.62

>>585
訪日客の増加が梅毒患者増加に直結する理由が欲しければ「訪日外客数増加→梅毒患者増加」の因果関係があると仮定してそのためのデータが得られる調査をすればいいだけだろ
>>574だけではこれ以上のことは言えないんだから因果関係が示したければ新たな調査をするしかない

2018/12/24(月) 22:06:44.25

>>589
それはこれから原因となる事象を操作して
効果を確認する事ができる場合には有効だろうけど
過去のデータとか
原因となる事象を操作するのが難しい場合には使えないんじゃね？

訪日客を選別するの？

2018/12/24(月) 22:38:17.40

>>591
そだねぇ、選別というのもありかな

自分がやるとしたら分解能あげて
県ごとの外国人の増減との比較かな

2018/12/24(月) 22:45:02.96

>>592
選別は政策上実現が難しいんじゃね
観光客を増やそうとしている

観光客は移動するけどな

**デフォルトの名無しさん** (ｽﾌｯ Sd43-7yME) · 2018/12/25(火) 12:22:32.72

G検定の公式テキストのアマゾンレビューひどいな。
これは詐欺に近いのでは？
このテキストだけでは合格できないよ。

2018/12/25(火) 12:57:35.57

>>583
データの前処理としてarcsinをかますと良い結果になるよ

**数おたサラリー** (ｽｯｯﾌﾟ Sd43-CDCs) · 2018/12/25(火) 14:17:35.16

都合のよいものにフィットするかどうかは始めはわからなくね？

2018/12/25(火) 14:32:26.30

データを確認する前から適切なフィット関数など分かるわけがない
直線フィットすべきなのか曲線なのか、曲線だとして高次多項式で表すとすれば何次が適当なのか、
そんなことは実際にプロットなどして可視化したり次数を変えてフィッティングした結果の汎化性能を比較したりしない限り分からない

2018/12/25(火) 16:25:57.86

おパンツと一緒

2018/12/25(火) 17:48:28.07

JDLA初の“公式”テキストで、ぜひG検定合格を目指してください！（目指すのは個人の自由）

試験を知り尽くした著者陣がディープラーニングの基本から解説。練習問題付きなので、試験勉強に最適です。（実際の試験に出題されるとは言っていない）

この1冊で試験対策ができる！（合格できるとは言っていない）

2018/12/25(火) 18:21:21.83

おブラと一緒

2018/12/25(火) 19:31:29.39

>>599
AIはG検定という試験があるんだ。
F検定の上を行っちゃうな。

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/25(火) 20:18:53.57

まあ言いたいのは未知のデータから相関を語れないという話ね>>584>>595

サンプリングが等間隔でなかったりするとy=t*sin(t)ですらフィットは難しい

場合によっては無相関と断言するやつすらいる

2018/12/25(火) 20:21:19.76

事前確率ﾎﾞｿ

2018/12/25(火) 21:34:01.58

一番差分が少ないのが定数関数という悲しい事実

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/25(火) 23:47:58.67

>>603
ん？

何のことを言ってるのやら。
具体的に言うてみ？

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 00:22:37.05

>>587
相関関数は結構万能

2018/12/26(水) 00:45:12.92

>>601
E検定「......」

**デフォルトの名無しさん** (JP 0H59-JAXu) · 2018/12/26(水) 11:56:19.18

こういうどうでもいい検定が出てくると
この業界も終わりかなーって思う

理事長松尾　豊　東京大学大学院工学系研究科　特任准教授
理事井﨑　武士　　エヌビディア合同会社　エンタープライズ事業部長
江間　有沙　　東京大学政策ビジョン研究センター特任講師
岡田　陽介　　株式会社ABEJA　代表取締役CEO
岡谷　貴之　　東北大学大学院情報科学研究科教授
尾形　哲也　　早稲田大学基幹理工学部表現工学科　教授
川上　登福　　株式会社IGPIビジネスアナリティクス＆インテリジェンス　代表取締役CEO
草野　隆史　　株式会社ブレインパッド　代表取締役会長
佐藤　聡　　　connectome.design株式会社　代表取締役社長
南野　充則　　株式会社FiNC Technologies 代表取締役CTO
渡邉陽太郎　　株式会社PKSHA Technology

ろくなメンバーいないじゃんw

2018/12/26(水) 12:41:06.57

因果関係を見つけるために、何かのデータと何かのデータを
用意しなきゃならないが、時間は無限にあるわけじゃないし
データも集められるわけじゃない（例えばすでに破棄した過去のデータは分からない）ので

結局今は人間が関係ありそうなデータ、もしくは集めることが可能なデータを
持ってきて因果関係があるか？を検証する作業になってしまってる
「因果関係を見つける」のではなくて「因果関係があるか？」の検証になってしまっている。

そして因果関係がありそうと人間が判断するものはやっぱり因果関係があるわけで
人間が計算式作ってやってもそこそこ精度は出る。
未知の因果関係を見つけるのには相当時間がかかる。

つまり何が言いたいかというと、機械学習でメリットが有るかどうかは運次第だし
データに因果関係があるとわかっていても、それを集めるのには時間（コスト）がかかるので
機械学習やってビジネス的に儲けがでるかはトレードオフの問題に落ち着く
当たり前だけど銀の弾丸じゃないんだよね。

数年後には、宇宙の中から新しい星を探すように「因果関係があるもの」を探す人たちと
判明した因果関係に関係があるデータを集める人・販売する人たちに分かれるだろう

2018/12/26(水) 14:13:38.56

G検定の資格とったらslack招待されるっての聞いたから
１１月に取ったんだけどslack招待されない…

誰か入った人いる？

2018/12/26(水) 14:23:26.02

>>608
現役で活躍してる人は忙しいから仕方ない

2018/12/26(水) 14:39:15.43

E検定って受験資格が教会認定の講座修了者で
ちょっと調べたらその講座が30万円とかなのな
インチキ臭え

2018/12/26(水) 15:08:06.25

>>609
機械学習の学習結果の妥当性証明に因果関係の証明が常に必要なわけではないぞ
よくある画像による製造品の不良判定なら因果関係なんて気にする必要ないし

2018/12/26(水) 16:53:49.40

>>613
それも製造品の形や重さが他と違っていたら不良ってことだろ？
でも物によっては形や重さが違っていても不良とは限らない。例えば料理とか。

人間がこの製品は形や重さが違うなら不良と考えるから、
形データ（つまり画像）や重量を入力としてるわけで
結局それは人間が因果関係を判断して入力データとして与えてる

機械学習でどれくらい違っていれば不良とみなすかを機械で判定できると思うが
人間が○%と値を入力してもそれほど大きな違いは出ないだろう
それに最初は人間が、これはOK、これはNGって判断する必要があるだろ？

まあOK、NGと判断する作業は今も人間がやっているわけで、
機械学習のための追加のデータ取りのコストはかからないと思うが
なんていうか、そんだけだよねーって感じなんだよ

新しいものを作るっていうよりか、単に精度を上げるための
データ入力者になった感じで、面白みがない。
技術は完成されいて、あとは道具を使うだけ

2018/12/26(水) 17:36:56.28

長いのでNG

2018/12/26(水) 17:43:13.93

こういうのはAIには難しそう
https://twitter.com/qpinemarch323/status/1077199404816187392
まだ東大の問題ωの方が解ける可能性あるわ
https://twitter.com/5chan_nel (5ch newer account)

2018/12/26(水) 17:48:11.82

>>616
迷路を解くアルゴリズムはとっくの昔にあるよ・・・

2018/12/26(水) 17:59:01.32

最適化の対象としてうまく数式に落とし込むのはまだ人間の役目だよね

2018/12/26(水) 18:30:37.18

>>608
使えなさそうｗ
ろくでもないラインナップだなｗ

**デフォルトの名無しさん** (JP 0H2b-6UAB) · 2018/12/26(水) 18:31:46.80

kaggleのタイタニックで勉強していざ他のもやってみようと思ったんだけど
カーネルでほかの人の見ないことには何も手が動かせない

どこに着目してどういう特徴量作ったらいい、どのパラメータでどんなestimatorを使えばいい
そういうのがまったく思い浮かばない

生データ渡されてまずどこから手を付けるみたいな方法論勉強する方法orいい参考書ないですか
こういう処理をするにはこういうコードとかそういう本はいくらでもあるんだけど

2018/12/26(水) 19:10:34.38

>>608
見事に馬鹿ばかりだな。
資格ビジネス狙いのクズ朝鮮人ばっかw

2018/12/26(水) 19:21:06.94

>>614
別にあなたが面白いと思わなくても
役に立つならそれを使う人には価値がある

あなたはあなたが面白いと思うものをやれば良い
他のことがあなたにとって面白くなくても
あなたがやる事は変わりない
他にケチつけずに好きにすれば良い

2018/12/26(水) 19:24:45.31

>>620
与えられた課題に対して解決方法が知りたいなら、キーワードはモデリングかな
ある程度考え方の基礎がないとモデリングは難しい

勉強方法としてはKaggleとかの方法をそのまま別の課題に適用して、自分の引き出しを増やすことから始める

ある程度こなせるようになって、それでもまだ足りないなら原理を学ぶ必要があるので、統計学や時系列分析、ベイズモデリングのような入門書を読む

高度な数学まで勉強する必要はないけど、自分の言葉で説明できるくらいまでは理解と経験が必要

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 19:32:09.33

汎用的なものがほしいですね

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 19:34:11.40

経験則なんて頼りたくないものです

2018/12/26(水) 19:57:53.25

kaggleで言うなら、機械学習のアルゴリズムより典型的なアルゴリズムの方が面白い

2018/12/26(水) 20:08:49.00

ババアｗ

2018/12/26(水) 20:09:17.18

都中

2018/12/26(水) 20:13:26.23

機械学習なんて正確性無いし、機会がやる必要ないよね

2018/12/26(水) 20:13:39.30

コンピュータがやる必要ない

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 21:35:05.18

他人に説明しやすければ、メリットはデカイんだけどな

2018/12/26(水) 21:38:58.22

よし、それじゃあパウル君にやらせよう

2018/12/26(水) 22:20:05.30

>>622
役に立たないなんて言ってないよ。

ソートライブラリみたいなもんだなってこと
ソートしたいときにライブラリ使っておしまい

ソートそのものについて研究することはないなぁってこと

2018/12/26(水) 22:50:51.33

えっ

2018/12/26(水) 22:59:29.99

だってデータ集めて流せば終わりやし

2018/12/26(水) 23:24:32.11

資格商法っぽい気はしたがG検定取ったわ
松尾研究室有名だし、転職のときに使えそうだから

2018/12/26(水) 23:55:32.97

E資格もそうだけど、未経験者が意欲をアピールするのには使えるよ

2018/12/27(木) 00:24:45.59

E検定は内容としては演習問題も含めてコーセラのディープラーニングコースに似てるかな
どうしても日本語で勉強したい人くらいしか需要無さそう

2018/12/27(木) 00:51:11.66

機械学習とかつまんね
数学当たり前とか言ってるけど、他の情報科学だって必要だし、気取ってんじゃねえよ

2018/12/27(木) 03:42:08.33

NG検定

2018/12/27(木) 07:43:58.41

Neural Ordinary Differential Equationsってどうよ？

2018/12/27(木) 08:18:08.21

>>623
参考になりました。とりあえず量をこなすところからですか
しかしまいったなー明日プレゼンなのにろくなもん出せそうにないな

2018/12/27(木) 08:42:27.41

>>642
参考書を忘れていました

月並みだけどPRMLは良い本ですのでKaggle等の課題と並行して読むのがよいと思います
日本語の訳本が出ていて「パターン認識と機械学習」という本です

2018/12/27(木) 09:36:37.47

エロ系のデータセットってある？
モザイク消しを深層学習で出来るか試してみたい。

2018/12/27(木) 14:18:15.80

>>644
さすがにないだろ……聞いたことない
海外から無修正画像をスクレイピングしてきて自分でモザイク修正してデータセット作るしか

2018/12/27(木) 15:30:31.87

まず、自動でモザイクかけるAIを作るのかｗ

2018/12/27(木) 15:37:30.88

データセットが洋モノに偏ってあそこだけ洋っぽくなりそう

2018/12/27(木) 16:19:30.67

たしかにモザイクから復元するのに利用してる先行研究はあったはず

2018/12/27(木) 16:29:25.56

データセット無いかー。今考えてる方法は
1.洋物無修正動画をVottでマンコチンコトレーニングデータを作る。
2.yoloとかで自動モザイク装置作ってモザイクを入力としたDCGANでトレーニング
3.モザイク認識ソフトを作ってモザイクを切り抜き、切抜き箇所を2.にかけて出力を元画像と合成

GLCICは学習コストが凄そうなのでできれば回避したい。他に良いアイデアあったら教えて

2018/12/27(木) 16:41:22.77

>>644
アニメ系ならあるけど
https://github.com/deeppomf/DeepCreamPy

2018/12/27(木) 17:01:13.23

>>650
サンクス、Partial Convolutionsというのがあるのね。
これだと複数のモザイク箇所にも対応できそうだね。

2018/12/27(木) 17:11:03.99

もしかして、マンコチンコトレーニングしなくても無修正画像をPartial Convolutionsでトレーニングすれば良いだけだったりするか？
光が見えてきた気がする