【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/24(月) 15:49:11.97

https://www0.nih.go.jp/niid/idsc/idwr/IDWR2017/idwr2017-49.pdf

梅毒報告数
https://i.imgur.com/366sXAR.png

梅毒報告数（人口10万人あたり）
https://i.imgur.com/8BXlN7s.png

島根でｾｯｸｽするのが一番安全

2018/12/24(月) 15:50:31.42

訪日外客数出典：JNTO
梅毒患者数出典：NIID

　　　　訪日外客数　梅毒患者数
2006　　7334077　　　　　112
2007　　8346969　　　　　162
2008　　8350835　　　　　205
2009　　6789658　　　　　196
2010　　8611175　　　　　173
2011　　6218752　　　　　248
2012　　8358105　　　　　297
2013 　10363904　　　　　419
2014 　13413467　　　　　507
2015 　19737409　　　　1044

https://i.imgur.com/S5JIrCq.png

r=0.958533469

で、因果関係（）があんのかどうか見分けてみろよ

2018/12/24(月) 16:18:26.06

>>574
これは良い例題！

2018/12/24(月) 16:20:04.59

2変数しか出さないんじゃ相関以上のことは言えないね

2018/12/24(月) 16:46:47.84

因果関係ってのは時間軸での変化なんだから、梅毒患者を増減させる施策を一切せずに強制的に訪日外客数増やして梅毒患者が増えるかの実験と、
訪日外客数を増減させる施策を一切せずに梅毒患者を強制的に増やしてから訪日外客数が増えるかの実験という時間軸情報を含む両実験をしなければ統計的には誰も何も言えない
ただし偏相関係数の絶対値を大きく低下させるような第三の因子を見つけられない限り、経験的には「訪日外客数増加→梅毒患者増加」の因果関係が自明なので
誰もそんな調査・実験には金を出さないだろうから経験的に得た因果関係が成立すると考えるしかない

2018/12/24(月) 17:13:40.72

レベル低い質問で申し訳ないんだがPythonで画像認識をしたいんだがネット上での画像収集ってどうやったらいいんだ？例えば、猿の画像が大量に欲しい時に猿ってうったら猿の画像データを大量に保存できるようなものってどうやったら作れるんだ？

2018/12/24(月) 17:18:20.96

>>572
女性より男性のほうが圧倒的に数が多いということは
女性のほうが男性よりもたくさん複数の異性と性交渉を行っているという結果ですね。

2018/12/24(月) 17:22:49.56

>>578
Googleの画像検索APIを叩くのではダメか？

2018/12/24(月) 17:33:55.13

>>578>>580
https://qiita.com/ysdyt/items/02a9e6b4e70f26385abc
bingのAPIが良いっぽい
ちなみにスクレイピングすると即Banされる

2018/12/24(月) 17:34:41.08

imagenetのデータセット使えよ

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 17:59:28.33

y=t*sin(t)にて
yとtの相関係数取っても相関係数が小さいのだが‥

これは相関ないと言ってよいかどうか(笑)

2018/12/24(月) 18:09:03.60

>>583
それはあくまで"ピアソンの"相関係数の話
ピアソンの相関係数は線形な関係を見出すために存在しておりそれは定義を見れば明らか
非線形なものを扱いたければ良さげな物を探すか新たに作るしかない

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/24(月) 18:21:28.85

>>577
＞「訪日外客数増加→梅毒患者増加」の因果関係が自明
因果関係ではないですよ、あくまで相関関係だけですね、因果関係をいうのであれば、訪日客の増加が梅毒患者増加に直結する理由が必要です

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/24(月) 18:23:37.65

>>562
＞マクスウェル方程式やシュレディンガー方程式が自然界の法則から外れてるとは思えません。
うらやましいですね、マックスウェル方程式の方は理解できますが、シュレーディンガーはさっぱり理解できないです…

＞自然界の法則ってこの流れでは何のことを指してますか？
私はニュートン力学を念頭においていましたが他の方はどうでしょうか？

2018/12/24(月) 21:08:54.96

そんなあなたに自己相関係数

2018/12/24(月) 21:44:39.21

>>585
訪日した人が梅毒に罹っていて
その人から感染した
という仮説は考えられる

2018/12/24(月) 21:54:43.53

>>588
因果関係を示すにはRCTとか、せめてRDデザインとか考えよう

2018/12/24(月) 21:57:29.62

>>585
訪日客の増加が梅毒患者増加に直結する理由が欲しければ「訪日外客数増加→梅毒患者増加」の因果関係があると仮定してそのためのデータが得られる調査をすればいいだけだろ
>>574だけではこれ以上のことは言えないんだから因果関係が示したければ新たな調査をするしかない

2018/12/24(月) 22:06:44.25

>>589
それはこれから原因となる事象を操作して
効果を確認する事ができる場合には有効だろうけど
過去のデータとか
原因となる事象を操作するのが難しい場合には使えないんじゃね？

訪日客を選別するの？

2018/12/24(月) 22:38:17.40

>>591
そだねぇ、選別というのもありかな

自分がやるとしたら分解能あげて
県ごとの外国人の増減との比較かな

2018/12/24(月) 22:45:02.96

>>592
選別は政策上実現が難しいんじゃね
観光客を増やそうとしている

観光客は移動するけどな

**デフォルトの名無しさん** (ｽﾌｯ Sd43-7yME) · 2018/12/25(火) 12:22:32.72

G検定の公式テキストのアマゾンレビューひどいな。
これは詐欺に近いのでは？
このテキストだけでは合格できないよ。

2018/12/25(火) 12:57:35.57

>>583
データの前処理としてarcsinをかますと良い結果になるよ

**数おたサラリー** (ｽｯｯﾌﾟ Sd43-CDCs) · 2018/12/25(火) 14:17:35.16

都合のよいものにフィットするかどうかは始めはわからなくね？

2018/12/25(火) 14:32:26.30

データを確認する前から適切なフィット関数など分かるわけがない
直線フィットすべきなのか曲線なのか、曲線だとして高次多項式で表すとすれば何次が適当なのか、
そんなことは実際にプロットなどして可視化したり次数を変えてフィッティングした結果の汎化性能を比較したりしない限り分からない

2018/12/25(火) 16:25:57.86

おパンツと一緒

2018/12/25(火) 17:48:28.07

JDLA初の“公式”テキストで、ぜひG検定合格を目指してください！（目指すのは個人の自由）

試験を知り尽くした著者陣がディープラーニングの基本から解説。練習問題付きなので、試験勉強に最適です。（実際の試験に出題されるとは言っていない）

この1冊で試験対策ができる！（合格できるとは言っていない）

2018/12/25(火) 18:21:21.83

おブラと一緒

2018/12/25(火) 19:31:29.39

>>599
AIはG検定という試験があるんだ。
F検定の上を行っちゃうな。

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/25(火) 20:18:53.57

まあ言いたいのは未知のデータから相関を語れないという話ね>>584>>595

サンプリングが等間隔でなかったりするとy=t*sin(t)ですらフィットは難しい

場合によっては無相関と断言するやつすらいる

2018/12/25(火) 20:21:19.76

事前確率ﾎﾞｿ

2018/12/25(火) 21:34:01.58

一番差分が少ないのが定数関数という悲しい事実

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/25(火) 23:47:58.67

>>603
ん？

何のことを言ってるのやら。
具体的に言うてみ？

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 00:22:37.05

>>587
相関関数は結構万能

2018/12/26(水) 00:45:12.92

>>601
E検定「......」

**デフォルトの名無しさん** (JP 0H59-JAXu) · 2018/12/26(水) 11:56:19.18

こういうどうでもいい検定が出てくると
この業界も終わりかなーって思う

理事長松尾　豊　東京大学大学院工学系研究科　特任准教授
理事井﨑　武士　　エヌビディア合同会社　エンタープライズ事業部長
江間　有沙　　東京大学政策ビジョン研究センター特任講師
岡田　陽介　　株式会社ABEJA　代表取締役CEO
岡谷　貴之　　東北大学大学院情報科学研究科教授
尾形　哲也　　早稲田大学基幹理工学部表現工学科　教授
川上　登福　　株式会社IGPIビジネスアナリティクス＆インテリジェンス　代表取締役CEO
草野　隆史　　株式会社ブレインパッド　代表取締役会長
佐藤　聡　　　connectome.design株式会社　代表取締役社長
南野　充則　　株式会社FiNC Technologies 代表取締役CTO
渡邉陽太郎　　株式会社PKSHA Technology

ろくなメンバーいないじゃんw

2018/12/26(水) 12:41:06.57

因果関係を見つけるために、何かのデータと何かのデータを
用意しなきゃならないが、時間は無限にあるわけじゃないし
データも集められるわけじゃない（例えばすでに破棄した過去のデータは分からない）ので

結局今は人間が関係ありそうなデータ、もしくは集めることが可能なデータを
持ってきて因果関係があるか？を検証する作業になってしまってる
「因果関係を見つける」のではなくて「因果関係があるか？」の検証になってしまっている。

そして因果関係がありそうと人間が判断するものはやっぱり因果関係があるわけで
人間が計算式作ってやってもそこそこ精度は出る。
未知の因果関係を見つけるのには相当時間がかかる。

つまり何が言いたいかというと、機械学習でメリットが有るかどうかは運次第だし
データに因果関係があるとわかっていても、それを集めるのには時間（コスト）がかかるので
機械学習やってビジネス的に儲けがでるかはトレードオフの問題に落ち着く
当たり前だけど銀の弾丸じゃないんだよね。

数年後には、宇宙の中から新しい星を探すように「因果関係があるもの」を探す人たちと
判明した因果関係に関係があるデータを集める人・販売する人たちに分かれるだろう

2018/12/26(水) 14:13:38.56

G検定の資格とったらslack招待されるっての聞いたから
１１月に取ったんだけどslack招待されない…

誰か入った人いる？

2018/12/26(水) 14:23:26.02

>>608
現役で活躍してる人は忙しいから仕方ない

2018/12/26(水) 14:39:15.43

E検定って受験資格が教会認定の講座修了者で
ちょっと調べたらその講座が30万円とかなのな
インチキ臭え

2018/12/26(水) 15:08:06.25

>>609
機械学習の学習結果の妥当性証明に因果関係の証明が常に必要なわけではないぞ
よくある画像による製造品の不良判定なら因果関係なんて気にする必要ないし

2018/12/26(水) 16:53:49.40

>>613
それも製造品の形や重さが他と違っていたら不良ってことだろ？
でも物によっては形や重さが違っていても不良とは限らない。例えば料理とか。

人間がこの製品は形や重さが違うなら不良と考えるから、
形データ（つまり画像）や重量を入力としてるわけで
結局それは人間が因果関係を判断して入力データとして与えてる

機械学習でどれくらい違っていれば不良とみなすかを機械で判定できると思うが
人間が○%と値を入力してもそれほど大きな違いは出ないだろう
それに最初は人間が、これはOK、これはNGって判断する必要があるだろ？

まあOK、NGと判断する作業は今も人間がやっているわけで、
機械学習のための追加のデータ取りのコストはかからないと思うが
なんていうか、そんだけだよねーって感じなんだよ

新しいものを作るっていうよりか、単に精度を上げるための
データ入力者になった感じで、面白みがない。
技術は完成されいて、あとは道具を使うだけ

2018/12/26(水) 17:36:56.28

長いのでNG

2018/12/26(水) 17:43:13.93

こういうのはAIには難しそう
https://twitter.com/qpinemarch323/status/1077199404816187392
まだ東大の問題ωの方が解ける可能性あるわ
https://twitter.com/5chan_nel (5ch newer account)

2018/12/26(水) 17:48:11.82

>>616
迷路を解くアルゴリズムはとっくの昔にあるよ・・・

2018/12/26(水) 17:59:01.32

最適化の対象としてうまく数式に落とし込むのはまだ人間の役目だよね

2018/12/26(水) 18:30:37.18

>>608
使えなさそうｗ
ろくでもないラインナップだなｗ

**デフォルトの名無しさん** (JP 0H2b-6UAB) · 2018/12/26(水) 18:31:46.80

kaggleのタイタニックで勉強していざ他のもやってみようと思ったんだけど
カーネルでほかの人の見ないことには何も手が動かせない

どこに着目してどういう特徴量作ったらいい、どのパラメータでどんなestimatorを使えばいい
そういうのがまったく思い浮かばない

生データ渡されてまずどこから手を付けるみたいな方法論勉強する方法orいい参考書ないですか
こういう処理をするにはこういうコードとかそういう本はいくらでもあるんだけど

2018/12/26(水) 19:10:34.38

>>608
見事に馬鹿ばかりだな。
資格ビジネス狙いのクズ朝鮮人ばっかw

2018/12/26(水) 19:21:06.94

>>614
別にあなたが面白いと思わなくても
役に立つならそれを使う人には価値がある

あなたはあなたが面白いと思うものをやれば良い
他のことがあなたにとって面白くなくても
あなたがやる事は変わりない
他にケチつけずに好きにすれば良い

2018/12/26(水) 19:24:45.31

>>620
与えられた課題に対して解決方法が知りたいなら、キーワードはモデリングかな
ある程度考え方の基礎がないとモデリングは難しい

勉強方法としてはKaggleとかの方法をそのまま別の課題に適用して、自分の引き出しを増やすことから始める

ある程度こなせるようになって、それでもまだ足りないなら原理を学ぶ必要があるので、統計学や時系列分析、ベイズモデリングのような入門書を読む

高度な数学まで勉強する必要はないけど、自分の言葉で説明できるくらいまでは理解と経験が必要

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 19:32:09.33

汎用的なものがほしいですね

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 19:34:11.40

経験則なんて頼りたくないものです

2018/12/26(水) 19:57:53.25

kaggleで言うなら、機械学習のアルゴリズムより典型的なアルゴリズムの方が面白い

2018/12/26(水) 20:08:49.00

ババアｗ

2018/12/26(水) 20:09:17.18

都中

2018/12/26(水) 20:13:26.23

機械学習なんて正確性無いし、機会がやる必要ないよね

2018/12/26(水) 20:13:39.30

コンピュータがやる必要ない

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 21:35:05.18

他人に説明しやすければ、メリットはデカイんだけどな

2018/12/26(水) 21:38:58.22

よし、それじゃあパウル君にやらせよう

2018/12/26(水) 22:20:05.30

>>622
役に立たないなんて言ってないよ。

ソートライブラリみたいなもんだなってこと
ソートしたいときにライブラリ使っておしまい

ソートそのものについて研究することはないなぁってこと

2018/12/26(水) 22:50:51.33

えっ

2018/12/26(水) 22:59:29.99

だってデータ集めて流せば終わりやし

2018/12/26(水) 23:24:32.11

資格商法っぽい気はしたがG検定取ったわ
松尾研究室有名だし、転職のときに使えそうだから

2018/12/26(水) 23:55:32.97

E資格もそうだけど、未経験者が意欲をアピールするのには使えるよ

2018/12/27(木) 00:24:45.59

E検定は内容としては演習問題も含めてコーセラのディープラーニングコースに似てるかな
どうしても日本語で勉強したい人くらいしか需要無さそう

2018/12/27(木) 00:51:11.66

機械学習とかつまんね
数学当たり前とか言ってるけど、他の情報科学だって必要だし、気取ってんじゃねえよ

2018/12/27(木) 03:42:08.33

NG検定

2018/12/27(木) 07:43:58.41

Neural Ordinary Differential Equationsってどうよ？

2018/12/27(木) 08:18:08.21

>>623
参考になりました。とりあえず量をこなすところからですか
しかしまいったなー明日プレゼンなのにろくなもん出せそうにないな

2018/12/27(木) 08:42:27.41

>>642
参考書を忘れていました

月並みだけどPRMLは良い本ですのでKaggle等の課題と並行して読むのがよいと思います
日本語の訳本が出ていて「パターン認識と機械学習」という本です

2018/12/27(木) 09:36:37.47

エロ系のデータセットってある？
モザイク消しを深層学習で出来るか試してみたい。

2018/12/27(木) 14:18:15.80

>>644
さすがにないだろ……聞いたことない
海外から無修正画像をスクレイピングしてきて自分でモザイク修正してデータセット作るしか

2018/12/27(木) 15:30:31.87

まず、自動でモザイクかけるAIを作るのかｗ

2018/12/27(木) 15:37:30.88

データセットが洋モノに偏ってあそこだけ洋っぽくなりそう

2018/12/27(木) 16:19:30.67

たしかにモザイクから復元するのに利用してる先行研究はあったはず

2018/12/27(木) 16:29:25.56

データセット無いかー。今考えてる方法は
1.洋物無修正動画をVottでマンコチンコトレーニングデータを作る。
2.yoloとかで自動モザイク装置作ってモザイクを入力としたDCGANでトレーニング
3.モザイク認識ソフトを作ってモザイクを切り抜き、切抜き箇所を2.にかけて出力を元画像と合成

GLCICは学習コストが凄そうなのでできれば回避したい。他に良いアイデアあったら教えて

2018/12/27(木) 16:41:22.77

>>644
アニメ系ならあるけど
https://github.com/deeppomf/DeepCreamPy

2018/12/27(木) 17:01:13.23

>>650
サンクス、Partial Convolutionsというのがあるのね。
これだと複数のモザイク箇所にも対応できそうだね。

2018/12/27(木) 17:11:03.99

もしかして、マンコチンコトレーニングしなくても無修正画像をPartial Convolutionsでトレーニングすれば良いだけだったりするか？
光が見えてきた気がする

2018/12/27(木) 17:21:24.33

マ●コが見えてきた気がする

2018/12/27(木) 17:24:50.95

機械に頼るな
心の目で見るんだ

2018/12/27(木) 17:25:28.71

https://gigazine.net/news/20170208-pixel-recursive-super-resolution/
https://gigazine.net/news/20171101-algorithm-low-resolution-images/
8*8ピクセルから復元出来る

2018/12/27(木) 17:35:48.30

モザイクの復元か

2018/12/27(木) 17:42:47.76

jpg時代のDejavu。エロは偉大なモチベだw

2018/12/27(木) 21:44:15.51

GANだと出来上がるのは機械の想像物にならんか？

2018/12/27(木) 23:00:37.63

>>658
人間の想像といい勝負
真実は誰も分からないのだから

2018/12/27(木) 23:20:01.45

>>658
モザイクの向こう側にある真実を探求するつもりはないよ。違和感なくモザイクが消えればそれで良いと思ってる。
極端な話、機械が妄想して全員綺麗なマンコになってもいいと思う。

2018/12/27(木) 23:57:27.63

>>658
モザイクかけた時点で情報は失われているから元通りに復元するのは不可能
想像でそれらしく補うしか無い

2018/12/28(金) 00:24:40.64

荒くなってはいるが黒塗りとかじゃないんだし完全に情報失われてるわけじゃないでしょ

2018/12/28(金) 03:00:23.93

エロAIはよ

2018/12/28(金) 03:23:06.50

本物そっくりのCGでもわいせつ物扱いになったし
そのうちモザイクも違法になるかもしれんね

画像から欠けた部分を補完する技術はあるし
どうせそう遠くない未来に、動画の欠けた部分を
補完する技術も一般的になるでしょ？

「欠けた部分」を「モザイクパターンになってる部分」に置き換えるのも
そう難しいことじゃないだろうし、モザイクの部分を本物そっくりのCGに
リアルタイムに置き換える。その時に色情報を使用すればよりリアルになる

結局の所補完した画像はCGなのだが、CGがわいせつ物扱いになるしなぁ
より本物に近いCGを作れるモザイクから違法になって、
最後には黒塗りもアウトになるかもな。

ん？その流れで行くと、水着や下着もアウトかもしれん
今の技術で裸に見える画像（水玉コラ）を補完したらどうなるんだろうか？
流石に誰かやってるよな？

2018/12/28(金) 03:30:13.25

よりリアルな補完画像画像（よーするにコラだなｗ）が
誰でも簡単に作れるようになったら、誰でもわいせつ物が作れると同時に
逆にリベンジポルノ流出とかでもあれはコラだって
言い張れるようになるかもしれないな
写真（そのうち動画）がなんの証拠にもならない時代

2018/12/28(金) 03:43:57.02

>>655
モザイクから元の顔に戻せるように見えてるけど
似顔絵捜査員とどちらがすごいんだろうかね

情報量自体は被害者の記憶を言葉にしたほうが少ないと思う
たったあれだけで、それなりの精度をだせるなら
訓練すればモザイクから元の顔を書く
モザイク捜査員が生まれるかもしれない！

2018/12/28(金) 07:24:47.70

>>665
暗号化しなくても、モザイクでアップしておいて
あとは利用者が勝手にどうぞ。

なんてのが出来ちゃうわけだ。

2018/12/28(金) 07:40:23.31

機械学習とはもう無関係なくなってきたが、モザイクどころかなにもないところから
コンピュータが人工知能で作り出した本物そっくりなCGはわいせつ物になるんだろうか？

2018/12/28(金) 07:42:55.28

猥褻物判別AIが判断しそう

2018/12/28(金) 07:47:16.82

猥褻物判別AIは、生成されたCGに対して反応するわけだから
そのCGを生成するための元データ（＝モザイク画像）を配布したら・・・？

未来もまだまだ、法律の抜け道と無理やりな法解釈のイタチごっこが続きそうだな

2018/12/28(金) 08:24:37.00

>>668
本物そっくりだから、本物と区別できない
だから、本物かもしれない
よってわいせつ物

かな～

2018/12/28(金) 09:52:24.03

>>658
著作権上は機械学習は人間の道具として扱われる
でも機械学習のコードを丸パクリした場合はほとんど定義されていない
この辺りしっかり決めておかないと非常にマズイ事になる気がする