【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/21(金) 19:24:26.23

>>507
それな。
だが、本当に乱数なのかな？
乱数の検定が圧倒的に否定されたので、
誰かが当たり番号を操作してると思う。

2018/12/21(金) 19:35:05.93

ロトの乱数生成の手法調べたらいいのか
意外と運用適当だったりしそう

2018/12/21(金) 19:37:05.65

コインを投げろ

2018/12/21(金) 19:39:49.12

サイコロを振れ

2018/12/21(金) 19:46:49.63

的を射よ

2018/12/21(金) 20:17:21.65

乱数生成が多少適当だったとしてもあからさまに偏ってるわけじゃないんだから儲け出すにはかなりの大金注ぎ込む必要があるだろうな

2018/12/21(金) 21:54:08.02

めるせんぬついすた

2018/12/21(金) 23:43:05.46

乱数はパチ台チェックしたりで意外と扱い馴れてる可能性も

2018/12/22(土) 00:17:02.80

MT使うほどのことない
Xorshiftで十分
LCGsはｳﾝｺすぎてﾀﾞﾒ

2018/12/22(土) 00:20:27.91

XBoxというゲーム機で出たカルドセプトというゲームがあってのう
疑似乱数の質が低すぎて専門学校生が作ってるんじゃないかと疑われたんじゃ

2018/12/22(土) 13:37:04.48

>>503
番号決めるのがサイコロ振ったりしてアナログな方法だったら
効果がないのでは？
コンピュータでやってるならチャンスあるかも

2018/12/22(土) 14:07:01.79

的がぐるぐるまわっていてそこに矢を射る機械を複数並べて決める

2018/12/22(土) 14:19:23.79

つまり各桁無相関ですね。

2018/12/22(土) 14:20:11.61

ロト７はこんな機械で決めてるらしい
https://youtu.be/imk1s7fTkJo

2018/12/22(土) 15:32:27.47

昔ロト3でなんとなならないか試行錯誤したなw
なんともならなかったけど。

2018/12/22(土) 15:40:11.13

123
431
137

だと「1」はジグザグに出やすく、
「3」はなだらかなカーブを描いて出現する、みたいな攻略（笑）方法があって
これを勉強する時間でバイトでもした方が良いな、と子供心に思ったものです

2018/12/22(土) 15:47:20.29

抽選機は電動攪拌式遠心力型抽せん機（愛称：夢ロトくん）

2018/12/22(土) 16:04:24.04

ここまでベルヌーイ施行というキーワードすらでない

2018/12/22(土) 16:08:18.85

わざわざ名前出す程複雑な事象じゃないやろ

2018/12/22(土) 16:20:58.77

>>525
この流れギャグだと思ってたんだけどまさか真面目に考えてたの

2018/12/22(土) 16:24:41.65

釣れますか？

2018/12/22(土) 16:27:19.80

マルクス経済学の学者の世界では
Aという現象が出て戦争が起きた
よってAが出ると戦争がが起こる
だから、Aを出すことを阻害しよう
という単純な考えが通用するみたい

それで博士等取れる確率が高いようなので
チャレンジしてみたらどうでしょう。

確率が念頭にないのに、博士号の確率は念頭にある
面白い世界です。

2018/12/22(土) 16:34:17.76

相関関係と因果関係をしっかりとわけないといけないのだ

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/22(土) 16:42:59.61

>>507
MTじゃダメなんですか？

2018/12/22(土) 17:36:26.63

>>530
確率考えてないから因果にもならない
想定するのは、単にそういうことがあったというだけ

2018/12/22(土) 22:23:41.20

帰納法のプログラムの世界では起こりえないだけど、
因果関係と相関関係の混同は世に溢れている

2018/12/23(日) 00:02:52.98

アホな経験則がまかり通っているだけ

2018/12/23(日) 03:10:51.94

しかし、おまえらアフォだな
因果関係だと？
笑えるｗ

2018/12/23(日) 09:38:54.52

因果応報

2018/12/23(日) 09:40:34.21

親の因果が子に報い

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 11:39:39.64

>>530
＞相関関係と因果関係をしっかりとわけないといけないのだ

そして次のことも理解しておくことですね
「因果関係の認定は主観的判断であり独断や偏見と何一つ変わらないこと」

2018/12/23(日) 13:41:04.67

親の資産を相続したＱＺが一言

2018/12/23(日) 14:37:30.80

>>538
>>534でよくね

2018/12/23(日) 17:14:58.35

因果関係を証明したければ実験すればいいだけのこと
原因だと推測したものを動かして予想通りに結果が変わればok

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 17:20:18.77

>>541
相関関係を持つものについても、片方を動かせばもう片方も予想通りに動くのでは？
>>541 の方法では相関関係と因果関係を見分けられないのでは？

2018/12/23(日) 17:53:54.43

コンビニ店舗数と人口密度に正の相関があったとする
何もない山奥に強制的に大量の人間を住ませればその人口密度に応じてコンビニが入ってくるだろう
しかし逆に誰もいない状態で山奥にコンビニ建てまくったとしてもコンビニ数に応じた人間が引っ越してくると考えるのは不自然だろう
つまり上記が正しい場合、人口密度→コンビニの因果関係はあるが、コンビニ→人口密度の因果関係はない
Aを変えればそれに応じてBが変わる時に因果関係があると言い、必ずしも逆が成り立つとは限らない

2018/12/23(日) 18:00:58.58

実験できないようなことは
どうするんだ？

2018/12/23(日) 18:19:32.54

プログラマの主張する実験（笑）

2018/12/23(日) 18:41:00.17

>>544
因果関係知りたいのは原因を操作することで結果変えたいからで、そもそも原因を操作できないものの因果関係を知っても使い道なく自己満足で終わり

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 19:29:51.55

>>543
＞何もない山奥に強制的に大量の人間を住ませればその人口密度に応じてコンビニが入ってくるだろう
＞しかし逆に誰もいない状態で山奥にコンビニ建てまくったとしてもコンビニ数に応じた人間が引っ越してくると考えるのは不自然だろう

それは「人口密度が最初に設定される」→「設定された人口密度に従ってコンビニ密度が決定される」
という因果律を先に読み手に想定させた上で話をしている、という意味で、先入観に囚われた推論でしかないのでは？
二つの数量的関係に相関があるかないかは統計処理を行えば客観的に判断できるのですが、因果関係は、我々の主観的判断＝独断と偏見、が含まれているのです
独断と偏見、といういいかたはちょっと極端に偏っているかもしれませんね、因果関係、というものの見方そのものが、人間が進化していく上で獲得した思考の「癖」なのでは？

2018/12/23(日) 20:45:50.47

>>542
目的の値をコントロールしたい
それを達成できるなら
本当の原因じゃなくても許容範囲じゃね

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 20:48:42.70

>>548
なるほど
では因果律なるものは虚構であるのに、人はどうして因果律を設定して、例えば人を説得しようとする、とかするのでしょうか？

2018/12/23(日) 20:52:26.47

>>547
車のアクセル開度の値と速度の関係は？
時間的にアクセル→速度になっている
アクセル開度が原因で速度が結果じゃね

人間が車を押したら速度は上がるけどアクセル開度は変わらない
速度→アクセル開度の因果関係はない

2018/12/23(日) 20:53:33.88

>>549
虚構ってどんな定義？
因果律が虚構っていうのは本当？

2018/12/23(日) 21:23:34.18

因果律は今の全ての科学の根底にある仮定なのにな

2018/12/23(日) 22:26:30.66

なんのスレだよ

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 22:28:48.65

>>551
因果律は「人が因果があると決めたもの」という意味で虚構あるいは集団幻想みたいなものかと

>>550
「アクセルを踏むと車の速度が増大する」という因果律を人が決めたのではないですか？
客観的な言い方を追求するのならば「アクセルの踏み込み度合いと車の速度とは r = 1 の相関関係があります」にとどまるべきで、それ以上のいいかたは、主観が混じっているのです、純粋性を追求すれば、そういう結論になるかと

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 22:29:09.54

>>552
そう、それはあくまでも仮定なんですよ

2018/12/23(日) 22:43:37.49

>>554
根底にあるのは自然科学の法則じゃね？
法則が複雑に影響しているけど

2018/12/23(日) 22:46:29.80

>>554
表現の方法は別でも可能だけど
法則自体は存在する
つまり因果関係と言っている
原因と結果の関係は存在する

あなたが言っているのは表現の方法が人間の決めた方法だ
と言っているだけ
表現の方法を変えても良いけど
他の人と知識を共有したり議論するのに不便

2018/12/23(日) 22:58:32.74

まともにディープラーニングするならこの程度のマシンが必要って認識でいいか？
http://masagutti.hatenablog.com/entry/more_gpu

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 23:12:54.72

>>556
>>557
「自然法則」とはいいますが、実は確率的な表現しかできないことが現代では判明しているのでは？
ニュートン力学等は一見確定的、未来予言可能的だけれども、それはニュートン力学は近似でしかないためなのでは？

>>557
＞法則自体は存在する
観測者によって変化するものを「存在する」といっていいのですか？

2018/12/23(日) 23:32:04.52

>>559
で結局言いたいことは何？
因果関係が人間の解釈だとして
その結果何か有益なことがあるの？

観測者によって確率的に結果が変わる→存在しない
とは言えない
存在の有無とは無関係じゃね？ら

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 02:08:21.64

>>559
＞「自然法則」とはいいますが、実は確率的な表現しかできないことが現代では判明しているのでは？

初耳ですね。
何の記事ですかそれ？

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 02:19:05.05

会社でよく構造解析/磁界解析を行ってますが実物との精度はかなりよいです。
大学時代は多体原子シミュレーションの第一原理バンド計算やってましたが精度が悪いなんて思ったことないですね。

マクスウェル方程式やシュレディンガー方程式が自然界の法則から外れてるとは思えません。
自然界の法則ってこの流れでは何のことを指してますか？

2018/12/24(月) 05:00:33.06

>>559
それはニュートン力学が適用できるのはマクロな領域だけである(ミクロな領域では量子力学が必要になる)、という問題であって自然法則全般の問題ではないと思われ

2018/12/24(月) 06:03:38.20

お前らF検定とか使わんのだろうね
わかりきってる専門用語？
そうだよね！

2018/12/24(月) 10:34:24.33

量子力学使って確率的に扱わないといけないのは10^-34のオーダーのプランク定数が無視できない量を扱う時であって、
メートル単位やキログラム単位程度のスケールのもの扱って有意水準1%とか5%とかに設定しておきながら量子力学を気にしても誤差と区別できないので全く無意味

2018/12/24(月) 10:52:40.92

頭が良すぎるバカの典型
計算過程を楽にするために近似するなんてことはザラにある
近似が嫌いならロジスティック使わず全部ガウスでやれ

2018/12/24(月) 10:58:44.68

そういうの頭が良すぎるって言わないしｗ
単に知識が扱いきれていないだけだな。

2018/12/24(月) 11:35:38.32

因果関係の話だったのに量子力学の話になってる

2018/12/24(月) 11:55:15.57

それはクソコテのせい

2018/12/24(月) 12:12:43.91

元々の>>542での相関関係と因果関係の話に戻せば、>>543の通りに強い相関関係があるからといって
必ずしも一方を変えれば他方が変わるとは限らないことは事実というか自明なので議論の余地はない

2018/12/24(月) 14:03:28.28

ＱＺ　糞コテ

2018/12/24(月) 15:48:01.24

梅毒患者数推移
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-FM.png

梅毒患者数♂ 40代♂急増（全年齢も著しい増加）
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-ageM.png

梅毒患者数♀ 20～29代♀急増（その他ﾊﾞﾊﾞｧは微増）
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-ageF.png

2018/12/24(月) 15:49:11.97

https://www0.nih.go.jp/niid/idsc/idwr/IDWR2017/idwr2017-49.pdf

梅毒報告数
https://i.imgur.com/366sXAR.png

梅毒報告数（人口10万人あたり）
https://i.imgur.com/8BXlN7s.png

島根でｾｯｸｽするのが一番安全

2018/12/24(月) 15:50:31.42

訪日外客数出典：JNTO
梅毒患者数出典：NIID

　　　　訪日外客数　梅毒患者数
2006　　7334077　　　　　112
2007　　8346969　　　　　162
2008　　8350835　　　　　205
2009　　6789658　　　　　196
2010　　8611175　　　　　173
2011　　6218752　　　　　248
2012　　8358105　　　　　297
2013 　10363904　　　　　419
2014 　13413467　　　　　507
2015 　19737409　　　　1044

https://i.imgur.com/S5JIrCq.png

r=0.958533469

で、因果関係（）があんのかどうか見分けてみろよ

2018/12/24(月) 16:18:26.06

>>574
これは良い例題！

2018/12/24(月) 16:20:04.59

2変数しか出さないんじゃ相関以上のことは言えないね

2018/12/24(月) 16:46:47.84

因果関係ってのは時間軸での変化なんだから、梅毒患者を増減させる施策を一切せずに強制的に訪日外客数増やして梅毒患者が増えるかの実験と、
訪日外客数を増減させる施策を一切せずに梅毒患者を強制的に増やしてから訪日外客数が増えるかの実験という時間軸情報を含む両実験をしなければ統計的には誰も何も言えない
ただし偏相関係数の絶対値を大きく低下させるような第三の因子を見つけられない限り、経験的には「訪日外客数増加→梅毒患者増加」の因果関係が自明なので
誰もそんな調査・実験には金を出さないだろうから経験的に得た因果関係が成立すると考えるしかない

2018/12/24(月) 17:13:40.72

レベル低い質問で申し訳ないんだがPythonで画像認識をしたいんだがネット上での画像収集ってどうやったらいいんだ？例えば、猿の画像が大量に欲しい時に猿ってうったら猿の画像データを大量に保存できるようなものってどうやったら作れるんだ？

2018/12/24(月) 17:18:20.96

>>572
女性より男性のほうが圧倒的に数が多いということは
女性のほうが男性よりもたくさん複数の異性と性交渉を行っているという結果ですね。

2018/12/24(月) 17:22:49.56

>>578
Googleの画像検索APIを叩くのではダメか？

2018/12/24(月) 17:33:55.13

>>578>>580
https://qiita.com/ysdyt/items/02a9e6b4e70f26385abc
bingのAPIが良いっぽい
ちなみにスクレイピングすると即Banされる

2018/12/24(月) 17:34:41.08

imagenetのデータセット使えよ

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 17:59:28.33

y=t*sin(t)にて
yとtの相関係数取っても相関係数が小さいのだが‥

これは相関ないと言ってよいかどうか(笑)

2018/12/24(月) 18:09:03.60

>>583
それはあくまで"ピアソンの"相関係数の話
ピアソンの相関係数は線形な関係を見出すために存在しておりそれは定義を見れば明らか
非線形なものを扱いたければ良さげな物を探すか新たに作るしかない

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/24(月) 18:21:28.85

>>577
＞「訪日外客数増加→梅毒患者増加」の因果関係が自明
因果関係ではないですよ、あくまで相関関係だけですね、因果関係をいうのであれば、訪日客の増加が梅毒患者増加に直結する理由が必要です

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/24(月) 18:23:37.65

>>562
＞マクスウェル方程式やシュレディンガー方程式が自然界の法則から外れてるとは思えません。
うらやましいですね、マックスウェル方程式の方は理解できますが、シュレーディンガーはさっぱり理解できないです…

＞自然界の法則ってこの流れでは何のことを指してますか？
私はニュートン力学を念頭においていましたが他の方はどうでしょうか？

2018/12/24(月) 21:08:54.96

そんなあなたに自己相関係数

2018/12/24(月) 21:44:39.21

>>585
訪日した人が梅毒に罹っていて
その人から感染した
という仮説は考えられる

2018/12/24(月) 21:54:43.53

>>588
因果関係を示すにはRCTとか、せめてRDデザインとか考えよう

2018/12/24(月) 21:57:29.62

>>585
訪日客の増加が梅毒患者増加に直結する理由が欲しければ「訪日外客数増加→梅毒患者増加」の因果関係があると仮定してそのためのデータが得られる調査をすればいいだけだろ
>>574だけではこれ以上のことは言えないんだから因果関係が示したければ新たな調査をするしかない

2018/12/24(月) 22:06:44.25

>>589
それはこれから原因となる事象を操作して
効果を確認する事ができる場合には有効だろうけど
過去のデータとか
原因となる事象を操作するのが難しい場合には使えないんじゃね？

訪日客を選別するの？

2018/12/24(月) 22:38:17.40

>>591
そだねぇ、選別というのもありかな

自分がやるとしたら分解能あげて
県ごとの外国人の増減との比較かな

2018/12/24(月) 22:45:02.96

>>592
選別は政策上実現が難しいんじゃね
観光客を増やそうとしている

観光客は移動するけどな

**デフォルトの名無しさん** (ｽﾌｯ Sd43-7yME) · 2018/12/25(火) 12:22:32.72

G検定の公式テキストのアマゾンレビューひどいな。
これは詐欺に近いのでは？
このテキストだけでは合格できないよ。

2018/12/25(火) 12:57:35.57

>>583
データの前処理としてarcsinをかますと良い結果になるよ

**数おたサラリー** (ｽｯｯﾌﾟ Sd43-CDCs) · 2018/12/25(火) 14:17:35.16

都合のよいものにフィットするかどうかは始めはわからなくね？

2018/12/25(火) 14:32:26.30

データを確認する前から適切なフィット関数など分かるわけがない
直線フィットすべきなのか曲線なのか、曲線だとして高次多項式で表すとすれば何次が適当なのか、
そんなことは実際にプロットなどして可視化したり次数を変えてフィッティングした結果の汎化性能を比較したりしない限り分からない

2018/12/25(火) 16:25:57.86

おパンツと一緒

2018/12/25(火) 17:48:28.07

JDLA初の“公式”テキストで、ぜひG検定合格を目指してください！（目指すのは個人の自由）

試験を知り尽くした著者陣がディープラーニングの基本から解説。練習問題付きなので、試験勉強に最適です。（実際の試験に出題されるとは言っていない）

この1冊で試験対策ができる！（合格できるとは言っていない）

2018/12/25(火) 18:21:21.83

おブラと一緒

2018/12/25(火) 19:31:29.39

>>599
AIはG検定という試験があるんだ。
F検定の上を行っちゃうな。

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/25(火) 20:18:53.57

まあ言いたいのは未知のデータから相関を語れないという話ね>>584>>595

サンプリングが等間隔でなかったりするとy=t*sin(t)ですらフィットは難しい

場合によっては無相関と断言するやつすらいる

2018/12/25(火) 20:21:19.76

事前確率ﾎﾞｿ

2018/12/25(火) 21:34:01.58

一番差分が少ないのが定数関数という悲しい事実

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/25(火) 23:47:58.67

>>603
ん？

何のことを言ってるのやら。
具体的に言うてみ？

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/26(水) 00:22:37.05

>>587
相関関数は結構万能

2018/12/26(水) 00:45:12.92

>>601
E検定「......」

**デフォルトの名無しさん** (JP 0H59-JAXu) · 2018/12/26(水) 11:56:19.18

こういうどうでもいい検定が出てくると
この業界も終わりかなーって思う

理事長松尾　豊　東京大学大学院工学系研究科　特任准教授
理事井﨑　武士　　エヌビディア合同会社　エンタープライズ事業部長
江間　有沙　　東京大学政策ビジョン研究センター特任講師
岡田　陽介　　株式会社ABEJA　代表取締役CEO
岡谷　貴之　　東北大学大学院情報科学研究科教授
尾形　哲也　　早稲田大学基幹理工学部表現工学科　教授
川上　登福　　株式会社IGPIビジネスアナリティクス＆インテリジェンス　代表取締役CEO
草野　隆史　　株式会社ブレインパッド　代表取締役会長
佐藤　聡　　　connectome.design株式会社　代表取締役社長
南野　充則　　株式会社FiNC Technologies 代表取締役CTO
渡邉陽太郎　　株式会社PKSHA Technology

ろくなメンバーいないじゃんw