X



【統計分析】機械学習・データマイニング21

■ このスレッドは過去ログ倉庫に格納されています
0001デフォルトの名無しさん (アウアウウー Sa4f-YdG1)
垢版 |
2018/11/04(日) 14:34:36.02ID:W830XVm1a
機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured
0516デフォルトの名無しさん (ワッチョイ cb80-5YD5)
垢版 |
2018/12/22(土) 00:17:02.80ID:b6CiPLFa0
MT使うほどのことない
Xorshiftで十分
LCGsはウンコすぎてダメ
0521デフォルトの名無しさん (アウアウエー Sa13-Mh38)
垢版 |
2018/12/22(土) 14:20:11.61ID:6IjrjQDGa
ロト7はこんな機械で決めてるらしい
https://youtu.be/imk1s7fTkJo
0523デフォルトの名無しさん (ワッチョイ 0d24-q1e7)
垢版 |
2018/12/22(土) 15:40:11.13ID:6l606PfA0
123
431
137

だと「1」はジグザグに出やすく、
「3」はなだらかなカーブを描いて出現する、みたいな攻略(笑)方法があって
これを勉強する時間でバイトでもした方が良いな、と子供心に思ったものです
0526デフォルトの名無しさん (オッペケ Sr61-Mh38)
垢版 |
2018/12/22(土) 16:08:18.85ID:2yl5Ts6Jr
わざわざ名前出す程複雑な事象じゃないやろ
0529デフォルトの名無しさん (アウアウイー Sae1-WTf5)
垢版 |
2018/12/22(土) 16:27:19.80ID:UGqq2IDwa
マルクス経済学の学者の世界では
Aという現象が出て戦争が起きた
よってAが出ると戦争がが起こる
だから、Aを出すことを阻害しよう
という単純な考えが通用するみたい

それで博士等取れる確率が高いようなので
チャレンジしてみたらどうでしょう。

確率が念頭にないのに、博士号の確率は念頭にある
面白い世界です。
0532デフォルトの名無しさん (アウアウイー Sae1-WTf5)
垢版 |
2018/12/22(土) 17:36:26.63ID:UGqq2IDwa
>>530
確率考えてないから因果にもならない
想定するのは、単にそういうことがあったというだけ
0535デフォルトの名無しさん (ワッチョイ 45d2-6UAB)
垢版 |
2018/12/23(日) 03:10:51.94ID:u8o0/RKX0
しかし、おまえらアフォだな
因果関係だと?
笑えるw
0536デフォルトの名無しさん (アウアウイー Sae1-WTf5)
垢版 |
2018/12/23(日) 09:38:54.52ID:yKwr45+Fa
因果応報
0538 ◆QZaw55cn4c (ワッチョイ 6360-RC8Q)
垢版 |
2018/12/23(日) 11:39:39.64ID:6PHCJ2OS0
>>530
>相関関係と因果関係をしっかりとわけないといけないのだ

そして次のことも理解しておくことですね
「因果関係の認定は主観的判断であり独断や偏見と何一つ変わらないこと」
0542 ◆QZaw55cn4c (ワッチョイ 6360-RC8Q)
垢版 |
2018/12/23(日) 17:20:18.77ID:6PHCJ2OS0
>>541
相関関係を持つものについても、片方を動かせばもう片方も予想通りに動くのでは?
>>541 の方法では相関関係と因果関係を見分けられないのでは?
0543デフォルトの名無しさん (アウアウウー Sac9-zSrn)
垢版 |
2018/12/23(日) 17:53:54.43ID:q486kEO1a
コンビニ店舗数と人口密度に正の相関があったとする
何もない山奥に強制的に大量の人間を住ませればその人口密度に応じてコンビニが入ってくるだろう
しかし逆に誰もいない状態で山奥にコンビニ建てまくったとしてもコンビニ数に応じた人間が引っ越してくると考えるのは不自然だろう
つまり上記が正しい場合、人口密度→コンビニの因果関係はあるが、コンビニ→人口密度の因果関係はない
Aを変えればそれに応じてBが変わる時に因果関係があると言い、必ずしも逆が成り立つとは限らない
0544デフォルトの名無しさん (トンモー MM59-Kky7)
垢版 |
2018/12/23(日) 18:00:58.58ID:MBENqEE6M
実験できないようなことは
どうするんだ?
0547 ◆QZaw55cn4c (ワッチョイ 6360-RC8Q)
垢版 |
2018/12/23(日) 19:29:51.55ID:6PHCJ2OS0
>>543
>何もない山奥に強制的に大量の人間を住ませればその人口密度に応じてコンビニが入ってくるだろう
>しかし逆に誰もいない状態で山奥にコンビニ建てまくったとしてもコンビニ数に応じた人間が引っ越してくると考えるのは不自然だろう

それは「人口密度が最初に設定される」→「設定された人口密度に従ってコンビニ密度が決定される」
という因果律を先に読み手に想定させた上で話をしている、という意味で、先入観に囚われた推論でしかないのでは?
二つの数量的関係に相関があるかないかは統計処理を行えば客観的に判断できるのですが、因果関係は、我々の主観的判断=独断と偏見、が含まれているのです
独断と偏見、といういいかたはちょっと極端に偏っているかもしれませんね、因果関係、というものの見方そのものが、人間が進化していく上で獲得した思考の「癖」なのでは?
0548デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/23(日) 20:45:50.47ID:F+c0HMsCa
>>542
目的の値をコントロールしたい
それを達成できるなら
本当の原因じゃなくても許容範囲じゃね
0549 ◆QZaw55cn4c (ワッチョイ 6360-RC8Q)
垢版 |
2018/12/23(日) 20:48:42.70ID:6PHCJ2OS0
>>548
なるほど
では因果律なるものは虚構であるのに、人はどうして因果律を設定して、例えば人を説得しようとする、とかするのでしょうか?
0550デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/23(日) 20:52:26.47ID:F+c0HMsCa
>>547
車のアクセル開度の値と速度の関係は?
時間的にアクセル→速度になっている
アクセル開度が原因で速度が結果じゃね

人間が車を押したら速度は上がるけどアクセル開度は変わらない
速度→アクセル開度の因果関係はない
0551デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/23(日) 20:53:33.88ID:F+c0HMsCa
>>549
虚構ってどんな定義?
因果律が虚構っていうのは本当?
0552デフォルトの名無しさん (アウアウエー Sa13-Mh38)
垢版 |
2018/12/23(日) 21:23:34.18ID:4U3a3JXta
因果律は今の全ての科学の根底にある仮定なのにな
0554 ◆QZaw55cn4c (ワッチョイ 6360-RC8Q)
垢版 |
2018/12/23(日) 22:28:48.65ID:6PHCJ2OS0
>>551
因果律は「人が因果があると決めたもの」という意味で虚構あるいは集団幻想みたいなものかと

>>550
「アクセルを踏むと車の速度が増大する」という因果律を人が決めたのではないですか?
客観的な言い方を追求するのならば「アクセルの踏み込み度合いと車の速度とは r = 1 の相関関係があります」にとどまるべきで、それ以上のいいかたは、主観が混じっているのです、純粋性を追求すれば、そういう結論になるかと
0556デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/23(日) 22:43:37.49ID:F+c0HMsCa
>>554
根底にあるのは自然科学の法則じゃね?
法則が複雑に影響しているけど
0557デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/23(日) 22:46:29.80ID:F+c0HMsCa
>>554
表現の方法は別でも可能だけど
法則自体は存在する
つまり因果関係と言っている
原因と結果の関係は存在する

あなたが言っているのは表現の方法が人間の決めた方法だ
と言っているだけ
表現の方法を変えても良いけど
他の人と知識を共有したり議論するのに不便
0558デフォルトの名無しさん (ワッチョイ 95b3-6UAB)
垢版 |
2018/12/23(日) 22:58:32.74ID:AV3blzZs0
まともにディープラーニングするならこの程度のマシンが必要って認識でいいか?
http://masagutti.hatenablog.com/entry/more_gpu
0559 ◆QZaw55cn4c (ワッチョイ 6360-RC8Q)
垢版 |
2018/12/23(日) 23:12:54.72ID:6PHCJ2OS0
>>556
>>557
「自然法則」とはいいますが、実は確率的な表現しかできないことが現代では判明しているのでは?
ニュートン力学等は一見確定的、未来予言可能的だけれども、それはニュートン力学は近似でしかないためなのでは?

>>557
>法則自体は存在する
観測者によって変化するものを「存在する」といっていいのですか?
0560デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/23(日) 23:32:04.52ID:F+c0HMsCa
>>559
で結局言いたいことは何?
因果関係が人間の解釈だとして
その結果何か有益なことがあるの?

観測者によって確率的に結果が変わる→存在しない
とは言えない
存在の有無とは無関係じゃね?ら
0561数おたサラリー (ワッチョイ 9b8a-CDCs)
垢版 |
2018/12/24(月) 02:08:21.64ID:Vm514pna0
>>559
>「自然法則」とはいいますが、実は確率的な表現しかできないことが現代では判明しているのでは?


初耳ですね。
何の記事ですかそれ?
0562数おたサラリー (ワッチョイ 9b8a-CDCs)
垢版 |
2018/12/24(月) 02:19:05.05ID:Vm514pna0
会社でよく構造解析/磁界解析を行ってますが実物との精度はかなりよいです。
大学時代は多体原子シミュレーションの第一原理バンド計算やってましたが精度が悪いなんて思ったことないですね。

マクスウェル方程式やシュレディンガー方程式が自然界の法則から外れてるとは思えません。
自然界の法則ってこの流れでは何のことを指してますか?
0565デフォルトの名無しさん (アウアウカー Sa51-zSrn)
垢版 |
2018/12/24(月) 10:34:24.33ID:mPPy9WoJa
量子力学使って確率的に扱わないといけないのは10^-34のオーダーのプランク定数が無視できない量を扱う時であって、
メートル単位やキログラム単位程度のスケールのもの扱って有意水準1%とか5%とかに設定しておきながら量子力学を気にしても誤差と区別できないので全く無意味
0568デフォルトの名無しさん (アウアウエー Sa13-Mh38)
垢版 |
2018/12/24(月) 11:35:38.32ID:drIlhocoa
因果関係の話だったのに量子力学の話になってる
0569デフォルトの名無しさん (ワッチョイ 6523-mzLW)
垢版 |
2018/12/24(月) 11:55:15.57ID:b32t5G/d0
それはクソコテのせい
0572デフォルトの名無しさん (ワッチョイ cb80-5YD5)
垢版 |
2018/12/24(月) 15:48:01.24ID:ivcUrO890
梅毒患者数推移
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-FM.png

梅毒患者数♂ 40代♂急増(全年齢も著しい増加)
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-ageM.png

梅毒患者数♀ 20〜29代♀急増(その他ババァは微増)
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-ageF.png
0574デフォルトの名無しさん (ワッチョイ cb80-5YD5)
垢版 |
2018/12/24(月) 15:50:31.42ID:ivcUrO890
訪日外客数出典:JNTO
梅毒患者数出典:NIID

    訪日外客数 梅毒患者数
2006  7334077     112
2007  8346969     162
2008  8350835     205
2009  6789658     196
2010  8611175     173
2011  6218752     248
2012  8358105     297
2013  10363904     419
2014  13413467     507
2015  19737409    1044

https://i.imgur.com/S5JIrCq.png

r=0.958533469


で、因果関係()があんのかどうか見分けてみろよ
0577デフォルトの名無しさん (アウアウウー Sac9-xlGW)
垢版 |
2018/12/24(月) 16:46:47.84ID:KapOcmgsa
因果関係ってのは時間軸での変化なんだから、梅毒患者を増減させる施策を一切せずに強制的に訪日外客数増やして梅毒患者が増えるかの実験と、
訪日外客数を増減させる施策を一切せずに梅毒患者を強制的に増やしてから訪日外客数が増えるかの実験という時間軸情報を含む両実験をしなければ統計的には誰も何も言えない
ただし偏相関係数の絶対値を大きく低下させるような第三の因子を見つけられない限り、経験的には「訪日外客数増加→梅毒患者増加」の因果関係が自明なので
誰もそんな調査・実験には金を出さないだろうから経験的に得た因果関係が成立すると考えるしかない
0578デフォルトの名無しさん (ワッチョイ c5b3-g9Id)
垢版 |
2018/12/24(月) 17:13:40.72ID:TcWkN6pH0
レベル低い質問で申し訳ないんだがPythonで画像認識をしたいんだがネット上での画像収集ってどうやったらいいんだ?例えば、猿の画像が大量に欲しい時に猿ってうったら猿の画像データを大量に保存できるようなものってどうやったら作れるんだ?
0584デフォルトの名無しさん (アウアウカー Sa51-zSrn)
垢版 |
2018/12/24(月) 18:09:03.60ID:mPPy9WoJa
>>583
それはあくまで"ピアソンの"相関係数の話
ピアソンの相関係数は線形な関係を見出すために存在しておりそれは定義を見れば明らか
非線形なものを扱いたければ良さげな物を探すか新たに作るしかない
0585 ◆QZaw55cn4c (ワッチョイ 6360-RC8Q)
垢版 |
2018/12/24(月) 18:21:28.85ID:WGmsKYkC0
>>577
>「訪日外客数増加→梅毒患者増加」の因果関係が自明
因果関係ではないですよ、あくまで相関関係だけですね、因果関係をいうのであれば、訪日客の増加が梅毒患者増加に直結する理由が必要です
0586 ◆QZaw55cn4c (ワッチョイ 6360-RC8Q)
垢版 |
2018/12/24(月) 18:23:37.65ID:WGmsKYkC0
>>562
>マクスウェル方程式やシュレディンガー方程式が自然界の法則から外れてるとは思えません。
うらやましいですね、マックスウェル方程式の方は理解できますが、シュレーディンガーはさっぱり理解できないです…

>自然界の法則ってこの流れでは何のことを指してますか?
私はニュートン力学を念頭においていましたが他の方はどうでしょうか?
0587デフォルトの名無しさん (ワッチョイ 6523-mzLW)
垢版 |
2018/12/24(月) 21:08:54.96ID:b32t5G/d0
そんなあなたに自己相関係数
0588デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/24(月) 21:44:39.21ID:mY3c/tl8a
>>585
訪日した人が梅毒に罹っていて
その人から感染した
という仮説は考えられる
0590デフォルトの名無しさん (アウアウウー Sac9-xlGW)
垢版 |
2018/12/24(月) 21:57:29.62ID:ele7puQna
>>585
訪日客の増加が梅毒患者増加に直結する理由が欲しければ「訪日外客数増加→梅毒患者増加」の因果関係があると仮定してそのためのデータが得られる調査をすればいいだけだろ
>>574だけではこれ以上のことは言えないんだから因果関係が示したければ新たな調査をするしかない
0591デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/24(月) 22:06:44.25ID:mY3c/tl8a
>>589
それはこれから原因となる事象を操作して
効果を確認する事ができる場合には有効だろうけど
過去のデータとか
原因となる事象を操作するのが難しい場合には使えないんじゃね?

訪日客を選別するの?
0593デフォルトの名無しさん (アウアウエー Sa13-bLl2)
垢版 |
2018/12/24(月) 22:45:02.96ID:mY3c/tl8a
>>592
選別は政策上実現が難しいんじゃね
観光客を増やそうとしている

観光客は移動するけどな
0594デフォルトの名無しさん (スフッ Sd43-7yME)
垢版 |
2018/12/25(火) 12:22:32.72ID:R5cKkWDNd
G検定の公式テキストのアマゾンレビューひどいな。
これは詐欺に近いのでは?
このテキストだけでは合格できないよ。
0595デフォルトの名無しさん (ワッチョイ 4523-1q7i)
垢版 |
2018/12/25(火) 12:57:35.57ID:yeWprDEr0
>>583
データの前処理としてarcsinをかますと良い結果になるよ
0597デフォルトの名無しさん (アウアウカー Sa51-zSrn)
垢版 |
2018/12/25(火) 14:32:26.30ID:g7xyWtlIa
データを確認する前から適切なフィット関数など分かるわけがない
直線フィットすべきなのか曲線なのか、曲線だとして高次多項式で表すとすれば何次が適当なのか、
そんなことは実際にプロットなどして可視化したり次数を変えてフィッティングした結果の汎化性能を比較したりしない限り分からない
0599デフォルトの名無しさん (ワッチョイ 6523-mzLW)
垢版 |
2018/12/25(火) 17:48:28.07ID:np3XugG30
JDLA初の“公式”テキストで、ぜひG検定合格を目指してください!(目指すのは個人の自由)

試験を知り尽くした著者陣がディープラーニングの基本から解説。練習問題付きなので、試験勉強に最適です。(実際の試験に出題されるとは言っていない)

この1冊で試験対策ができる!(合格できるとは言っていない)
0601デフォルトの名無しさん (アウアウイー Sae1-WTf5)
垢版 |
2018/12/25(火) 19:31:29.39ID:9cJ+8zKla
>>599
AIはG検定という試験があるんだ。
F検定の上を行っちゃうな。
0602数おたサラリー (ワッチョイ 9b8a-CDCs)
垢版 |
2018/12/25(火) 20:18:53.57ID:F04LiveA0
まあ言いたいのは未知のデータから相関を語れないという話ね>>584>>595

サンプリングが等間隔でなかったりするとy=t*sin(t)ですらフィットは難しい

場合によっては無相関と断言するやつすらいる
0607デフォルトの名無しさん (ワッチョイ 6523-mzLW)
垢版 |
2018/12/26(水) 00:45:12.92ID:OkeUn6N40
>>601
E検定「......」
0608デフォルトの名無しさん (JP 0H59-JAXu)
垢版 |
2018/12/26(水) 11:56:19.18ID:OoT7NWgvH
こういうどうでもいい検定が出てくると
この業界も終わりかなーって思う

理事長 松尾 豊  東京大学大学院工学系研究科 特任准教授
理事 井ア 武士  エヌビディア合同会社 エンタープライズ事業部長
江間 有沙  東京大学 政策ビジョン研究センター 特任講師
岡田 陽介  株式会社ABEJA 代表取締役CEO
岡谷 貴之  東北大学大学院 情報科学研究科 教授
尾形 哲也  早稲田大学基幹理工学部表現工学科 教授
川上 登福  株式会社IGPIビジネスアナリティクス&インテリジェンス 代表取締役CEO
草野 骼j  株式会社ブレインパッド 代表取締役会長
佐藤 聡   connectome.design株式会社 代表取締役社長
南野 充則  株式会社FiNC Technologies 代表取締役CTO
渡邉陽太郎  株式会社PKSHA Technology

ろくなメンバーいないじゃんw
0609デフォルトの名無しさん (ワッチョイ 3598-5YD5)
垢版 |
2018/12/26(水) 12:41:06.57ID:SKc2oSlY0
因果関係を見つけるために、何かのデータと何かのデータを
用意しなきゃならないが、時間は無限にあるわけじゃないし
データも集められるわけじゃない(例えばすでに破棄した過去のデータは分からない)ので

結局今は人間が関係ありそうなデータ、もしくは集めることが可能なデータを
持ってきて因果関係があるか?を検証する作業になってしまってる
「因果関係を見つける」のではなくて「因果関係があるか?」の検証になってしまっている。

そして因果関係がありそうと人間が判断するものはやっぱり因果関係があるわけで
人間が計算式作ってやってもそこそこ精度は出る。
未知の因果関係を見つけるのには相当時間がかかる。

つまり何が言いたいかというと、機械学習でメリットが有るかどうかは運次第だし
データに因果関係があるとわかっていても、それを集めるのには時間(コスト)がかかるので
機械学習やってビジネス的に儲けがでるかはトレードオフの問題に落ち着く
当たり前だけど銀の弾丸じゃないんだよね。

数年後には、宇宙の中から新しい星を探すように「因果関係があるもの」を探す人たちと
判明した因果関係に関係があるデータを集める人・販売する人たちに分かれるだろう
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況