【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/19(水) 15:38:11.72

モデルと実データをライブラリに食わせるCコード書くだけでいいのちゃう

2018/12/19(水) 17:24:57.84

pythonのコード隠蔽したいのかな。
pythonを暗号化してテキストでもっておき、C++のプログラム内でメモリ上に復号、python本体に送ってキックするってことはできるよ。
メモリを覗かれてしまったらアウトだけどね。
pythonを完全に隠蔽したいならクラウドじゃないとできないな。

2018/12/19(水) 17:40:50.77

>>481
製品って具体的にどんなものかによる
組込的なものだとそうかもしれないけど
サービス的なものだと関係ない

2018/12/19(水) 17:51:42.99

基礎はやりたいフィールドのテッペンを概観でるレベルで十分
そこで大きな壁が何枚もある事を把握してから必要な基礎を潰していく
いつまでも基礎基礎いっててなかなか前に進まないのが日本教育のだめなとこだな
みんな染み付きすぎて疑問にもおもってない

2018/12/19(水) 17:56:47.59

テッペン見てから必要なだけ降りたらええちゅうことね

2018/12/19(水) 19:38:11.41

>>485
やりたいフィールドに限定すると、他分野の視点から見えるものも見えなくなる

2018/12/20(木) 00:43:50.31

基礎をおっかけるレベルでそれはねえ

2018/12/20(木) 09:56:46.33

AIを使いたいんじゃない。
茄子の仕分けがしたいのだ。みたいな

2018/12/20(木) 16:02:48.40

夢無い記事
https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00138/121400206/?P=1

日本で5人の実力を持ってても、名刺OCRしか活躍の場が無い。
（分析出来るデータが国内企業に無いし）

2018/12/20(木) 17:28:29.50

おもろい

**デフォルトの名無しさん** (JP 0H59-2M8b) · 2018/12/20(木) 17:57:27.11

http://monoist.atmarkit.co.jp/mn/articles/1812/18/news047.html
なんじゃこりゃw

2018/12/20(木) 18:09:43.22

https://paiza.hatenablog.com/entry/2018/12/20/【1位はGo言語】機械学習人気でPython・R言語も上位に！

2018/12/20(木) 19:10:08.34

>>483 そこまでする人は最初からCで書くだろう。

2018/12/20(木) 20:26:07.75

>>490
名刺の会社にGrandmasterが2人もいるの不思議だよな
GAFAとかヤフーとかメルカリに行けばいいのにと思うけど、開発環境が魅力的なのかな

2018/12/20(木) 20:37:23.22

＞日本人の名刺なら「98％の精度で種別を判定できる」
う～～～～ん

2018/12/20(木) 21:55:38.26

メルカリ・・・

2018/12/20(木) 22:03:38.17

>>492
> 2020～2021年ごろをめどに実用化を目指す。

はいはい

2018/12/20(木) 22:19:39.52

>>490
この人なんで名刺に拘るんかな
他業種でも引く手あまたやないの

2018/12/20(木) 22:41:01.49

>>499
給料良かったか、社風が合ってたんじゃないかな
勤務時間に勉強出来るとかじゃないとすぐに陳腐化してしまう

2018/12/20(木) 23:08:54.62

転職はＩＴ系の中でさえあんまり遠くに行けないんだよ

2018/12/20(木) 23:15:30.51

kagglerはGrandmasterになると目標がなくなって弱くなる説ある

**デフォルトの名無しさん** (ｽﾌｯ Sd43-7yME) · 2018/12/21(金) 15:13:58.46

ディープラーニングで、ロト6等の数字選択式宝くじの予想をやる場合
過去の全ての当選数字のデータを
多分、教師なし学習をさせて
AIが自動で特徴を見つけて、次回の当選数字を予測させることをやりたいのですが

どんなアルゴリズムが最適なのでしょうか？
画像認識の場合はCNNですが、次回の当選数字の予測は？
よろしくお願いします。

2018/12/21(金) 15:29:25.68

誰がお前の金儲けの為に唯で教えてやるの？

2018/12/21(金) 16:11:56.79

こんなところで聞かなくてもググればLSTM使って予測してるの出てくるだろ

2018/12/21(金) 16:37:41.59

毎年の当たりくじ番号なんて互いに相関が無く、独立な事象過ぎてやるだけ無駄と思われる。それでもやる？

2018/12/21(金) 18:03:46.75

マジレスするとrand()が最強
DNNと同等の精度が出る

2018/12/21(金) 19:24:26.23

>>507
それな。
だが、本当に乱数なのかな？
乱数の検定が圧倒的に否定されたので、
誰かが当たり番号を操作してると思う。

2018/12/21(金) 19:35:05.93

ロトの乱数生成の手法調べたらいいのか
意外と運用適当だったりしそう

2018/12/21(金) 19:37:05.65

コインを投げろ

2018/12/21(金) 19:39:49.12

サイコロを振れ

2018/12/21(金) 19:46:49.63

的を射よ

2018/12/21(金) 20:17:21.65

乱数生成が多少適当だったとしてもあからさまに偏ってるわけじゃないんだから儲け出すにはかなりの大金注ぎ込む必要があるだろうな

2018/12/21(金) 21:54:08.02

めるせんぬついすた

2018/12/21(金) 23:43:05.46

乱数はパチ台チェックしたりで意外と扱い馴れてる可能性も

2018/12/22(土) 00:17:02.80

MT使うほどのことない
Xorshiftで十分
LCGsはｳﾝｺすぎてﾀﾞﾒ

2018/12/22(土) 00:20:27.91

XBoxというゲーム機で出たカルドセプトというゲームがあってのう
疑似乱数の質が低すぎて専門学校生が作ってるんじゃないかと疑われたんじゃ

2018/12/22(土) 13:37:04.48

>>503
番号決めるのがサイコロ振ったりしてアナログな方法だったら
効果がないのでは？
コンピュータでやってるならチャンスあるかも

2018/12/22(土) 14:07:01.79

的がぐるぐるまわっていてそこに矢を射る機械を複数並べて決める

2018/12/22(土) 14:19:23.79

つまり各桁無相関ですね。

2018/12/22(土) 14:20:11.61

ロト７はこんな機械で決めてるらしい
https://youtu.be/imk1s7fTkJo

2018/12/22(土) 15:32:27.47

昔ロト3でなんとなならないか試行錯誤したなw
なんともならなかったけど。

2018/12/22(土) 15:40:11.13

123
431
137

だと「1」はジグザグに出やすく、
「3」はなだらかなカーブを描いて出現する、みたいな攻略（笑）方法があって
これを勉強する時間でバイトでもした方が良いな、と子供心に思ったものです

2018/12/22(土) 15:47:20.29

抽選機は電動攪拌式遠心力型抽せん機（愛称：夢ロトくん）

2018/12/22(土) 16:04:24.04

ここまでベルヌーイ施行というキーワードすらでない

2018/12/22(土) 16:08:18.85

わざわざ名前出す程複雑な事象じゃないやろ

2018/12/22(土) 16:20:58.77

>>525
この流れギャグだと思ってたんだけどまさか真面目に考えてたの

2018/12/22(土) 16:24:41.65

釣れますか？

2018/12/22(土) 16:27:19.80

マルクス経済学の学者の世界では
Aという現象が出て戦争が起きた
よってAが出ると戦争がが起こる
だから、Aを出すことを阻害しよう
という単純な考えが通用するみたい

それで博士等取れる確率が高いようなので
チャレンジしてみたらどうでしょう。

確率が念頭にないのに、博士号の確率は念頭にある
面白い世界です。

2018/12/22(土) 16:34:17.76

相関関係と因果関係をしっかりとわけないといけないのだ

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/22(土) 16:42:59.61

>>507
MTじゃダメなんですか？

2018/12/22(土) 17:36:26.63

>>530
確率考えてないから因果にもならない
想定するのは、単にそういうことがあったというだけ

2018/12/22(土) 22:23:41.20

帰納法のプログラムの世界では起こりえないだけど、
因果関係と相関関係の混同は世に溢れている

2018/12/23(日) 00:02:52.98

アホな経験則がまかり通っているだけ

2018/12/23(日) 03:10:51.94

しかし、おまえらアフォだな
因果関係だと？
笑えるｗ

2018/12/23(日) 09:38:54.52

因果応報

2018/12/23(日) 09:40:34.21

親の因果が子に報い

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 11:39:39.64

>>530
＞相関関係と因果関係をしっかりとわけないといけないのだ

そして次のことも理解しておくことですね
「因果関係の認定は主観的判断であり独断や偏見と何一つ変わらないこと」

2018/12/23(日) 13:41:04.67

親の資産を相続したＱＺが一言

2018/12/23(日) 14:37:30.80

>>538
>>534でよくね

2018/12/23(日) 17:14:58.35

因果関係を証明したければ実験すればいいだけのこと
原因だと推測したものを動かして予想通りに結果が変わればok

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 17:20:18.77

>>541
相関関係を持つものについても、片方を動かせばもう片方も予想通りに動くのでは？
>>541 の方法では相関関係と因果関係を見分けられないのでは？

2018/12/23(日) 17:53:54.43

コンビニ店舗数と人口密度に正の相関があったとする
何もない山奥に強制的に大量の人間を住ませればその人口密度に応じてコンビニが入ってくるだろう
しかし逆に誰もいない状態で山奥にコンビニ建てまくったとしてもコンビニ数に応じた人間が引っ越してくると考えるのは不自然だろう
つまり上記が正しい場合、人口密度→コンビニの因果関係はあるが、コンビニ→人口密度の因果関係はない
Aを変えればそれに応じてBが変わる時に因果関係があると言い、必ずしも逆が成り立つとは限らない

2018/12/23(日) 18:00:58.58

実験できないようなことは
どうするんだ？

2018/12/23(日) 18:19:32.54

プログラマの主張する実験（笑）

2018/12/23(日) 18:41:00.17

>>544
因果関係知りたいのは原因を操作することで結果変えたいからで、そもそも原因を操作できないものの因果関係を知っても使い道なく自己満足で終わり

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 19:29:51.55

>>543
＞何もない山奥に強制的に大量の人間を住ませればその人口密度に応じてコンビニが入ってくるだろう
＞しかし逆に誰もいない状態で山奥にコンビニ建てまくったとしてもコンビニ数に応じた人間が引っ越してくると考えるのは不自然だろう

それは「人口密度が最初に設定される」→「設定された人口密度に従ってコンビニ密度が決定される」
という因果律を先に読み手に想定させた上で話をしている、という意味で、先入観に囚われた推論でしかないのでは？
二つの数量的関係に相関があるかないかは統計処理を行えば客観的に判断できるのですが、因果関係は、我々の主観的判断＝独断と偏見、が含まれているのです
独断と偏見、といういいかたはちょっと極端に偏っているかもしれませんね、因果関係、というものの見方そのものが、人間が進化していく上で獲得した思考の「癖」なのでは？

2018/12/23(日) 20:45:50.47

>>542
目的の値をコントロールしたい
それを達成できるなら
本当の原因じゃなくても許容範囲じゃね

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 20:48:42.70

>>548
なるほど
では因果律なるものは虚構であるのに、人はどうして因果律を設定して、例えば人を説得しようとする、とかするのでしょうか？

2018/12/23(日) 20:52:26.47

>>547
車のアクセル開度の値と速度の関係は？
時間的にアクセル→速度になっている
アクセル開度が原因で速度が結果じゃね

人間が車を押したら速度は上がるけどアクセル開度は変わらない
速度→アクセル開度の因果関係はない

2018/12/23(日) 20:53:33.88

>>549
虚構ってどんな定義？
因果律が虚構っていうのは本当？

2018/12/23(日) 21:23:34.18

因果律は今の全ての科学の根底にある仮定なのにな

2018/12/23(日) 22:26:30.66

なんのスレだよ

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 22:28:48.65

>>551
因果律は「人が因果があると決めたもの」という意味で虚構あるいは集団幻想みたいなものかと

>>550
「アクセルを踏むと車の速度が増大する」という因果律を人が決めたのではないですか？
客観的な言い方を追求するのならば「アクセルの踏み込み度合いと車の速度とは r = 1 の相関関係があります」にとどまるべきで、それ以上のいいかたは、主観が混じっているのです、純粋性を追求すれば、そういう結論になるかと

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 22:29:09.54

>>552
そう、それはあくまでも仮定なんですよ

2018/12/23(日) 22:43:37.49

>>554
根底にあるのは自然科学の法則じゃね？
法則が複雑に影響しているけど

2018/12/23(日) 22:46:29.80

>>554
表現の方法は別でも可能だけど
法則自体は存在する
つまり因果関係と言っている
原因と結果の関係は存在する

あなたが言っているのは表現の方法が人間の決めた方法だ
と言っているだけ
表現の方法を変えても良いけど
他の人と知識を共有したり議論するのに不便

2018/12/23(日) 22:58:32.74

まともにディープラーニングするならこの程度のマシンが必要って認識でいいか？
http://masagutti.hatenablog.com/entry/more_gpu

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 23:12:54.72

>>556
>>557
「自然法則」とはいいますが、実は確率的な表現しかできないことが現代では判明しているのでは？
ニュートン力学等は一見確定的、未来予言可能的だけれども、それはニュートン力学は近似でしかないためなのでは？

>>557
＞法則自体は存在する
観測者によって変化するものを「存在する」といっていいのですか？

2018/12/23(日) 23:32:04.52

>>559
で結局言いたいことは何？
因果関係が人間の解釈だとして
その結果何か有益なことがあるの？

観測者によって確率的に結果が変わる→存在しない
とは言えない
存在の有無とは無関係じゃね？ら

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 02:08:21.64

>>559
＞「自然法則」とはいいますが、実は確率的な表現しかできないことが現代では判明しているのでは？

初耳ですね。
何の記事ですかそれ？

**数おたサラリー** (ﾜｯﾁｮｲ 9b8a-CDCs) · 2018/12/24(月) 02:19:05.05

会社でよく構造解析/磁界解析を行ってますが実物との精度はかなりよいです。
大学時代は多体原子シミュレーションの第一原理バンド計算やってましたが精度が悪いなんて思ったことないですね。

マクスウェル方程式やシュレディンガー方程式が自然界の法則から外れてるとは思えません。
自然界の法則ってこの流れでは何のことを指してますか？

2018/12/24(月) 05:00:33.06

>>559
それはニュートン力学が適用できるのはマクロな領域だけである(ミクロな領域では量子力学が必要になる)、という問題であって自然法則全般の問題ではないと思われ

2018/12/24(月) 06:03:38.20

お前らF検定とか使わんのだろうね
わかりきってる専門用語？
そうだよね！

2018/12/24(月) 10:34:24.33

量子力学使って確率的に扱わないといけないのは10^-34のオーダーのプランク定数が無視できない量を扱う時であって、
メートル単位やキログラム単位程度のスケールのもの扱って有意水準1%とか5%とかに設定しておきながら量子力学を気にしても誤差と区別できないので全く無意味

2018/12/24(月) 10:52:40.92

頭が良すぎるバカの典型
計算過程を楽にするために近似するなんてことはザラにある
近似が嫌いならロジスティック使わず全部ガウスでやれ

2018/12/24(月) 10:58:44.68

そういうの頭が良すぎるって言わないしｗ
単に知識が扱いきれていないだけだな。

2018/12/24(月) 11:35:38.32

因果関係の話だったのに量子力学の話になってる

2018/12/24(月) 11:55:15.57

それはクソコテのせい

2018/12/24(月) 12:12:43.91

元々の>>542での相関関係と因果関係の話に戻せば、>>543の通りに強い相関関係があるからといって
必ずしも一方を変えれば他方が変わるとは限らないことは事実というか自明なので議論の余地はない

2018/12/24(月) 14:03:28.28

ＱＺ　糞コテ

2018/12/24(月) 15:48:01.24

梅毒患者数推移
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-FM.png

梅毒患者数♂ 40代♂急増（全年齢も著しい増加）
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-ageM.png

梅毒患者数♀ 20～29代♀急増（その他ﾊﾞﾊﾞｧは微増）
http://idsc.tokyo-eiken.go.jp/assets/diseases/syphilis/2006/2006-2016syphilis-ageF.png

2018/12/24(月) 15:49:11.97

https://www0.nih.go.jp/niid/idsc/idwr/IDWR2017/idwr2017-49.pdf

梅毒報告数
https://i.imgur.com/366sXAR.png

梅毒報告数（人口10万人あたり）
https://i.imgur.com/8BXlN7s.png

島根でｾｯｸｽするのが一番安全

2018/12/24(月) 15:50:31.42

訪日外客数出典：JNTO
梅毒患者数出典：NIID

　　　　訪日外客数　梅毒患者数
2006　　7334077　　　　　112
2007　　8346969　　　　　162
2008　　8350835　　　　　205
2009　　6789658　　　　　196
2010　　8611175　　　　　173
2011　　6218752　　　　　248
2012　　8358105　　　　　297
2013 　10363904　　　　　419
2014 　13413467　　　　　507
2015 　19737409　　　　1044

https://i.imgur.com/S5JIrCq.png

r=0.958533469

で、因果関係（）があんのかどうか見分けてみろよ

2018/12/24(月) 16:18:26.06

>>574
これは良い例題！

2018/12/24(月) 16:20:04.59

2変数しか出さないんじゃ相関以上のことは言えないね

2018/12/24(月) 16:46:47.84

因果関係ってのは時間軸での変化なんだから、梅毒患者を増減させる施策を一切せずに強制的に訪日外客数増やして梅毒患者が増えるかの実験と、
訪日外客数を増減させる施策を一切せずに梅毒患者を強制的に増やしてから訪日外客数が増えるかの実験という時間軸情報を含む両実験をしなければ統計的には誰も何も言えない
ただし偏相関係数の絶対値を大きく低下させるような第三の因子を見つけられない限り、経験的には「訪日外客数増加→梅毒患者増加」の因果関係が自明なので
誰もそんな調査・実験には金を出さないだろうから経験的に得た因果関係が成立すると考えるしかない

2018/12/24(月) 17:13:40.72

レベル低い質問で申し訳ないんだがPythonで画像認識をしたいんだがネット上での画像収集ってどうやったらいいんだ？例えば、猿の画像が大量に欲しい時に猿ってうったら猿の画像データを大量に保存できるようなものってどうやったら作れるんだ？

2018/12/24(月) 17:18:20.96

>>572
女性より男性のほうが圧倒的に数が多いということは
女性のほうが男性よりもたくさん複数の異性と性交渉を行っているという結果ですね。

2018/12/24(月) 17:22:49.56

>>578
Googleの画像検索APIを叩くのではダメか？

2018/12/24(月) 17:33:55.13

>>578>>580
https://qiita.com/ysdyt/items/02a9e6b4e70f26385abc
bingのAPIが良いっぽい
ちなみにスクレイピングすると即Banされる