【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/17(月) 07:26:10.21

そんな呼び方が出来てたのかｗ
チャートみたいな存在になってんだな

2018/12/17(月) 09:37:24.71

像本とかラクダ本も読まな

2018/12/17(月) 09:52:02.87

赤は➁もあるでよ

2018/12/17(月) 10:33:03.86

行政機関はExcel形式での統計情報の配布をやめてほしいなあ。
XML形式かCSV形式で一般公開してほしい。

**デフォルトの名無しさん** (JP 0H96-3Pua) · 2018/12/17(月) 10:41:14.66

初心者でkaggle始めたばっかなんだけどさ
機械学習始める前のイメージだと生のデータをとにかく突っ込めば後は機械が判断してくれると思ってた
でも生のデータの欠損埋めたり、関係性を調べて新しい特徴量作ったり、なんか泥臭くない？
人力の部分が多いんだなってちょっと萎えてきてる。もっと何かすごい技術なイメージだったのに

2018/12/17(月) 10:50:05.23

>>448
no free lunch定理という、どんなデータでもうまくいく万能のアルゴリズムは無いという定理がある
だからそういうデータに特化した処理や、特性に合ったアルゴリズムの選定といった泥臭い事をしないと精度が出せないのは仕方がない

2018/12/17(月) 10:51:21.54

>>442
統計の赤・青本かと思った
https://tjo.hatenablog.com/entry/2013/10/08/203547

緑は分からん

2018/12/17(月) 10:56:10.19

泥臭いことをやる万能AIを泥臭く一回作るんや

**デフォルトの名無しさん** (JP 0H47-CHQN) · 2018/12/17(月) 11:17:19.60

POMDPってなんて読むの？
ポンディーピー？

**デフォルトの名無しさん** (ｽﾌｯ Sdaa-H6+A) · 2018/12/17(月) 11:55:47.72

ディープラーニングや機械学習の数学って
中学生レベルでは無理？

2018/12/17(月) 11:59:23.77

>>424
長谷川浩司先生の「線形代数」に載っている。

2018/12/17(月) 11:59:26.03

そもそも、最近の中学生は統計学も幾何学もしないんでしょ？

2018/12/17(月) 12:02:57.12

微積やんなよ

2018/12/17(月) 12:18:19.23

>>453
別に大丈夫
微分積分と言っても結局はモデル構築が主なので、
そこまで深く知らなくてもよい
最小二乗法とかも言葉の意味知ってれば大体理解できる。後は関数に放り込むだけだし

2018/12/17(月) 12:19:08.02

>>450
緑＝人文・社会科学の統計学 (基礎統計学)
https://www.amazon.co.jp/dp/4130420666/

2018/12/17(月) 12:26:23.19

>>456
線形の方が微積より必要。マセマでもやれ。

2018/12/17(月) 12:29:27.44

せやな

2018/12/17(月) 12:44:39.16

機械学習に数学はいらない

2018/12/17(月) 12:55:59.01

>>442
この路線なら久保先生の本じゃね？

2018/12/17(月) 14:35:16.79

>>458
なる

2018/12/17(月) 17:43:44.98

要らない派からマセマ派、ルベグまでやれ派と入り乱れてますな

2018/12/17(月) 19:02:53.31

仕事でデータ分析するには
数学は、ほぼ必要ないね。
理論的なこと聞かれたのって2、3回しかないし。
ただ、その2、3回聞かれたときに
ビシッと答えたからずっと高い報酬貰えてるんだと思います。

2018/12/17(月) 19:07:51.30

詐欺師めｗ

2018/12/17(月) 20:48:03.14

>>464
たしかに、利用する対象や場面によって、
その重要性は変化するから
一概にどちらといえないでしょうね。

2018/12/18(火) 12:12:42.85

>>447
excelからCSVやXMLに変換するのなんて簡単にできる事じゃね？
受け取る側は色んな人がいるんだからその中で多くの人が慣れ親しんでいる形式を採用するのは判る

2018/12/18(火) 12:30:35.86

Excelはねえ。見た目優先で作ってセル結合やらされると、行によってカラムがズレたりして自動化出来なくなるのが問題なのよ

2018/12/18(火) 12:33:21.09

Excelを一旦画像にしてAIで処理させた方がいいかもね?

**デフォルトの名無しさん** (JP 0H96-3Pua) · 2018/12/18(火) 13:30:36.51

初歩的な質問で申し訳ないんだけどディープラーニングの活性化関数って何のためにあるの？
階段関数は分かる。0か1の2択にしたいんだなって
でもシグモイドやrelu（の0以降）は連続値じゃないですか。なら入ってくる値をそのまま使っても何も問題ないんじゃないか
わざわざ関数に突っ込む意味あるんだろうかって思うんですよ

2018/12/18(火) 13:58:19.11

非線形関数に代入しないと線形変換しかできない。
行列の積と和を繰り返しても連立一次方程式にしかならんのだよ

2018/12/18(火) 16:51:18.50

>>471
階段関数は微分できなくね？

**デフォルトの名無しさん** (JP 0H96-3Pua) · 2018/12/18(火) 18:11:56.54

>>472-473
お二方の言ってることが全く理解できないので自分にはまだ早いことは理解できた
前のノードの値×重みを足し合わせたものを次のノードに送るくらいの認識しかないので線形だの連立方程式だの微分だの何が関係あるのだろうレベル

2018/12/18(火) 20:35:01.16

>>472
＞行列の積と和を繰り返しても‥

んなこたーない

2018/12/18(火) 22:33:21.28

あまり本を鵜呑みにしないように‥

2018/12/19(水) 00:11:12.23

このへんが簡易な本を嫌うべき理由ですね。
簡便な例でもって納得した気になってしまう。

2018/12/19(水) 05:06:16.83

>>457 たとえば理論では絶対値たが、計算量を少なくするために二乗に換算すればいいとか、

私が知る範囲の機械学習では見ないけど、たとえば微分方程式を使うなら可能な限り級数展開で近似してから解く、とかじゃない？

機械学習の理論は東大、京大生に任せておくとし、私のようなヴァカは理論に突っ込んで課題をクリアするために、数学よりc++だな。pythonのほうがライブラリあって良さそうだが、産業用途では使えんからなあ。

2018/12/19(水) 05:13:01.29

高専のとき選択でニューラルネットワークがあってなんに使うんやと寝てたけど、いま普通にデータ突っ込んでるな。

いまいち検出器の選定がわかんないんだよな。入力データのバラツキとかの性質と、検出器の数学的性質を結びつけれる脳みそがあれば、どういう前処理をすべきかわかるし、捗るんだろな

2018/12/19(水) 09:33:59.69

pythonだと産業用途で使えないという理由が分からないけど学習結果の利用という意味なら例えばtensorflowは言語依存のない形式で学習済みモデルを保存できる
というか機械学習フレームワークで検索上位に出るようなものならほとんどは言語依存ないフォーマットで出せるはず

2018/12/19(水) 15:02:50.58

〉〉480

たぶん研究段階ではpythonでいいけど、製品レベルに実装する場合は、
pythonではなくc等が主流だから、「製品開発者等では」ってことを
言っているんじゃない？

2018/12/19(水) 15:38:11.72

モデルと実データをライブラリに食わせるCコード書くだけでいいのちゃう

2018/12/19(水) 17:24:57.84

pythonのコード隠蔽したいのかな。
pythonを暗号化してテキストでもっておき、C++のプログラム内でメモリ上に復号、python本体に送ってキックするってことはできるよ。
メモリを覗かれてしまったらアウトだけどね。
pythonを完全に隠蔽したいならクラウドじゃないとできないな。

2018/12/19(水) 17:40:50.77

>>481
製品って具体的にどんなものかによる
組込的なものだとそうかもしれないけど
サービス的なものだと関係ない

2018/12/19(水) 17:51:42.99

基礎はやりたいフィールドのテッペンを概観でるレベルで十分
そこで大きな壁が何枚もある事を把握してから必要な基礎を潰していく
いつまでも基礎基礎いっててなかなか前に進まないのが日本教育のだめなとこだな
みんな染み付きすぎて疑問にもおもってない

2018/12/19(水) 17:56:47.59

テッペン見てから必要なだけ降りたらええちゅうことね

2018/12/19(水) 19:38:11.41

>>485
やりたいフィールドに限定すると、他分野の視点から見えるものも見えなくなる

2018/12/20(木) 00:43:50.31

基礎をおっかけるレベルでそれはねえ

2018/12/20(木) 09:56:46.33

AIを使いたいんじゃない。
茄子の仕分けがしたいのだ。みたいな

2018/12/20(木) 16:02:48.40

夢無い記事
https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00138/121400206/?P=1

日本で5人の実力を持ってても、名刺OCRしか活躍の場が無い。
（分析出来るデータが国内企業に無いし）

2018/12/20(木) 17:28:29.50

おもろい

**デフォルトの名無しさん** (JP 0H59-2M8b) · 2018/12/20(木) 17:57:27.11

http://monoist.atmarkit.co.jp/mn/articles/1812/18/news047.html
なんじゃこりゃw

2018/12/20(木) 18:09:43.22

https://paiza.hatenablog.com/entry/2018/12/20/【1位はGo言語】機械学習人気でPython・R言語も上位に！

2018/12/20(木) 19:10:08.34

>>483 そこまでする人は最初からCで書くだろう。

2018/12/20(木) 20:26:07.75

>>490
名刺の会社にGrandmasterが2人もいるの不思議だよな
GAFAとかヤフーとかメルカリに行けばいいのにと思うけど、開発環境が魅力的なのかな

2018/12/20(木) 20:37:23.22

＞日本人の名刺なら「98％の精度で種別を判定できる」
う～～～～ん

2018/12/20(木) 21:55:38.26

メルカリ・・・

2018/12/20(木) 22:03:38.17

>>492
> 2020～2021年ごろをめどに実用化を目指す。

はいはい

2018/12/20(木) 22:19:39.52

>>490
この人なんで名刺に拘るんかな
他業種でも引く手あまたやないの

2018/12/20(木) 22:41:01.49

>>499
給料良かったか、社風が合ってたんじゃないかな
勤務時間に勉強出来るとかじゃないとすぐに陳腐化してしまう

2018/12/20(木) 23:08:54.62

転職はＩＴ系の中でさえあんまり遠くに行けないんだよ

2018/12/20(木) 23:15:30.51

kagglerはGrandmasterになると目標がなくなって弱くなる説ある

**デフォルトの名無しさん** (ｽﾌｯ Sd43-7yME) · 2018/12/21(金) 15:13:58.46

ディープラーニングで、ロト6等の数字選択式宝くじの予想をやる場合
過去の全ての当選数字のデータを
多分、教師なし学習をさせて
AIが自動で特徴を見つけて、次回の当選数字を予測させることをやりたいのですが

どんなアルゴリズムが最適なのでしょうか？
画像認識の場合はCNNですが、次回の当選数字の予測は？
よろしくお願いします。

2018/12/21(金) 15:29:25.68

誰がお前の金儲けの為に唯で教えてやるの？

2018/12/21(金) 16:11:56.79

こんなところで聞かなくてもググればLSTM使って予測してるの出てくるだろ

2018/12/21(金) 16:37:41.59

毎年の当たりくじ番号なんて互いに相関が無く、独立な事象過ぎてやるだけ無駄と思われる。それでもやる？

2018/12/21(金) 18:03:46.75

マジレスするとrand()が最強
DNNと同等の精度が出る

2018/12/21(金) 19:24:26.23

>>507
それな。
だが、本当に乱数なのかな？
乱数の検定が圧倒的に否定されたので、
誰かが当たり番号を操作してると思う。

2018/12/21(金) 19:35:05.93

ロトの乱数生成の手法調べたらいいのか
意外と運用適当だったりしそう

2018/12/21(金) 19:37:05.65

コインを投げろ

2018/12/21(金) 19:39:49.12

サイコロを振れ

2018/12/21(金) 19:46:49.63

的を射よ

2018/12/21(金) 20:17:21.65

乱数生成が多少適当だったとしてもあからさまに偏ってるわけじゃないんだから儲け出すにはかなりの大金注ぎ込む必要があるだろうな

2018/12/21(金) 21:54:08.02

めるせんぬついすた

2018/12/21(金) 23:43:05.46

乱数はパチ台チェックしたりで意外と扱い馴れてる可能性も

2018/12/22(土) 00:17:02.80

MT使うほどのことない
Xorshiftで十分
LCGsはｳﾝｺすぎてﾀﾞﾒ

2018/12/22(土) 00:20:27.91

XBoxというゲーム機で出たカルドセプトというゲームがあってのう
疑似乱数の質が低すぎて専門学校生が作ってるんじゃないかと疑われたんじゃ

2018/12/22(土) 13:37:04.48

>>503
番号決めるのがサイコロ振ったりしてアナログな方法だったら
効果がないのでは？
コンピュータでやってるならチャンスあるかも

2018/12/22(土) 14:07:01.79

的がぐるぐるまわっていてそこに矢を射る機械を複数並べて決める

2018/12/22(土) 14:19:23.79

つまり各桁無相関ですね。

2018/12/22(土) 14:20:11.61

ロト７はこんな機械で決めてるらしい
https://youtu.be/imk1s7fTkJo

2018/12/22(土) 15:32:27.47

昔ロト3でなんとなならないか試行錯誤したなw
なんともならなかったけど。

2018/12/22(土) 15:40:11.13

123
431
137

だと「1」はジグザグに出やすく、
「3」はなだらかなカーブを描いて出現する、みたいな攻略（笑）方法があって
これを勉強する時間でバイトでもした方が良いな、と子供心に思ったものです

2018/12/22(土) 15:47:20.29

抽選機は電動攪拌式遠心力型抽せん機（愛称：夢ロトくん）

2018/12/22(土) 16:04:24.04

ここまでベルヌーイ施行というキーワードすらでない

2018/12/22(土) 16:08:18.85

わざわざ名前出す程複雑な事象じゃないやろ

2018/12/22(土) 16:20:58.77

>>525
この流れギャグだと思ってたんだけどまさか真面目に考えてたの

2018/12/22(土) 16:24:41.65

釣れますか？

2018/12/22(土) 16:27:19.80

マルクス経済学の学者の世界では
Aという現象が出て戦争が起きた
よってAが出ると戦争がが起こる
だから、Aを出すことを阻害しよう
という単純な考えが通用するみたい

それで博士等取れる確率が高いようなので
チャレンジしてみたらどうでしょう。

確率が念頭にないのに、博士号の確率は念頭にある
面白い世界です。

2018/12/22(土) 16:34:17.76

相関関係と因果関係をしっかりとわけないといけないのだ

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/22(土) 16:42:59.61

>>507
MTじゃダメなんですか？

2018/12/22(土) 17:36:26.63

>>530
確率考えてないから因果にもならない
想定するのは、単にそういうことがあったというだけ

2018/12/22(土) 22:23:41.20

帰納法のプログラムの世界では起こりえないだけど、
因果関係と相関関係の混同は世に溢れている

2018/12/23(日) 00:02:52.98

アホな経験則がまかり通っているだけ

2018/12/23(日) 03:10:51.94

しかし、おまえらアフォだな
因果関係だと？
笑えるｗ

2018/12/23(日) 09:38:54.52

因果応報

2018/12/23(日) 09:40:34.21

親の因果が子に報い

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 11:39:39.64

>>530
＞相関関係と因果関係をしっかりとわけないといけないのだ

そして次のことも理解しておくことですね
「因果関係の認定は主観的判断であり独断や偏見と何一つ変わらないこと」

2018/12/23(日) 13:41:04.67

親の資産を相続したＱＺが一言

2018/12/23(日) 14:37:30.80

>>538
>>534でよくね

2018/12/23(日) 17:14:58.35

因果関係を証明したければ実験すればいいだけのこと
原因だと推測したものを動かして予想通りに結果が変わればok

◆QZaw55cn4c (ﾜｯﾁｮｲ 6360-RC8Q) · 2018/12/23(日) 17:20:18.77

>>541
相関関係を持つものについても、片方を動かせばもう片方も予想通りに動くのでは？
>>541 の方法では相関関係と因果関係を見分けられないのでは？

2018/12/23(日) 17:53:54.43

コンビニ店舗数と人口密度に正の相関があったとする
何もない山奥に強制的に大量の人間を住ませればその人口密度に応じてコンビニが入ってくるだろう
しかし逆に誰もいない状態で山奥にコンビニ建てまくったとしてもコンビニ数に応じた人間が引っ越してくると考えるのは不自然だろう
つまり上記が正しい場合、人口密度→コンビニの因果関係はあるが、コンビニ→人口密度の因果関係はない
Aを変えればそれに応じてBが変わる時に因果関係があると言い、必ずしも逆が成り立つとは限らない

2018/12/23(日) 18:00:58.58

実験できないようなことは
どうするんだ？