【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/12(水) 01:30:01.87

いやそもそも正解も無いか。そこが気持ち悪いのかな
100%当てるモデルとかできるならいいんだろうけど現実的にないだろうし

2018/12/12(水) 02:29:18.56

データには固有の性質があって、それを長く扱っている技術者だけがそういうことを知ってる。 kaggleで匿名化されてるデータやってても知見として得られるものないよ。 kaggleはそのへんが問題なんだよね

2018/12/12(水) 09:07:37.01

キュウリの等級付けとかだ

2018/12/12(水) 09:28:45.56

リンゴの分別だろ

2018/12/12(水) 10:26:06.15

100%的中させる必要などそもそもない
人間だってミスして例えばメーカーでの検査ミスなら不良品を流通させてしまう
機械学習システムによって人間より十分に精度や実行速度が上がったりするなら明らかにメリットがある
にも関わらず人間より圧倒的に少ないミスを過剰に問題視する方がおかしい
また、ミスの原因がはっきりしないのが問題だと言う意見もあるが人間のミスの方が
どう考えても原因は曖昧であり、現在導入されている機械学習システムは所詮回帰分析を複雑化したものに過ぎず、
その係数を正確に知れる分だけよっぽど論理的に説明ができる

2018/12/12(水) 10:40:58.39

工業製品の検査は不良率○％以内って厳格に決められてるよ。

2018/12/12(水) 10:51:40.00

規定の不良率に収まるように学習すれば良いだけ

2018/12/12(水) 12:17:21.65

https://qiita.com/yoshizaki_kkgk/items/4663148a2b3ca078ddbc

>環境の違いにより、設定がうまくいく場合があります。

warota

2018/12/12(水) 12:39:41.80

ヒヨコの雌雄は分からいけど猫と犬の見分けには自信あるぜ

2018/12/12(水) 12:41:14.51

我々はまずゴミの分別をちゃんと出来るようにはならねば。渋谷区45種類らしいぞ

2018/12/12(水) 14:50:33.13

＞渋谷区45種類

どこの基地外が考えたんだか

2018/12/12(水) 18:35:23.09

仕事を増やせる優秀な公務員が考えました

2018/12/12(水) 19:48:32.73

変態区

2018/12/13(木) 08:28:05.50

>>361
時間があれば
確率論→統計学→機械学習
と進めるべきなんでしょうね。

でも今どきはいきなりPythonですからね。
ま、客も分かってる人いないから。

もやもや解消には仕事を辞めて
6年間ほど死ぬほど勉強する必要あります。

2018/12/13(木) 13:41:27.22

そこまでかかるかよｗ文系かよｗ

2018/12/13(木) 14:24:09.33

6年あれば医者になれるな

2018/12/13(木) 15:21:08.19

医学部に受からんと、それに年寄りはマイナス加点だからね

2018/12/13(木) 19:18:29.34

確率論/関数解析/微分幾何はほしいな

2018/12/13(木) 19:25:15.84

それらプラス
信号処理、システム同程、現代ロバスト制御、カーネル法、統計学、情報幾何あたりやっときゃよい

2018/12/13(木) 19:26:35.52

だいたいの人がれべすぐえ積分です挫折するだろうけど

2018/12/13(木) 20:50:05.49

と人生挫折した奴が主張しております

◆QZaw55cn4c (ﾜｯﾁｮｲ aa60-D8NS) · 2018/12/13(木) 20:55:33.92

>>381
測度論的アプローチは万人に必要ですか？

2018/12/13(木) 21:20:30.21

機械学習に数学は必要なし
したがって測度論など機械学習には全く必要ない

2018/12/13(木) 21:38:04.29

必要ないね

2018/12/13(木) 21:40:00.90

関数解析はやれよ

2018/12/13(木) 23:33:41.33

みんな使ってるPCのスペックってどんなもん？
ボーナス入ったし買い換えようかと
今はi5、SSD128GB、メモリ8Gの学生用みたいなスペック

2018/12/13(木) 23:41:00.57

ちょっと訂正だな。
確率論は要らない。

2018/12/13(木) 23:57:53.09

>>387
法人向けはずっと上のものがある
dellのprecision tower7000シリーズとか
corei9がショボく感じる

2018/12/14(金) 07:17:53.41

>>384
だな

野球やるのに、バットを作り方を知る必要はない

2018/12/14(金) 08:44:54.09

ルベーグ分かってるけど機械学習には要らんなってことなのか、ルベーグ分からんけど機械学習で特に困ってないってことなのか

2018/12/14(金) 09:01:46.14

完備な距離空間作るために測度論が必要ってとこだけ理解できればもう要らない。同様の理由で確率論も要らない。
あと入りそうなのは確率微分方程式とかるまんふぃるたぐらいか。まあ、後者はリースの表現定理を理解できれば十分。

2018/12/14(金) 09:39:39.92

カルマンフィルターを知ってる俺って偉い、というところまで読んだ

2018/12/14(金) 09:41:22.54

リースの表現定理は使いこなせるようになることをお勧めします

2018/12/14(金) 10:08:11.53

>>393
横から訂正するよん
こんなことを知ってる毎月残業60hのエンジニアサラリーマンの俺ってば凄い

2018/12/14(金) 10:10:27.43

すべてが中途半端（笑）、お後がよろしいようで

2018/12/14(金) 12:12:47.64

本当の一流なら例えば料理人だとラーメン作るのに小麦畑の土から拘るからな
単に腹を満たすためならそんなの不要だが本気でトップ狙うならそこまで考える必要がある

2018/12/14(金) 13:35:21.72

本当の一流は革新的で広く使われるモデルを提案できる人

2018/12/14(金) 14:09:36.56

そりゃイノベーターですな
そこ望むなら最低でも原理ぐらいは理解してないとだめやろね

◆QZaw55cn4c (ﾜｯﾁｮｲ aa60-D8NS) · 2018/12/14(金) 20:10:48.33

そんな難しい話は私には縁がありません
ひたすらお願いすることといえば、やさしい解析学ともっとやさしい線形代数の教科書を教えてほしい、ということです、ちなみに佐武で撃沈しています…

2018/12/14(金) 20:12:23.40

結果がでるかどうかの話だよ

2018/12/14(金) 20:44:44.10

カルマンフィルタとか必須な分野もあるから、統計学・数学必須かどうかは関わってる仕事による

2018/12/14(金) 20:48:59.46

専門は更に違う

2018/12/14(金) 20:59:12.32

日本のゴミのようなITの慣例に従うと、
AIエンジニアでさえ、統計も幾何学もマスターした40代のおっさんより、
専門学校でPython習っただけの20代の方が引き合いが多い。

人売りは必要なスキルなんて把握してないし

2018/12/14(金) 21:05:07.90

そもそも派遣やSESで安く済ませようというような環境下で機械学習エンジニアを目指すこと自体が誤り

2018/12/14(金) 21:41:09.89

>>404
第一種電気主任には勝てません

2018/12/15(土) 01:05:19.81

>>400
マセマ線形代数

2018/12/15(土) 09:27:28.68

文系でもいきなりわかる行列・ベクトル入門

2018/12/15(土) 10:06:27.30

前処理で新しい特徴量作ったり、カテゴリ変数を数値に変換したりするじゃないですか
でそれを使ってモデルを構築するわけなんですけどこれなんで成立するんでしょうか
だってそれに対して入ってくるデータはモデル作成に使った特徴量は持ってないですよね

モデル作成って例えばa,b,cって3種類の特徴量があるデータとしたら
f(a,b,c)をコンピュータが内部で作ってくれて、だからそこに対象のa,b,cを持つデータを入れたら答えが返ってくる……みたいなイメージだったんですけど違うんでしょうか

2018/12/15(土) 10:46:54.10

>>386
職場は自称データサイエンティストが
大勢いて、みなさん統計学に自信満々の
理系ばかりなんですけど、
実は全く分かってない人ばかりです。

あなたは分かってる？
統計学の論文は何本ぐらい書いてますか？

ま、客も分かってないから
いいんですけどね。

2018/12/15(土) 10:52:28.95

統計検定でいいんでゅわ

2018/12/15(土) 11:30:35.29

統計学の研究者になるわけでもないのに統計学の論文書く必要などない
赤青緑本が理解できていれば後は必要に応じて学べばOK

2018/12/15(土) 12:27:01.90

410は文系ってことだ

2018/12/15(土) 13:12:41.57

機械学習に数学はいらない

2018/12/15(土) 14:20:12.17

>>410
0本です
本職は機械屋さんです

2018/12/15(土) 14:25:31.33

データさいえんてぃすとってなに？

2018/12/15(土) 14:25:47.32

何ができるひと？

2018/12/15(土) 15:20:47.62

ggrks

2018/12/15(土) 15:36:11.12

>>409
前提となる条件がよくわからないが

>>なんで成立するか
a,b,cそれぞれの間に相関が無いベクトルに変換したからです。
相関が無いと判断される手法によって結果は異なる。

例えばPCAであればa,b,cの相関係数が最小になるように特徴量が分解される。

>>入ってくるデータは作成に使った特徴量を持ってない。
⇒？？？
言ってることがよくわかりませんが、前処理にて得られたベクトルに一度変換してください。

2018/12/15(土) 15:56:42.77

>>409の後半
>>f(a,b,c)を内部でコンピュータが作ってくれて～～a,b,cを持つデータを入れたら答えが返ってくる

⇒その認識で合ってます。

任意のA,B,C,D,E,F,‥‥ってデータ(ベクトル)があったとき、a,b,cに変換する関数を作成するのが前処理と考えたらよい

2018/12/15(土) 16:16:03.44

>>418
なるほど‥最近
『データさいえんてぃすと』になるためのビジネス講座が流行ってるのですね。

受講による費用対効果は知らんけど。

2018/12/15(土) 16:38:18.36

>>421
答えになっていないぞ、検索もできないのか

データさいえんてぃすとってなに？
何ができるひと？

2018/12/15(土) 16:39:50.66

>>421
対したこと出来ない人ってことはわかりました

2018/12/15(土) 23:22:01.13

あと線形代数について、大学の一般教養より進んだところまでの学習をお勧めします。

特異値分解、ぺロンフロベニウス根などですね。
Google行列の話など面白く、なかなか応用性があることに気づくと思います。

2018/12/16(日) 10:11:11.58

最初から対したことない奴だと思っていました

2018/12/16(日) 14:00:15.57

たいしたことできないってことがわかる機械学習

2018/12/16(日) 14:20:05.34

対したことない人に負けないようレベルアップしてくださいな

2018/12/16(日) 15:03:43.09

もう15年ほどデータ分析してますけど、
統計学や情報工学の知識が必要になった
ことはわずかです。
しかも基礎的な知識のみ。

客が理解できないことはできませんので。

専門家が増えて、分析の発注者側となってから、
専門的な知識が要求されるようになると思います。
それは20年先でしょうね。

2018/12/16(日) 15:08:38.20

ﾃﾞｰﾀｱﾅﾘｼｽとかいっても
仕事のほとんどはﾃﾞｰﾀ抽出加工ﾄﾞｶﾀだからな
DA（）ｗ

2018/12/16(日) 15:10:33.11

>>427
私は立場的にお客さん側の人間なのですが‥

2018/12/16(日) 15:11:30.14

失礼。またずれた。
>>428
私は立場的にお客さん側の人間なのですが‥

2018/12/16(日) 15:47:39.48

自分が低レベルの仕事しか任されていないだけなのを自ら晒して恥ずかしくないのかな

2018/12/16(日) 15:59:13.38

市場調査のﾔﾂﾗとは関わったことがある
そいつらだったら大体どんなﾔﾂﾗかは分かる

結構狭い業界だからな

そいつらはﾄﾞｶﾀからみれば客かもしれんが
その先にまた別の客がいる

その別の客をどこがもってるかだからな
当然ｺｺで業界内での力関係の差はっきりみえる
超格差業界

2018/12/16(日) 20:55:55.59

まだ若い学生プログラマーには
学生のうちに知識と創造力の拡充をお願いしたいですね。

物事は簡単であるべきだが、簡単過ぎてはならない。

2018/12/16(日) 21:02:53.02

その代わり給料と地位をお願いします

2018/12/16(日) 21:20:00.16

外資並みによろしく

2018/12/16(日) 21:54:55.87

それなら結果出せなければ最低賃金レベルしか出ないけどな

2018/12/16(日) 22:09:11.00

外資の知り合い居るけど最低賃金なやつ聞いたことない。みな並以上

2018/12/16(日) 22:10:18.61

と日系の社長が申しております。
って返す方が気が利いてた。スマン

2018/12/16(日) 23:05:59.57

ずっと平凡であるか、価値のある人間を目指すかの違いと思います。

2018/12/17(月) 00:34:07.50

わざわざ賃金水準教えてくれる時点で世間相場と比べてある程度自信ある人であるという偏ったデータしか計測できていないんだよな

2018/12/17(月) 06:31:38.20

>>412
＞赤青緑本が理解できていれば後は必要に応じて学べばOK

赤？
https://www.oreilly.co.jp//books/images/picture_large978-4-87311-758-4.jpeg

青？
https://images-na.ssl-images-amazon.com/images/I/819entjFISL._SL1500_.jpg

緑は？

2018/12/17(月) 06:47:25.76

赤青緑本、
こういう言い方きらい

2018/12/17(月) 07:26:10.21

そんな呼び方が出来てたのかｗ
チャートみたいな存在になってんだな

2018/12/17(月) 09:37:24.71

像本とかラクダ本も読まな

2018/12/17(月) 09:52:02.87

赤は➁もあるでよ

2018/12/17(月) 10:33:03.86

行政機関はExcel形式での統計情報の配布をやめてほしいなあ。
XML形式かCSV形式で一般公開してほしい。

**デフォルトの名無しさん** (JP 0H96-3Pua) · 2018/12/17(月) 10:41:14.66

初心者でkaggle始めたばっかなんだけどさ
機械学習始める前のイメージだと生のデータをとにかく突っ込めば後は機械が判断してくれると思ってた
でも生のデータの欠損埋めたり、関係性を調べて新しい特徴量作ったり、なんか泥臭くない？
人力の部分が多いんだなってちょっと萎えてきてる。もっと何かすごい技術なイメージだったのに

2018/12/17(月) 10:50:05.23

>>448
no free lunch定理という、どんなデータでもうまくいく万能のアルゴリズムは無いという定理がある
だからそういうデータに特化した処理や、特性に合ったアルゴリズムの選定といった泥臭い事をしないと精度が出せないのは仕方がない

2018/12/17(月) 10:51:21.54

>>442
統計の赤・青本かと思った
https://tjo.hatenablog.com/entry/2013/10/08/203547

緑は分からん

2018/12/17(月) 10:56:10.19

泥臭いことをやる万能AIを泥臭く一回作るんや

**デフォルトの名無しさん** (JP 0H47-CHQN) · 2018/12/17(月) 11:17:19.60

POMDPってなんて読むの？
ポンディーピー？

**デフォルトの名無しさん** (ｽﾌｯ Sdaa-H6+A) · 2018/12/17(月) 11:55:47.72

ディープラーニングや機械学習の数学って
中学生レベルでは無理？

2018/12/17(月) 11:59:23.77

>>424
長谷川浩司先生の「線形代数」に載っている。

2018/12/17(月) 11:59:26.03

そもそも、最近の中学生は統計学も幾何学もしないんでしょ？

2018/12/17(月) 12:02:57.12

微積やんなよ

2018/12/17(月) 12:18:19.23

>>453
別に大丈夫
微分積分と言っても結局はモデル構築が主なので、
そこまで深く知らなくてもよい
最小二乗法とかも言葉の意味知ってれば大体理解できる。後は関数に放り込むだけだし

2018/12/17(月) 12:19:08.02

>>450
緑＝人文・社会科学の統計学 (基礎統計学)
https://www.amazon.co.jp/dp/4130420666/

2018/12/17(月) 12:26:23.19

>>456
線形の方が微積より必要。マセマでもやれ。

2018/12/17(月) 12:29:27.44

せやな

2018/12/17(月) 12:44:39.16

機械学習に数学はいらない