【統計分析】機械学習・データマイニング24

2019/05/01(水) 10:39:45.57

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured

2019/05/12(日) 22:46:24.16

固有値大きいものの軸を残すのだから
寄与度も見とけという話

2019/05/12(日) 22:49:17.14

>>175
今は寄与度の話ではなく正規化の話です

機械学習で分類をさせる場合に、最初の前処理として正規化します

PCAで座標系変換したので、新しい座標軸で正規化をしただけです

難しいことは言っていないですよ

2019/05/12(日) 22:50:54.86

>>140を呼んでなかったな
固有ベクトルを1に規格化してるだけじゃね？
変換行列をユニタリ行列にした方が扱い易くなるし

2019/05/12(日) 23:32:08.32

>>178
同じく質問を正しく理解してなかったかも
もしかしてこういう回答が欲しかったのかな

分散共分散行列 Σ
ある固有値λ=σ^2 固有ベクトルx

質問: 固有ベクトルの正規化はx/σではなくてx/σ^2はなぜですか？
回答: Σ=XX’で次元はσ^2だから。実際対角成分は分散が並ぶ。

**140=149** (ﾌﾞｰｲﾓ MM33-1vRR [49.239.71.108]) · 2019/05/13(月) 00:06:31.85

レス下さった方ありがとうございます。

2019/05/13(月) 01:04:21.95

>>150
ネコは可能だけど犬はどうかな

有名なヤツ
http://zellij.hatenablog.com/entry/20130608/p1

2019/05/13(月) 01:58:58.24

文科省が○○万人不足！って騒ぎ出したらたいてい作りすぎで失業者の海になる

2019/05/13(月) 02:06:03.05

余って値崩れするくらいがちょうど良いんだよ。
経団連的には。

2019/05/13(月) 02:18:59.07

役所の肝いり人材増やそうとした業界は地雷だから進路をとるのはオススメしないところになる

2019/05/13(月) 06:18:49.06

>>184
ホンコレ

2019/05/13(月) 07:40:01.60

AI人材の給料は新卒でも800万以上からスタートと聞いたけど違うの⁉

2019/05/13(月) 08:02:05.44

>>186
米国の話しね。
日本のサラリーマンは
まだ年功序列賃金が根強いので。

2019/05/13(月) 08:27:47.74

日本ではどんなスキル持ってても新卒は300～400万スタートで固定

2019/05/13(月) 09:07:05.39

>>188
パナだっけスキルがあれば1000万払いたいって記事みたけど。

2019/05/13(月) 09:36:36.91

給与に期待したければ素直に外資行く

NTTも高度人材には1500万以上出すとか言ってたけど、
内部調整が上手くいかずに形骸化
日本企業で現場が管理職より高給を貰うと内紛が起きる

2019/05/13(月) 09:48:09.30

ノーベル賞取る社員が出ても変わらんのな

2019/05/13(月) 15:24:45.95

コーディング(java or python,SQL,フレームワーク)
設計(デザインパターン,UML図)
数学(線形代数,微分積分,最適化数学)
統計学(大学一年レベル)
基本的なアルゴリズム(ロジスティック回帰,SVM,ランダムフォレスト,決定木,カーネル化)
DeepLearningの基礎(ニューラルネットワーク,RNN,CNN)

最低限、この程度のことをわかっていれば業界に入れる気がする
やってみれば簡単だし、すごい人材だとは思わないけど、どこにでも転がってるわけじゃないよなあ

2019/05/13(月) 15:30:30.94

>>192
業界に入れても金にならない

2019/05/13(月) 15:38:16.99

俺なら初期ステこのぐらいで20代前半だったら全力で育てるけどな

2019/05/13(月) 16:00:15.71

そのステでどういう仕事あるんだろ。雑用の予感しかしない。
若ければいいけど

2019/05/13(月) 16:03:46.52

>>194
お前を使うほうに就職してるよ

2019/05/13(月) 16:09:58.77

>>195
エンジニアにするしかないからPGからじゃない

2019/05/13(月) 16:11:56.88

>>195
web系（大手）かSIerに就職だろ

2019/05/13(月) 16:17:44.83

どっちかというと、業務用webアプリケーションを開発しているところの、
機械学習エンジニアの求人にひっかかりそう

2019/05/13(月) 16:20:05.85

ほぼワイのステだからね。ですよねーって感じだ。

2019/05/13(月) 17:10:03.77

>>186
日本は博士号持ってれば基本的に初年度は基本給22マン程度、次年度から36マン程度になり、入社5年でだいたい80マン位になる

2019/05/13(月) 17:47:44.67

エンジニアになるにしても
新卒なら大学で何を習っていようがPGの下積みは必要だし
データサイエンティストになるにしても
たぶん前処理の下積みは必要なんじゃないかなあ

2019/05/13(月) 17:52:25.99

ちょっと意見を聞かせてほしい
AIの勉強会をやるとかで話す内容丸投げされて途方に暮れている。まぁ3回目なんだけど

一応他の社員が聞くわけだからなんか何かしら勉強になるものを提供したいと思うの
でも最近AIブーム終了だのコモディティ化しただのそんな話も聞こえてくるし
ヒントン先生がバックプロパゲーション後悔してるとかディープラーニング自体いずれより凄い技術に置き換えられるのではとか

そんなわけだから機械学習とかAI分野で色々技術が進歩しても大事になりそうな物って何だと思う？
例えば数学とか統計は間違いなくそうだろうなって。まぁプレゼンしても全然面白くなりそうにないのが困るけど
個人的にデータラングリングとか前処理とかはきっとずっと必要だろうしその辺なら話せるかなとか考えている

2019/05/13(月) 17:54:42.36

>>203
説明変数、評価関数、最適化の関係は普遍的なことだと思う
むしろそれが全てみたいなところあるじゃん

2019/05/13(月) 18:53:09.54

>>201
5年目で80万もあれだが金払いのいいとこならあるとしても、博士卒は普通27歳なのに初任給22万って

2019/05/13(月) 18:56:45.35

>>203
ディープラーニングが台頭した今だってSVMやロジスティック回帰やら決定木やらはデータ分析で現役だし
ディープラーニングより凄い技術が出てきたってそうなんじゃないの

2019/05/13(月) 18:58:43.63

理系の博士号と取って、五年目で80万は平均値としては正しいかもなーって思った
俺はそういう世界のことよくわからないけど

2019/05/13(月) 19:28:31.24

ディープラーニングでうまく行かず
SVRを使ったけど
原因がわからん。

やっぱもっと勉強しないと
だめかなあ
今は勉強してなくても給料高いから
サボってしまう

2019/05/13(月) 20:02:19.16

統計も大事だけどその基礎として線形代数の方がもっと重要だな

2019/05/13(月) 20:06:45.88

>>205
初年度は研修生である事に違いはないのでその程度が相場

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-vVMj [131.129.115.141]) · 2019/05/13(月) 20:16:39.53

>>192
＞最適化数学
はじめて聞く名前ですね…

2019/05/13(月) 20:22:18.24

最適化数学も知らないと臆面もせず書き込めることがこのスレのレベルの低さを物語っている

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-vVMj [131.129.115.141]) · 2019/05/13(月) 20:29:39.97

>>212
その「最適化数学」の中にでてくる technical term をいくつか紹介いただけないでしょうか？

2019/05/13(月) 20:33:23.65

専攻してなきゃそんなもんじゃねーの？

2019/05/13(月) 20:36:36.23

知らないことそのものを言ってるんじゃなくて、
自分が知らないことに対する態度のことを言ってるんだと思うよ

2019/05/13(月) 20:52:15.44

>>212
そいつは荒らしなのスルー推奨

2019/05/13(月) 21:09:00.43

プログラミングできなくても
ms-officeを使うように
中身を知らなくても
使うようになるよ

2019/05/13(月) 21:13:31.72

QZはC++厨房なので馬鹿にされるぞｗ

2019/05/13(月) 21:59:43.27

最適化数学くらいググればいくらでも出てくるだろ

だからこの擦れはレベル低いといわれる
（実際レベル低いけどｗ）

2019/05/13(月) 22:12:10.34

最適な解を求めるのは計算量などの壁があるので
現実には準最適解で我慢するしかないがな

2019/05/13(月) 22:24:38.16

そんな話はしてねーよ

2019/05/13(月) 23:25:32.54

住人は二極化の傾向

2019/05/13(月) 23:41:05.48

数理最適化なら普通によく聞くんだが、「最適化数学」でググると特定の本ばっかり出てくる…

2019/05/13(月) 23:42:53.23

>>207
平均はもっと低いぞ
アカデミックなら五年目で年収600も行かんことが多いし企業は残業次第じゃないか

2019/05/13(月) 23:45:37.57

>>210
俺が就活したときそんな求人見たことないが。まあ分野違うけど

2019/05/14(火) 04:40:20.09

>>224
そんなもんか
今はなんだかんだでオーバードクター向けの求人が多いから、
もう少しもらってるのかと思った

2019/05/14(火) 04:48:08.09

叩き上げの機械学習エンジニアからみると、
大学院でアカデミックなことを学んで、データサイエンティストになった人たちは輝いてみえるんだけど
お給料は俺らと大差ない上に、キャリアを考えたらエンジニアの方がずっと安定するのね
この国は技術や知恵に対する敬意が足りない

2019/05/14(火) 07:46:45.08

ポケモンをプレイしていた大人の脳には「ポケモン領域」が存在することが脳スキャンから明らかに
https://gigazine.net/news/20190507-brain-scans-reveal-pokemon-region/

これって昔流行ったおばあちゃん細胞だろ？

2019/05/14(火) 08:14:18.68

>>227
今まで日本式経営は多くが近代的だったためデータの持つ力が分からなかった
データを活用する方法と、データが経営判断・利益に直結することが知られてきたので、データ屋さんは徐々に需要増と予想

2019/05/14(火) 08:21:34.40

とは言っても特別扱いは無いだろね
色々な専門家が集まって企業は作られてるわけで、昔の花形分野の専門家と同じ扱いになるでしょ

2019/05/14(火) 08:36:03.29

>>229
その通りだね
データ関連事業は活性化すると思う

国の研究機関はさらにまずいね
データ関連のポジションがなくデータは研究者のサイドワークになっている
海外は米国、欧州、中国はデータ関連のポジションがある

2019/05/14(火) 09:15:59.28

まずは隗より始めよ。
国の研究機関で派遣のデータ関連の仕事あったよｗ
ポスト増やせないのね

2019/05/14(火) 09:23:38.47

>>232
パーマネントポジションという意味ね
派遣に任せるデータではなくて、博士号を持った研究者による専門チームが各国にある
派遣エンジニアはいくらでも必要だし雇用するけどもそれらを統括して将来構想を戦略的に練るポジションからして存在しない
データ戦略という概念がゼロ

2019/05/14(火) 09:36:47.85

>>233
そのとおり
派遣に丸投げで、論文の紹介すらできないんだもの。データ扱いたいなら自分が勉強するか、データ系の博士持ちせめて有期で雇って欲しい

2019/05/14(火) 13:06:08.23

久々に立ち寄ったらポジションくれくれスレになってた

2019/05/14(火) 16:48:13.57

>>223
制御数学じゃないんか？

2019/05/14(火) 16:54:39.30

間抜け乙

2019/05/14(火) 18:59:05.36

なぜ給料の低い国の研究機関に
ポジション求めるの？

民間企業でいいじゃん？
給料高いし変な縛りもない。

2019/05/14(火) 19:20:50.93

ポジションは外資のがちゃんとありそう

2019/05/14(火) 19:24:47.64

人材が不足するという割に国関連では求人してない矛盾を憂いてるのさ。憂国である

2019/05/14(火) 19:33:42.39

>>国関連
手が足らずに統計不正が起きるほどに人不足なはずなのにな。
マジクソだわ。

2019/05/14(火) 20:08:17.38

本当は日本捨てたい
この国みんな保身ばっかりで、みんなで少しずつ沈もう感がヤバい
日本脱出のために高度な技術身につけてると言っても過言ではない

2019/05/14(火) 20:15:55.45

そう言えば、坂本ボットがいなくなったな。いい加減なもんだｗ

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-vVMj [131.129.115.141]) · 2019/05/14(火) 20:16:52.15

>>219
google の結果や、そもそも web 上に展開されている知識ベースが必ずしも実体を正確に反映しているとは思っていないのです
旧来のカテゴリーなら OR（オペレーションズリサーチ）に属するとは考えていますが、じゃあ、なぜ OR という伝統的なカテゴリーを捨てて「最適化数学」とかいう変てこな日本語にしたのか、非常に興味があります
それに、その「最適化数学」は解析なのか代数なのか幾何なのか、それもよくわかりませんし

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-vVMj [131.129.115.141]) · 2019/05/14(火) 20:18:24.44

>>218
よくご存知ですね、ただ私は C++11 or later は、どちらかというとよくわからないと答えます、それはここで明言しておかないといけませんね

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-vVMj [131.129.115.141]) · 2019/05/14(火) 20:19:13.09

>>229
＞日本式経営は多くが近代的だったため
それは褒め言葉ですか？

◆QZaw55cn4c (ﾜｯﾁｮｲ d347-vVMj [131.129.115.141]) · 2019/05/14(火) 20:19:49.06

>>236
制御数学、というのは、いわゆるラプラス変換とかZ変換とかの部類でしょうか？

2019/05/14(火) 20:22:42.29

何でこのスレip表示なの？
かつて荒らされたことでもあるの？

2019/05/14(火) 20:26:15.74

表示されちゃいかんのか？

2019/05/14(火) 20:32:59.85

スマホかISP経由なら気にすることないでしょ
職場からカキコする人がいたら面白い

2019/05/14(火) 20:37:05.66

そりゃうっかり職場のwifiに繋がってることもありうるしこの手の業界狭いから下手するとすぐ個人にたどり着きそうだし

特に理由無くip表示にしてるならちょっと変わってるよな

2019/05/14(火) 20:54:34.01

>>247
受けるー

2019/05/14(火) 20:55:39.77

>>250
ipアドレス収集してその人が何やってたかをまとめてるサイトとかもあるし、家のipだとしても気持ち悪いよ

2019/05/14(火) 21:26:18.67

>>242
なにを今更
正直、親族がいなければ簡単に捨ててるわこの国
英語だけでなく、中国語の勉強はじめた
二十年後には日本の10倍、アメリカの2倍のGDPになってる中国に鞍替えします

2019/05/14(火) 21:44:46.69

オランダに移住して安楽死、という手段もあるぞ
http://karapaia.com/archives/52226875.html

2019/05/14(火) 21:48:55.27

>>254
さっさとシナへ行けよ、お花畑

2019/05/14(火) 21:54:18.18

でも実際、論文は出てるよ
20年前は「やってみた」系の論文は日本から量産されていたけど
今は「やってみた」系すら出てない

2019/05/14(火) 22:21:48.94

マーケッティングに統計を使うのは無理そうなんだけどなあ
まあやってみれば。私はやらないけど

2019/05/14(火) 22:25:57.84

>>251
何スレ前だかに意図不明で唐突にIP表示で立てたやつがいた
次スレからはワッチョイだけでいいと思うぞ、不便なだけなんだから

2019/05/14(火) 22:33:04.81

>>231
早晩データ分析の限界に気づかれると思う。
あたりまえだが限定的な得られたデータの範囲内でしかないし、過去～現在を現してるに過ぎず未来を現すものではない。
過去の延長にはない未来予測=リスクを取らない意思決定や経営判断は、命懸けでリスクを取ってくる連中にいずれ負ける。

2019/05/14(火) 23:05:49.81

製造業支援がいいかねえ
品質アップには役に立ってそう
中途で参入は難しそうだが

2019/05/14(火) 23:13:11.68

品質管理なんか人余り

2019/05/15(水) 00:50:36.39

>>258
マーケティングって統計学を応用できる最たる場所じゃないの

2019/05/15(水) 03:36:42.55

>>260
皆がそう思うから新たに人を取らないのは理解している
将来に限界が見えるから投資しないことと、最低限のインフラ整備の投資は別で考えなければならない
今は最低限すらないから相当やばい

これは水道の整備によく似ている
将来は人口が減るから水道設備はいらないと言っているようなものだ

蛇口をひねれば水が出てくるように欲しいデータがすぐ手に入る国と、川まで行って桶で水を汲むようにデータを使えるようにするまでに数日から数カ月かかる国では、研究のスピードがまるで違う

下水が整備されなければ病気が蔓延するように、専門家がデータの健全性を担保せねば、それを使った研究の正確性にも疑問符がつくだろう

研究の質と量を上げるインフラ整備に全く考えが及んでいないため、差はどんどん開くだろう

2019/05/15(水) 07:14:06.05

>>263
特段にそういうわけじゃないが、大学の研究や旧幾で入手しやすいデータがそういった類のものが多いために、国内ではそうなりがち（思いがち）と言えそう。
統計解析で見れば、医薬関連などのほうが歴史も事例も研究もずっと進んでいる。

2019/05/15(水) 09:12:19.65

>>256
鞍替えは冗談だけど、もう情報技術に関してはアメリカより中国の学会の方が評価高い
機械学習で食い続ける気概があるなら、中国語は必須さ

2019/05/15(水) 10:03:29.36

>>266
またお前か

2019/05/15(水) 10:15:39.01

中国行ったら迫害されんじゃね?
西側諸国と同等の人権がもらえる気はしないな

2019/05/15(水) 10:30:12.58

中国語習得しなくとも英語堪能なら中華企業行けんじゃない
てかあちこち手を出して一生下働きな戦略はどうなの

2019/05/15(水) 12:10:03.53

東大松尾研究室監修のエンジニア向け教育プログラム「DL4US」の演習コンテンツが無償公開
https://ledge.ai/dl4us-free-contents/

2019/05/15(水) 14:13:26.58

金平に朝貢してもトランプに息の根を止められる

2019/05/15(水) 14:15:06.29

>>269
でもあいつら英語でコードかかないし、論文も英語化しないからなあ
自分たちを世界の中心だと思っていやがる

2019/05/15(水) 15:00:30.31

>>272
実際にその通りだから仕方ないかもな

2019/05/15(水) 15:13:29.82

今や日本の方が賃金安いから中国が日本の工場に作らせる時代になったのになぜか日本人は中国に対して上から目線になってしまう

2019/05/15(水) 15:19:59.78

なぜか媚中が偉そうにする今日この頃