【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/06/02(土) 15:23:42.42

機械メーカーの研究開発職であちこちセンサー付けた自社製品の機械をひたすら動かしてデータ収集して
種々の解析して異常発生の兆候を見るための手法の開発してるけどこれはデータサイエンティスト？
そうだとしたらほとんどの研究職はデータサイエンティストだろうけど

2018/06/02(土) 16:56:45.27

客のデータで重要な知見が得られたならそれは当然客が競争優位に立つために重要なので詳細を公表できるわけがない
自分の成果を第三者にアピールするなら自力でデータ集めからやるか、個別案件に依存しない新たなアルゴリズムの開発、公の機関との共同研究ぐらいしかないだろう

2018/06/02(土) 18:02:19.41

>>349
というかもうすぐ失業者が出るとか？

2018/06/02(土) 18:36:15.08

この分野もプログラミングと一緒で
何か個人で成果を出さないと認められない世界になってきた
ということでいいのでしょうか？

2018/06/02(土) 21:26:42.66

そんなことないさ
極端は話、論文を読んで実装できるレベルで数学、数理統計学、ベイズ統計、機械学習の理論をしっかり理解し、
pythonおよびライブラリを有名どころ一通り使いこなせて
C++かjavaでアプリを自由自在に組めて、rubyにも精通していて、SQLでDBの操作が出来て、前処理の実務経験も豊富で、本職のDSのようにRを使いこなせたら、年収1500万ぐらいは楽に稼げるだろう

はじパタ本ぐらい読んでこの業界に入る人にとっては、そんなに遠いところでもないはず。自分はまだそこまでたどり着けてないけど

2018/06/02(土) 21:58:24.27

↑うわーキモい

2018/06/02(土) 22:45:55.01

rubyって精通してる必要ある？

2018/06/02(土) 23:01:04.79

無い

2018/06/02(土) 23:23:23.72

この業界で出来る人、ほんとにそのぐらい出来るぞ
rubyはとりあえずアプリを組めれば何でもいい時にできるといいらしい（らしい）

2018/06/02(土) 23:43:43.64

pythonできるならpythonでやればいいだろう。

2018/06/03(日) 01:37:31.13

案外遠くないかも
そこに自由自在に英語を使いこなすがあると、キツかった

2018/06/03(日) 18:02:36.60

>>367
c++は使えた方がいい。

2018/06/03(日) 18:10:58.37

ruby持ち出すあたりと言語の数でアピールするあたりは土方

2018/06/03(日) 18:14:00.20

>>362
9割方できるのに年収5割もないんだが

2018/06/03(日) 18:37:18.74

単なる妄想なんだからマジレスすんな

2018/06/03(日) 21:47:17.18

>>371
どうせ転職前だろ

2018/06/04(月) 08:27:18.16

>>369
rubyでやるようなことをC++でやるのは時間の無駄だろう

2018/06/04(月) 10:22:00.48

論文読んで実装できて、DBを操作できて、画像なり自然言語なりひとつ専門分野を
持っていれば、年収1200万以上の求人がちらほらあるな
まあ、そういう奴は他にもいろいろと出来ることがあるんだろうけど

2018/06/04(月) 10:52:45.21

rubyやpython等のスクリプト言語はあくまでスクリプトでありその場で結果を確認しながらデータを操作するのに向いている
C等のコンパイル言語はその場で確認といった用途には向かないが最適化すれば実行速度は圧倒的に高速
なのでスクリプト言語でデータを弄りながら方針決めをして、今後同様の操作を何度も行うのであればコンパイル言語でプログラム作成するのが正しいやり方

2018/06/04(月) 10:58:58.35

Rってまだ必要？

2018/06/04(月) 11:03:37.92

DSならほとんどの職場でRはメイン言語
機械学習エンジニアでも、DSと職務の分業が進んでなければ、なんだかんだで
Rを使う仕事が回ってくることが多い
てかうちがそう

2018/06/04(月) 11:54:54.71

日本なんかpythonエンジニア用無し。
アメリカは高収入なのに。
日本は未だCOBOLエンジニアの需要がある。

2018/06/04(月) 12:12:45.42

COBOLは退職間際のオッサンなら無理に他の言語学ぶ必要もないが、20代・30代がやるのは危険過ぎる
確実に現役中に需要がほぼ皆無になるのが確定してるから

2018/06/04(月) 12:57:44.82

あの何でもコピーして済ませようとする性癖が身につくと
他の言語では３流以下だしね

2018/06/04(月) 13:23:02.38

アメリカでもCOBOL使ってそうだけど^^;

2018/06/04(月) 14:22:53.88

500以上の求人は管理職クラスになってくるからきついよ

2018/06/04(月) 16:27:17.01

DSはともかく、機械学習のエンジニアの求人は、1000以上でもスキル要件自体はそこまで厳しくないような…
まあ。中身よく分からないけどライブラリ実装できます、みたいな奴は論外としても。
大学一年程度の数学を理解していて、はじパタ本に毛が生えた程度の、機械学習の理論に関する理解があって、自分の専門領域を自然言語処理でも画像認識でもとにかく一つぐらい持っていれば、それでスキル要件を満たすんじゃないか
もちろん実務に関する細々としたスキルも、持ってること前提の話だけど

2018/06/04(月) 16:30:37.77

現実見ような

2018/06/04(月) 16:32:51.55

雑談スレ、真板でやれ（常套句）

2018/06/05(火) 00:11:39.63

>>379
米国も一緒よ

2018/06/05(火) 00:28:08.25

アメリカの場合、別にPythonが使えるから高収入なわけではないしな

2018/06/05(火) 01:23:13.95

流石にpython使えば収入上がるなんて夢想するバカはおらんだろ

2018/06/05(火) 01:35:52.92

技術力の豊富さ≠年収ではない

この分野はいかに顧客を騙せるかが年収を左右する。

2018/06/05(火) 09:31:44.79

わかる

2018/06/05(火) 10:36:23.23

pythonのスキルが年収に相関があるんじゃなくて
機械学習的な知識が年収に相関あるんじゃね？
てきとー

2018/06/05(火) 10:48:23.57

数学＋統計＋機械学習
＋python＋DB＋クラウド＋extra　……　これで年収600ぐらいかな
自然言語処理とか、そういう専門領域を身に着けて、給料がすこし増える感じ

年収1000を超えている奴らは普段いったい何をやっとるんだろう

2018/06/05(火) 12:05:50.14

google辺りに勤めてんでは。

2018/06/05(火) 12:09:20.15

よほど機械学習で変わるような業務でないと給与は上がらんでしょ。netflixみたいに推薦がなければ事業が成り立たないような

2018/06/05(火) 12:27:13.03

元々そんなに年収高くないサラリーマンやってる前提の話なのか。
その会社にいたままで高所得は難しいのは当然だとおもうが。
転職やフリーは考えないのか。
たとえばテレビ業界とか年収高いほうだろうが、フリーアナウンサーになるのがいるが。

2018/06/05(火) 13:12:53.70

実際そうなんだよね。求人見ると、よさげなところがちらほらある
何度か転職を繰り返して、いろんな刺激をもらって成長していくうちに、突き抜けるんだろうか

2018/06/05(火) 13:29:21.53

【開戦空振り、〝XDay″】　トランプが米朝戦争、回避したので、九条改憲も、説得力を失った m9(^Д^)
http://rosie.5ch.net/test/read.cgi/liveplus/1528170899/l50

2018/06/05(火) 13:50:33.10

>>394
高級貰ってんだろうな、うらやま

2018/06/05(火) 14:49:58.05

なんでうちのパパ年収1千万超えてたの？
営業マンのくせに

2018/06/05(火) 14:58:19.70

営業は売れば売るだけ稼げる種類のものあるからね

2018/06/05(火) 15:02:27.15

おいしい法人相手の営業とか

2018/06/05(火) 16:24:35.99

金の引換券とか和牛の権利を売りつけていたんじゃね？

2018/06/05(火) 19:15:28.45

>>393
この場合の数学+統計+機械学習ってどのくらいのレベルでしょうか
BishopやMurphyのテキストがちゃんと解読できるくらい？

2018/06/06(水) 06:58:46.99

なんで機械学習ってインタプリタ主流なの？
遅いじゃん

2018/06/06(水) 09:41:33.10

https://youtu.be/zYKOL5RpVbo
【大学数学】ベイジアンネットワーク【機械学習】
概出？

**デフォルトの名無しさん** (JP 0Hf1-etJG) · 2018/06/06(水) 12:33:25.21

全然ネットワークじゃないじゃん

2018/06/06(水) 12:50:20.55

>>404
最新の論文を三日ぐらいで読めればOK
わりとゆるい

2018/06/06(水) 14:14:23.03

>>408
なるほど
あのレベルのテキストだと歯が立たない箇所が多くて

2018/06/06(水) 17:31:32.85

>>405
Juliaは速いんだけどな。

2018/06/06(水) 19:15:06.34

コンパイラ使うの面倒だからじゃね。
PDCAを早く回すならインタプリンタが楽でしょ

2018/06/06(水) 19:38:43.45

実験的にパラメータちょっと弄って変化確認するならインタプリタが最適
その後実運用する段階ではコンパイル型言語使って作り直してコンパイルした方が速度面で有利だろうけど実際のところどうする人が多いのかは知らない

2018/06/06(水) 19:55:44.28

Pythonは実行時にバイトコードにコンパイルする。いわゆる中間コード方式

2018/06/06(水) 21:12:31.67

結局、機械学習って、
技術追求してもデータに対するアプローチ（指標）が解らないと、詰む？

2018/06/06(水) 21:23:35.70

どうしてそういう学習をしたのかプレゼン出来ないと
資金源を断たれて詰む

2018/06/06(水) 22:16:22.03

研究者レベルのことを求められても困るのだ

2018/06/06(水) 22:34:15.26

>>415
グーグルのアルファ碁からしてわかってないけど発展してるだろ。
別にはなるが、ディープラーニングを広義に学習方法の自動学習法と捉えた場合。
使う手法が、多層ニューラルネットである必要はないわけだが。このへん進んでるか。

ディープラーニング - Wikipedia

しかし、近年、ヒントンらによる多層ニューラルネットワークの学習の研究や、学習に必要な計算機の能力向上、
および、Webの発達による訓練データ調達の容易化によって、充分学習させられるようになった。
その結果、音声・画像・自然言語を対象とする問題に対し、他の手法を圧倒する高い性能を示し、2010年代に普及した。
しかしながら、多層ニューラルネットが高い性能を示す要因の理論的な解明は進んでいない。

2018/06/06(水) 23:08:00.64

Wikipediaコピペは馬鹿にされるからやめたほうがいいよ

2018/06/07(木) 00:41:54.57

機械学習の個々のアルゴリズムには流行り廃りがあるけど統計学に基づく点には変わりないので
最新の機械学習のブラックボックス化された関数使えるより統計学を体系的に学んでいる人の方が長期的には有利

2018/06/07(木) 04:16:51.96

これは?

情報幾何への入門と応用
http://www.sci.osaka-cu.ac.jp/~ohnita/2006/inf_geom/sos_dan/book_0403.pdf

非加法的エントロピーを加法的エントロピーにする方法ーAdS/CFT対応の情報幾何バージョンー
http://www2.itc.kansai-u.ac.jp/~afujioka/talk/tanaka.pdf

2018/06/07(木) 06:24:32.11

CNNとLSTMを"deep"でひとくくりにしていいもんだろうか

2018/06/07(木) 10:15:29.32

>>413
バイトコードにしたからと言ってネイティブ機械語みたく爆速になる訳じゃないよ
for文とかアホみたいに書いてるよりスッキリnumpy使え

2018/06/07(木) 10:17:11.63

>>417
ほんそれ

2018/06/07(木) 18:31:54.55

>>419
いまは実感が湧かないけど、たぶんだけど35歳とか過ぎた頃に違いが出てくるんだろうな

2018/06/07(木) 20:13:26.28

５０過ぎてからだよ

2018/06/08(金) 10:00:08.97

うそです

2018/06/08(金) 14:38:59.67

>>419
わかる

2018/06/08(金) 16:35:10.53

わからない

2018/06/08(金) 19:38:32.54

>>420
情報理論は場合の数の加法性の仮定が前提にあるから使えない。
後者の記事は条件が限定的過ぎて使えない

2018/06/09(土) 17:15:22.94

機械学習のブラックボックス化された関数うんぬんというけど
数学わからない癖に機械学習のアルゴリズムを組んでる
文系エンジニア的な奴はそんなにいないよなあ
そんな入口そうそうない

2018/06/09(土) 18:48:56.36

機械学習ブームがここまで盛り上がるなど予想されていなかったので基礎研究からやってる企業を除いて機械学習の専門家を雇っている企業などほとんどない
バリバリの理系出身だとしても大半は専門外の人間が錬金術的にパラメータ調整してたまたま上手くいっているだけで基礎から理解して使えている人はそうそういない
偶然の産物だろうが適切な出力が得られていればそれで構わないが、基礎が分かっていないと今後新しいアルゴリズムが主流になった時も同様に運任せで錬金術することになる

2018/06/09(土) 19:22:31.21

とブームが終わった頃にいうアフォ

2018/06/10(日) 01:49:54.08

だとしたら、アセンブラ出来ない奴、デジタル回路が組めない奴、はみんな基礎が分かってないから
運任せでプログラムを組むべきじゃないなw

要は、各々の世代でどのレイヤーの知識が重視されるか？なんだと思う
今はベクトル数学や統計学のレイヤーとは離れた技術が上の層にどんどん積み重なっていて
そろそろ分業しないと成り立たなくなる時代が来ている様な気がする

2018/06/10(日) 08:25:10.29

富士通のZinraiとか、金かけて、宣伝しているけど、
国内企業のAIってどのレベル？

某大手企業のを試用した範囲では、ゴミのような出来。
このスレの連中のような趣味でやってるレベルにも達していない。

「偶発的な適切な出力」という表現があるけど、
恐らく、作っている奴は、「適切」の指標すら解っていない。

2018/06/10(日) 08:39:03.72

大手企業つっても零細に丸投げしたの納品したりするから出来がまちまちなんだよ

2018/06/10(日) 08:47:48.39

東芝、NEC、オムロン、富士通、日立
みたいなところの研究所からは
まともな研究が出ているけど
それを商品化するところは丸投げするから
変なのが出てくる

2018/06/11(月) 09:37:38.76

>>436
東芝とNECは会社が危ない。

2018/06/11(月) 09:44:11.75

日本のメーカーは組織が疲労している　P ドラッカー

2018/06/11(月) 10:04:59.45

AIで会社を何とかしたら

2018/06/11(月) 10:10:19.21

AIで会社経営を立て直すには過去の大量の成功・失敗の経営情報が詳細な内部情報とセットで必要であり
それは一社及びそのグループ会社程度の規模では量的に足りなさすぎるので実質的に不可能と考えて良い

2018/06/11(月) 11:25:28.44

三菱、神戸製鋼、・・・

2018/06/11(月) 11:25:56.82

日産も

2018/06/11(月) 12:18:31.90

旧財閥系が全部ダメと

**デフォルトの名無しさん** (JP 0H05-iGaC) · 2018/06/11(月) 12:29:12.99

BIやっても
それを読み解いて
活用できる経営者が居ないとね

2018/06/11(月) 12:42:50.14

AIは魔法ではない

2018/06/11(月) 13:58:40.95

CIしよう

2018/06/11(月) 15:35:31.29

機械学習って、統計学の横に色んなジャンルが派生的に発展していて
縦に発展しているようなイメージがないんだが

流行り廃りで、いま学んだ知識の大半が今後は通用しなくなりそうというか
業界の人たちはかなり悲観的だよね

2018/06/11(月) 15:53:18.80

積み重ねだから役に立たなくなるってことはないよ

2018/06/11(月) 17:56:57.83

派生部分しか理解していない人は流行りが終了すれば新しい流行りを1から勉強し直す
根幹となる統計学が理解できていれば新しい流行りの理解も早いはずなので流行り廃りに対応しやすくなる

2018/06/12(火) 06:43:03.81

大学程度の数学と物理をやっとけ。できるなら修士レベル。後は後からどうにでもなる。

2018/06/12(火) 06:45:11.66

あとからどうにでもなるなら、高卒でもいいだろ。
機械学習に必要な分だけ勉強すれば。

2018/06/12(火) 06:47:10.58

物理関係ないだろ

2018/06/12(火) 06:47:30.25

中卒から始めるデータマイニング

2018/06/12(火) 07:30:35.71

>>451
勉強などやる気さえあれば誰でもできるがそもそも高卒という時点で機械学習エンジニアとしての採用はほぼ閉ざされるから
企業のリソース使わず自力で機械学習でビジネス起こす当てがあるなら話は別だが

2018/06/12(火) 08:09:53.72

数理工学、数学、統計
が一番採用したいけど
そもそも人口が無いから微積と線形代数だけ分かれば後は頑張ってみたいな感じだよ

2018/06/12(火) 08:29:01.32

数学・物理の出身者は、物事を抽象化して捉えるセンスが群を抜いてる。

論理性と違って鍛えることが難しいし

2018/06/12(火) 09:18:08.49

ホルホル