【統計分析】機械学習・データマイニング25

2019/06/27(木) 01:53:38.17

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

2019/07/25(木) 21:57:34.68

>>466
上位10%ってのはsignateの武田だけどね試しにやってみた
それも上位５％ぐらいで止まってるけど
ちなみに農家だけどね

2019/07/26(金) 00:09:21.49

>>448
こっそり挿せばわからんてｗ

2019/07/26(金) 00:26:39.99

フルパワーで回したら電子レンジ並みの電力消費だから電気代でバレそうw

2019/07/26(金) 01:05:02.28

三上悠亜のモザイク外しが出回っとるな。GANらしいが。

2019/07/26(金) 11:35:59.54

夢乃あいかちゃんもお願いしたいね

2019/07/27(土) 11:33:27.43

deepnudeこそディープラーニングの最高の応用だったのに潰されたね

2019/07/27(土) 16:34:26.87

ディープヌードだとう！？
全裸なんだな！？

日本じゃ違法だぞ？
マンコ露出はタイホじゃ！

2019/07/27(土) 16:37:17.72

n●de.js

2019/07/27(土) 18:34:34.88

●●●

2019/07/31(水) 00:19:32.64

xgboostとhyperoptの理論のお勉強中。
そろそろプロとしてデータ解析している人たちの背中が見えてきた頃合い？
今やってることより難しくなると、ガチでついていけなくなる

2019/07/31(水) 08:04:02.30

仕事でやるのかコンペに参加するのかっていう
仕事だと目標値とデータと時間と金の関係で終わりが見えて効率よくやるんだろうけど
コンペとかだと限界が無いんで僅かな数値upの為に
無駄に頑張らないといけないところがあったりで研究者っぽいけど
仕事とコンペは少し違いそうだけど

2019/07/31(水) 09:58:18.11

趣味でしょ

2019/07/31(水) 10:48:09.01

社会系は精度そんなにいらないらしいからな
機械学習を使って一般的なデータ分析をしてる人たちは、意外とアルゴリズムの調整とかしないのか
画像処理も機械学習はあんまり重要視されないし、
業務でがっつりアルゴリズムについて勉強する必要がある分野は、自然言語処理ぐらいかなあ。
あれも地味な作業が多そうだけど

2019/07/31(水) 15:00:24.92

>>461
販売予測なんてのは
営業出身のクルクルパーの部長クラスに
それっぽいグラフを見せて
「これで御社の売り上げは50%UP間違いないです！」と、
適当なこと言うだけで
「素晴らしい分析だ！」となって
たんまり儲かる

バカを相手にする仕事だから
むちゃ楽だよ

2019/07/31(水) 15:03:40.66

予測と現実の付き合わせはしないの？

2019/07/31(水) 15:15:18.07

そこら辺を真面目に詰めたら予算を超えて、
依頼者にとっても儲からない話になる

2019/07/31(水) 15:31:43.02

>>462
ほんとそれ
バカ相手にする仕事はボッタクれる
しかしいつかバレるのは間違いないから
氷河期には備えてる

2019/07/31(水) 16:21:39.42

>>465
バカは沢山いるので氷河期まで
あと100年は安泰です

2019/07/31(水) 16:33:21.22

年金と一緒で利益還元を10年先送りしますとかで押し通す

2019/07/31(水) 16:35:28.60

厨房の寝言いっそ

2019/07/31(水) 16:56:37.78

BtBだと、先方も財布のヒモが固くなったけどなあ
お金を出す決定権を握ってる人が、お金を出したくなるような分析・開発サービス、商品がウケやすい

保守契約の充実とか、簡単設定とか、わかりやすいプレゼンとか
会議用の資料をこちらでご用意とか

2019/07/31(水) 18:03:38.32

>>469
企業にて決定権を持つまで出世する奴は
上司よいしょに徹する馬鹿が多い

そんな馬鹿と付き合うには、
馬鹿にでも分かるグラフを用意すべき

100回の分析より馬鹿でも分かるグラフひとつのほうが重要であり、
そのグラフを作り出すのが
データサイエンティストの仕事

そう思ってやってきまして、
どうやら今のところ大成功ですよ

2019/07/31(水) 18:07:24.76

またお前か

2019/07/31(水) 19:06:20.23

エアプサン

2019/07/31(水) 21:50:47.59

まぁリテラシー上げなきゃどうにもならん
行き過ぎた場合は法廷へGO

2019/07/31(水) 22:07:34.03

営業はクルクルパーだろうけど、
コンサル系やMBA持ちは多少なりともデータ分析の心得が有るので、
ハッタリは無理

2019/07/31(水) 23:37:30.87

グラフ作成が重要なのは間違いないけど、
機械学習エンジニアの肩書をただのハッタリに使って、
アナリストに徹するなら、BIツールに存在意義で負けていそう

まあ、ビジネスで精度を提出する時に、
ROC曲線とか出しちゃ駄目なのはガチだろうがな
分かってもらえないんだよねえ

2019/08/01(木) 01:30:54.70

金融界はコイントスで１０回表が出たからそろそろ反転するみたいな
理論がまかり通っているからな。

2019/08/01(木) 06:19:25.72

金融界をろくに知らないくせに分かったようなことを書かないこと

2019/08/01(木) 07:23:00.27

>>475
ROCは使わないことが多いの？

2019/08/01(木) 07:32:09.27

金融界のプロが来た‼??

2019/08/01(木) 07:47:23.48

一般人はROC曲線の意味を理解してないだろうからな
再現率適合率辺りが分かってもらえるギリギリのラインじゃない

2019/08/01(木) 08:35:36.69

横からすまんけど
以前、外資系投資バンクで
債券価格の予測システムを作ってた。
債券といっても仕組み債のほうで、
主として不動産がらみの債券を
担当してた。

実際の予測はとても複雑で、
独自の指数を作成したり
ありとあらゆることやってた

マーケットはランダムウォークしてませんからね。
いつも予測を外してる馬鹿が
言い訳としてランダムウォークしてるから
予測不可能といってるだけです。

2019/08/01(木) 09:27:09.97

ランダムだとしたらその分布を予測するのが仕事だろうに

2019/08/01(木) 09:28:25.36

ROCが駄目な理由はふたつある。
ひとつは分かりにくい。
ひとつはクラス分類の閾値の設定を見る側に委ねていること。

仕事を発注する側は素人だから、
ROC曲線から判断して、この確率でクラスとクラスを分けるとうまくいきそうだなあ、
的な判断を下したがらない。
分析結果が明白で、そこから派生する意思決定の選択肢の幅が狭いものが好まれる。
まあ。あくまで底辺の仕事だけど。

2019/08/01(木) 09:52:27.97

当然モデルを使用する
プライシングとリスク計量とでは色々と異なるが

dr=u(r, t)dt + σ(r, t)dW は基本

価格予測も将来分布で考える
〇〇円になるなんて予想は不可能なのでありえない

2019/08/01(木) 10:27:29.34

>>484
金融なんて興味なかったけど、ちょっと楽しそうな気がしてきた

2019/08/01(木) 11:49:55.48

金融なんか構造不況業種だぞ。
欧州最強”ドイツ銀行、苦肉のリストラ　破綻すれば「リーマン・ショック」以上の衝撃
https://bunshun.jp/articles/-/12877

2019/08/01(木) 12:34:49.54

それはシナ資本だｗ

2019/08/01(木) 13:26:29.13

>>487
日本もゼロ金利や下手をするとマイナス金利で地銀の大部分やメガでもみずほ証券は野村が危ない。

2019/08/01(木) 13:40:18.35

自分でやる気はないけど、調べてみるぐらいなら面白そう
今度、掛け金を10万円で区切って遊んでみようかな

2019/08/02(金) 08:46:44.40

>>482
Fラン学生のクズのしったかとバレバレだぞ(笑)

2019/08/02(金) 09:26:15.84

目くそ鼻くそ

2019/08/02(金) 09:38:56.52

横からだけど、出力値の分布の母数を予測するのが仕事なんじゃないの

2019/08/02(金) 12:29:58.55

何の話？

2019/08/02(金) 12:58:40.20

>>488
銀行の役割は終わってる　野口

2019/08/02(金) 13:03:21.86

昨日発表されてた平均寿命のグラフが
なんとなく平方根のグラフっぽく見えるのですが
こういう曲線になる理由って判りますか？

2019/08/02(金) 13:04:43.85

これです
https://oku.edu.mie-u.ac.jp/~okumura/stat/life_expectancy.html

2019/08/02(金) 14:11:56.59

遺伝子的な限界があるのでしょう。
伸びしろが少なくなれば成長が鈍化するのは自然。

2019/08/02(金) 14:22:28.72

元から健康な状態の寿命があり
人類の医療は死亡率の高い病気に多くの予算を当てて研究し、予防や治療を行う
1つの主要な死因の順位が下がれば次の死因の根絶に取り組む

2019/08/02(金) 15:03:19.91

ああ平方根じゃなくて対数グラフなのか
それなら判る気がする

2019/08/02(金) 19:00:22.38

>>492
バレバレだぞクズ
全くなにもわかってね―な

2019/08/02(金) 19:58:42.36

>>495
大数の法則

2019/08/03(土) 06:22:43.02

なんちゃってデータサイエンティストの分析手法
・最低限の前処理
・ランダムフォレストを使って重要な特徴量を探す(ここは飛ばしてもいい)
・前処理２
・XGB、DL、SVMあたりで学習
・線形でモデルに重み付け or アンサンブル（飛ばしてもいい）

2019/08/03(土) 10:18:11.45

先に人間が統計を駆使して目途を付けて結果を予測
持論の裏付けするためにツールを利用
どこがAIやねん

2019/08/03(土) 10:32:49.56

【稀代の詐欺師】ソフトバンク、利益1兆円でも「法人税ゼロ円」　孫正義氏の年間配当100億円　
https://asahi.5ch.net/test/read.cgi/newsplus/1564793437/

2019/08/03(土) 11:39:45.35

C＋＋覚えたら実行速すぎワロタ

2019/08/03(土) 16:18:59.65

>>502
おっ今の書き込みにいい情報見つけた
Thx!!

2019/08/03(土) 19:00:57.82

>>503
artificialだろ〜

2019/08/03(土) 20:55:22.59

>>505
俺もすこし書けるけど、学習を回す時はほとんどの場合においてpythonと大して変わらないぞ
あと学習パラメータの調節も難しいし、前処理のライブラリがpythonに比べて少ないから辛い
例えば、caffeはデータサイエンスにはまず使えない上に、
画像処理に応用しようとすると、データ拡張のところで多大な悲しみを負う

2019/08/03(土) 23:55:29.15

C系はCPUに直接打てる命令をかけるからね
効率よく描くとJavaより数百倍とか信じられないレベルで高速化可能

でもCPUのレジスタとかハードウェアの理解が必要だからちょいと大変
興味があればやってみるとおもろい

さらにGPUも！

世界がわかる

2019/08/04(日) 04:25:23.44

Ruby では、

JRuby(Java 実装系)のJIT は、百万回からコンパイルされる。
一千万回(実行時間で、1秒)では、なんと、MRI(C 実装系)よりも速くなる！

このように最適化では、Java は数十年も研究してるから、C よりも速くなる！

2019/08/04(日) 10:02:37.99

GPUを動かすとpythonとCの速度差は10分の1程度になる
結局、GPUのインターフェイスを実装して実行するだけだからな
ライブラリが豊富だから、実際の開発だとpythonの方が良い精度を出しやすい

逆に機械学習にあまり興味がなくて、ツールとして使いたいだけならC言語がオススメ
最新技術のキャッチアップできる組み込み系のエンジニアになれば、
独立後に高給取りになれる

2019/08/04(日) 10:05:48.68

機械学習に関して言えばpythonでもボトルネックになる部分はCで実装されているから速度は大して問題にならない
やりたい事のやりやすさで選ぶべき

2019/08/04(日) 10:09:28.40

機械学習における各言語の速度はこう
C言語 > python > java
python > java はGPUで学習する時のライブラリの差ということで

基本的にはjavaの方がpythonより実行速度早いし、開発コストも格段に安い
pythonのエンジニアに学習済みモデルを作成させて、
javaで実装する開発形式が一番コスパよさそう。javaのエンジニアはお給料が安いからな

2019/08/04(日) 10:20:12.88

あとデータから学習してモデルを作成する機能をシステムに組み込むなら、javaはあんまりよろしくない
ライブラリが貧弱。開発コストが高い。実行速度が遅い。三重苦でつらすぎる

それでも大規模開発なら仕方ない面もあるのかなあ
誰か大規模開発でjavaがどう使われているのか知らないか

2019/08/04(日) 10:42:39.96

javaからgpuいじれた？

2019/08/04(日) 10:47:58.62

直接は無理じゃないかな
CUDAでdll作って読み込むとかかな

2019/08/04(日) 11:02:10.89

>>511
後半は夢物語

2019/08/04(日) 12:20:17.43

>>516
thx
並列並行分散処理ではありかな、とも思うけど。。。

2019/08/04(日) 14:09:29.63

>>514
普通にApache Sparkじゃない？
MLlibとかあるし
まぁpyapaek使えばいいけど

2019/08/04(日) 14:09:56.01

pyspark
です

2019/08/04(日) 14:32:04.42

javaエンジニアが薄給なのは「未経験でも君もエンジニアに！」的な企業が真っ先に教えるのがjavaで、
そこからSIer傘下の多重下請ピラミッドの底辺に大量に送り込まれるから平均値として低くなるだけだぞ
当然そういった経路を通らずに進む上位層も一定数いるので、そっちに限れば大して低くはないはず
結局はやりたいことが最も簡単に実現できるものを自分で調べて選択すればよい

2019/08/04(日) 15:11:18.45

また妄想を語る爺

2019/08/04(日) 19:11:17.00

5大SIer も、土建業と同じ構造、多重下請け構造

1社通すと、3割抜かれる。
この3割は、保険料！

5大建設会社の平均年収は、1,500万円あるだろ

小沢が、東京を通さず、地方が直接受注すれば、半額になるというのは、こういう構造のこと。
中抜きすれば安い

その代わり、保険が無くなる。
不備があっても、その会社は賠償に応じず、倒産するかも知れない

小沢の弟子の、れいわ山本太郎も、こういう上流階級をつぶすのが目的

2019/08/04(日) 19:22:26.79

5大SIerがどこだかわからんけどSIerは客のゆうこと聞くだけで提案力が無いのは何故?
日本のSIerからイノベーション的なものがほぼ皆無
どっかまともなとこないものかね

2019/08/04(日) 19:24:18.95

IPに見おぼえあってわろす

ってか地震

**523** (ﾜｯﾁｮｲ 2a2c-n0r7 [219.162.237.2]) · 2019/08/04(日) 21:00:03.36

SIer は保険業だから、設計などの実務は外注

SIerの給料は、2千万円とか高いから、自分で実務をやれない。
実務をやると、下請けと同じ仕事になるので、給料が下がってしまうから

例えば、銀行では、プログラマーに聞いても、
SIer とは、違う会社なのでわかりませんとしか、答えられない

そこで、SIerを呼ぶけど、SIerは設計を外注してるから、全くわからない。
それで、銀行が怒って、SIerの責任者がドンドン変わるw

Waterfall では、プログラミングフェーズから、設計フェーズに戻れないため、廃棄処分しかできないw

これがSIer のSolution !w

2019/08/04(日) 21:25:15.54

ん～例えば銀行であればAI融資審査をやるのに
受注側（SIer？）はロジスティック回帰等の手法を理解できさらに財務、CF分析ができる人間が仕様をユーザー調整し
さらに実装レベルまでやってしまう仕組みを作っちゃった方が良いってことかな

2019/08/04(日) 21:37:05.10

>>526
爺さん乙

2019/08/05(月) 00:05:44.05

何故か日本のSI業界では上流工程＝下流工程より身分が上、という意味不明な理解がまかり通ってるのが面白い
本当は単なる役割分担でしかなく、それを正しく認識できている文化圏では上流だから高給なんてことにはなり得ない

2019/08/05(月) 00:13:58.81

Waterfall(LOL)

2019/08/05(月) 00:43:55.10

それ統計機械学習に直接関係しないよね

2019/08/05(月) 01:11:13.22

経済関係の予測って時系列データとしてやるようなもんかね？
直接測定できない隠れ変数の存在を定義するより、パラメータ足りてないのが悪いとしたほうが良いんじゃないだろうか

2019/08/05(月) 02:16:25.38

>>532
5chはFランのクソ馬鹿が
知ったかぶりするところ

おめ―のように
考えてるふりしてる
知ったかくんも多いのよ

2019/08/05(月) 03:21:55.64

ムキになるなよ

2019/08/05(月) 03:47:40.57

馬鹿は気楽でいいな

2019/08/05(月) 05:37:14.04

Sierなんて結局は自分より能力が劣るエンジニアしか掻き集められないから

2019/08/05(月) 18:51:43.48

それでもSierは儲かってるから
いいんじゃないの？

仕事は儲けるためにやる
儲かればよい

朝鮮人なのに中国人気取りの損正義もそういってる

2019/08/05(月) 19:51:17.38

差別主義と低IQは相関関係があるそうな
http://健康法.jp/archives/6454

2019/08/05(月) 19:58:44.96

SIerのビジネスモデルが近いうちに成立しなくなるのが問題なのであって今儲かるかだけを見ても仕方がない

2019/08/05(月) 20:08:35.43

ふむ
このスレに約一名IQが低い人が常駐しているようですね

2019/08/05(月) 20:53:09.73

>>537
孫は技術なんか興味はない、あるのは錬金術

2019/08/05(月) 21:20:08.53

>>541
損は無能
今まではたまたま運がよかっただけ
損は株暴落で破産

2019/08/05(月) 21:27:03.71

>>542
>>504

2019/08/05(月) 22:04:10.30

SIerなんていっくら会社が儲かっても社員は地獄だろ

2019/08/05(月) 23:03:18.53

地獄だろうが彼等自身が選んだ道さ。

2019/08/06(火) 07:11:15.72

機械学習のエンジニアだったら、優秀な人は下請けで働かないから関係ない人種だな
これ以上は他所のスレでやろう

2019/08/06(火) 07:57:27.67

機械学習の下請けというのは結構ある。
そして本当に地獄だ。

2019/08/06(火) 08:33:35.42

俺は下請けだったけど
実際に手を動かして分析してたから
すごく楽しかった！

今は転職して大手にきて自分で手を動かす
機会が減って
書類仕事が増えてしまいました。
下請けのほうが楽しかったなあ(遠い目)