【統計分析】機械学習・データマイニング26

2019/09/15(日) 09:23:06.34

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured

2019/09/15(日) 09:59:37.11

2019/09/24(火) 23:47:17.70

XGBoostが諸刃の剣になっちまった

2019/09/25(水) 00:19:36.48

前スレ>>992
べイズ統計学ってなーに？
分かりやすく教えて！

2019/09/25(水) 07:14:40.74

>>4
https://to-kei.net/bayes/basic/

頻度論
パラメータが定数、データが変数（確率変数）

ベイズ統計
パラメータが変数（確率変数）、データが定数

2019/09/25(水) 08:15:33.35

>>5 最近機械学習始めたバカだけど、ベイズ統計のほうが圧倒的に役立つ気がする。

2019/09/25(水) 08:37:12.96

須山がすっきりわかる本を出せばいいのに出さないのが悪い

2019/09/25(水) 09:16:10.18

>>5
最尤推定はベイズなの？

2019/09/25(水) 09:54:14.76

前処理→頻度統計(ここでの意味は、一昔前の統計学)
機械学習の理論→ベイズ統計

前処理がうまくなると、精度が上がるだけでなく、モデルの安定性が格段に増す
理論が分かると、個別の問題設定に対応した黒魔術が出来るようになる

結論、どっちも大切

2019/09/25(水) 10:52:23.26

>>8
最尤推定推定は最尤推定、ベイズ推定とは別と理解している。

深層学習とかで使う、対数尤度の式を展開するときベイズから展開する時があるような？

2019/09/25(水) 13:19:04.63

>>6
最近始めたばかりのやつがどちらが役立つかなんてわかるわけねーだろ

2019/09/25(水) 13:30:28.23

でも勉強を進める上でどっち先にやればつまらないかってのはあるんじゃない
理論よりならベイズ、実務よりなら頻度だろうな

2019/09/25(水) 14:09:59.84

みんなはどうやって環境構築してるの
anacondaを使ってやるのがセオリー？

2019/09/25(水) 15:07:16.78

anacondaは初心者のうちだけ使う
でも最近はAWSがサポートしてるからまた使いたくなってきたな

2019/09/25(水) 18:36:46.01

俺、初心者じゃないけどanaconda使うわ

anaconda使うことを否定する派は
1. 昔のトラブル多い時代から触っているヤツ
2. システム環境領域にインストールするヤツ
のどっちか

個人領域にインストールする分には全く問題ない

2019/09/25(水) 18:40:09.58

環境構築は今アホみたいに簡単になってるのね
参入障壁下がったなー

2019/09/25(水) 19:38:21.27

condaは数年前からあるよ

2019/09/25(水) 19:39:44.94

数年どころじゃないな。でも日本で広く普及したのは2015年ぐらいからだと思う
その頃にはアプリをダウンロードして解凍すればハイって
状況が整ってた。書籍もいっぱい出てたし

2019/09/25(水) 21:30:03.73

うｂｙにもcondaがあればな
gemじゃだめだ

2019/09/25(水) 21:32:09.14

rubygem

2019/09/25(水) 22:49:49.65

anacondaは今でもPATHの問題はある。
それでも他のpython管理でぐっちゃになるよりかは管理は楽だったりする。
それでも問題ならコンテナ使うなりVM使うのが正解。

2019/09/25(水) 23:40:30.85

個人で使うならcondaでもいいけど、
linux環境ならVMでpipかコンテナ、windowsならコンテナを使うほうが主流だと思う

pythonのコミュと、condaのコミュが喧嘩したままなのがすべて悪い

2019/09/26(木) 07:08:44.02

>>pipかコンテナ

コンテナっていうのはanacondaとかvirtualenvのこと？

2019/09/26(木) 08:47:24.45

簡単だから
ついアナコンダ使って
インスコしてしまうw

2019/09/26(木) 09:10:37.91

重いコンダラ

2019/09/26(木) 15:00:47.07

>>23
dockerを想定していた

2019/09/26(木) 17:08:15.06

dockerかーそっかー

2019/09/26(木) 19:20:37.52

>>22
気持ちは分かるなぁ

Pythonコミュニティは無償で維持し続けているのに、単なるパッケージャのAnacondaが会社まで建てて儲けまくり

それでもmklを無償で使えたり、Nvidiaのドライバがすんなり入るのはAnacondaチームの政治力だと思うんだ

2019/09/26(木) 21:15:34.59

mklのインストールもすんなり行くけどね

2019/09/26(木) 23:00:37.89

>>28
あの会社、そんなに影響力あるんだ

2019/09/27(金) 00:37:37.36

機械学習だけか分からんけど、英語論文に出てくるmotivationってどういう意味なの？直訳動機付けなんだけど…

2019/09/27(金) 05:01:55.83

機械学習に見切り付けるよ。サヨウナラ
客の懐事情が悪い。

2019/09/27(金) 06:28:45.14

画像処理か。もうどこも導入が終わって下火だよなあ

2019/09/27(金) 08:02:21.46

へー

2019/09/27(金) 08:39:58.85

今の日本は奴隷国家だから機械学習使うよりもたいていは
人間こき使った方が採算獲れるというね。。

2019/09/27(金) 09:00:45.67

画像処理は世界共通だからね。
ベトナムの企業に依頼すると
日本の10分の1で済んでしまう

2019/09/27(金) 14:41:02.85

dockerを使ったら
pipでもanacondaでもどちらでもよくね？

2019/09/27(金) 16:07:12.55

ちょっと酷いよね
https://toolmania.info/post-9815/

2019/09/27(金) 16:24:04.32

画像処理は仕事がまだあるけど、需要と供給が拮抗しはじめて以前ほどボロくない
あとカメラ業界が儲からなくなって、若く優秀なエンジニアが画像処理に転職してくてるから、
全体のレベルは跳ね上がって別の意味でも辛い

2019/09/27(金) 17:04:54.88

cudnnて何でCUDA toolkitと一緒に入れてくれないんだろう
あと、なんて読むのだろう
クゥドゥン？

2019/09/27(金) 20:29:30.83

画像系はとっくにコモディティ化したのかと

GCPは数十枚単位の画像で学習終了

2019/09/27(金) 23:53:42.50

>あとカメラ業界が儲からなくなって、若く優秀なエンジニアが画像処理に転職してくてるから、
カメラメーカーからソフト屋に転職してきてるのか・・・最悪だな

2019/09/28(土) 01:00:16.83

カメラ技術者をソフト会社がわざわざ雇う意味あるの？

2019/09/28(土) 01:39:26.59

カメラのメーカーにもプログラマーはいる

2019/09/28(土) 06:53:25.01

カメラメーカーでCのコードを叩いてるエンジニアは、能力的には上の上でも給料的には並だったりするんだよね

BtBの画像処理は光学やカメラに対する知識の方が画像処理より重要だったりするんだけど、
奴らはそれを理解しているから機械学習を勉強して転職してくる
生粋のソフト屋より有能

2019/09/28(土) 06:58:42.45

妄想じゃん

2019/09/28(土) 06:59:47.47

プログラマーがカメラメーカーに就職してメカトロ勉強するのマジ辛いけど
向こうからこっちくるの超簡単じゃん。それでお給料がボンッ、ボンッと増えるんだから
侵略しにくるでしょ。俺達では太刀打ちできない

2019/09/28(土) 07:01:07.69

>>46
勉強会で知り合った人がカメラメーカーに務めていて、
彼から話を聞いた。マジ

2019/09/28(土) 07:01:35.44

噂じゃねえか

2019/09/28(土) 08:03:18.08

そうだとは思うけれど絶対数がかなり少ないだろ

2019/09/28(土) 12:29:51.89

>>35
人間こき使ってコスパで負けるようになって機械学習を使う。

2019/09/28(土) 17:00:38.83

>>35
派遣社員っていう会社にとって都合のいい社員も存在するしな
誰があんなものを作ったのか中国やアメリカの派遣社員より相当緩い仕組みになっているし
漫画家とか技術者もそうだが中間で採取されて制作している人にはお金が行かないようになっている
全体的に上に行っても負担が増すぶん給料は上がらないんで上昇志向はどの国よりも低く
今の若い奴等は年金が支払われる前に痴呆症になってるんじゃないかっていうぐらいまで働かないといけないっていう

2019/09/28(土) 17:18:59.65

そんなことは就職前から分かりきったことなんだから最初から搾取する側に入ればいいだけのこと
努力せず遊び呆けて働きだしてから「日本は搾取の構造だ！」と叫ぶ馬鹿が多すぎる

2019/09/28(土) 17:35:15.12

>>53
採取する側は叩けば埃の出るような犯罪者っぽいのがほとんど
競争社会を勝ち抜いて行った先にあるのがそれだろ
それに努力すれば金持ちになれるようなルールにはなっていない

2019/09/28(土) 17:46:59.71

そうそう
儲けたほうが勝ち！
楽しんだほうが勝ち！

2019/09/28(土) 17:51:02.93

努力して上位大学を卒業するだけで割と簡単に搾取する側になれるルートが誰にも用意されているのに何を言っているのか

2019/09/28(土) 18:07:32.13

>>56
そう思ってるだけで実際は採取されてるんじゃないの？
上位大学ねー
競争意識を利用して国が一番採取する人材を作り出しているところだな

2019/09/28(土) 18:44:22.08

競争に買った側を犯罪者呼ばわりしたり、なんというか惨めな負け組が僻んでいるだけにしか見えない

2019/09/28(土) 19:17:43.06

ここに居るようなAIのプロなら全員自作投資AIで資産を数倍にできるし…

2019/09/28(土) 19:34:03.45

一万円を三万円にするのか

2019/09/28(土) 19:50:07.20

卑怯な手で勝つ奴がいるからだろ

2019/09/28(土) 20:29:02.97

>>53
こういう馬鹿がさらに搾取構造を強化してるわけだ。

2019/09/28(土) 20:57:19.58

自分が考え付かなかった=卑怯

2019/09/28(土) 20:58:01.59

>>50
しっかりした技術力を持ってるところなら大丈夫だろうな

2019/09/28(土) 21:04:22.30

「搾取する側は馬鹿だ！」と騒いだところで搾取される側は搾取され続けるんだがな

2019/09/28(土) 21:12:39.63

搾取側は騒がれるのを一番嫌がってるんだがな。
ワタミも騒がれなくなったら馬鹿が戻ってきやがったｗ
また地獄行きだよ。

2019/09/28(土) 23:13:39.09

採取する側に立ったとして人生の貴重な時間を若い頃から費やしている訳で
お金で幸せは買えないが、時間で幸せは買えるとか
時間を重視する派の方が金を重視する派より仕事の満足度も幸福度も高いとかっていう
統計的結果が出ている中、仕事に没頭してガッツリ税金を納めている訳だから
それはそれで代価を支払っている訳で
何もかも手にしている訳では無いわけだけど

2019/09/28(土) 23:31:21.95

むしろ日本では搾取される底辺達用のきつい仕事ほど給料少なくこき使われる傾向なので自由に使える時間もなくなる

2019/09/28(土) 23:38:21.63

>>68
そう思っている分野って意外に年取った奴も多く居たりしてないか？
若い奴しか居ない分野より本当に大変なのか？っていう

2019/09/29(日) 00:41:09.63

プログラマーの仕事も激減するなって分かるな
AWSやGCPがいったい何人のプログラマーの仕事を奪ったか分からない奴は時代感覚がない

2019/09/29(日) 00:41:10.26

プログラマーの仕事も激減するなって分かるな
AWSやGCPがいったい何人のプログラマーの仕事を奪ったか分からない奴は時代感覚がない

2019/09/29(日) 01:11:21.55

RPAで事務職がほとんど減ってないじゃないか？

2019/09/29(日) 02:45:48.79

rpa以前から事務職なんてほぼ消えている

2019/09/29(日) 08:06:29.75

>>73
公務員。

2019/09/29(日) 08:36:26.89

>>73
富士通、間接部門5千人を営業・SE等に異動…大企業の間接部門 .
https://biz-journal.jp/2018/11/post_25629.html

2019/09/29(日) 08:42:09.86

RPAってただリストラの口実に使ってるだけ。

2019/09/29(日) 10:32:16.40

>>70
AWSやGCPって便利だけど
使ってみたら料金の高さに唖然・呆然！
直ぐに解約した。

あの金額をプログラマに払えば
かなりプログラマは裕福になると思う。

社内にサーバー設置して
AWS風のクラウドを構成
すればいいだけ。
簡単だよ。

2019/09/29(日) 10:34:10.47

そう？
電源確保して
冗長構成して
マシンも定期的にリプレースして
のコストだと思うと妥当じゃない？

2019/09/29(日) 11:33:10.31

妥当だな。
てかプログラマの負担が減る方向に技術が進歩してるってのに
一向に幸せにならん社会システムの方が問題だろ。

2019/09/29(日) 13:11:38.23

それはマに限らないから・・・

2019/09/29(日) 13:19:58.43

AmazonやGoogle並のセキュリティや安定稼働を社内の一部門で保証できる企業なんてほぼないんだから
今更社内に大型サーバー設置するなんて選択肢取るような企業があったら驚きだわ

2019/09/29(日) 13:23:03.81

海外でも変わった国として見られているからね

「日本は暴力・薬物事件も少なく殺人件数も低く就業率も高いがいまだに貧困率が高い」と海外で報じられる
https://gigazine.net/news/20190731-japan-poverty/

2019/09/29(日) 13:32:48.88

久しぶりに来たら頭悪そうなスレになってた

2019/09/29(日) 13:37:18.52

>>81
大型サーバーってなに？
何も知らん技術ないやつらが
AWSスゲーとか
いってんのは分かった

2019/09/29(日) 13:42:52.93

>>81
電源とかPCとかググってみろと
いっても理解できんだろ？
ま、50万くれたら
都内なら1日だけ時間作って
基本を教えにいってやりたい！

しかし今はアルバイトできないのよ
今の契約終わったら教えにいつてやる。
スパルタ教育だで。
殴ったりしないが馬鹿には容赦しない
罵声浴びせるから精神鍛えておけ！

2019/09/29(日) 13:42:58.24

(笑)

2019/09/29(日) 14:32:31.08

全くの初心者が初めてディープラーニングを学ぶのに
お勧めの書籍を教えて下さい。
『ゼロから作るディープラーニング』でしょうか？

2019/09/29(日) 16:02:35.79

>>76
じゃ今まで社内失業者を飼っていただけの話だったのか？
富士通だけでなくNTT・NEC・東芝と併せて7万。
3メガバンで3万。3メガバンは10万やれるんだが金融庁がストップをかけたとか？
メガバンより酷いのが地銀以下、地銀以下の合併をやってリストラをやらんといかんのだが、
地銀以下の主導権争いによって全然進まない上に、せっかく当事者と金融庁まではまとまったのに公取委が独占禁止法を盾に待ったをかけたとか言う事例まで。

2019/09/29(日) 16:05:31.75

銀行の役目は終わってる、金の借りる企業がない

2019/09/29(日) 16:19:18.91

>>87
色々と読んだけど、それが一番オススメ。間違いない
1を読み終わったら、自然言語処理に興味がなくても2まで読むといいよ

2019/09/29(日) 16:24:05.36

データサイエンス系の機械学習エンジニアの要求スペックが高止まりして、
この業界に必要なスキルがだいたい明らかになったな

物凄く要約すると、
機械学習＋自然言語処理or画像処理＋クラウドアプリケーション開発
これをひとりでこなせる奴が、アメリカにはゴロゴロいる

日本はまだちょっとぬるいからスキル上げるなら今のうちだわ

2019/09/29(日) 16:25:34.32

ところでクラウド系の仕事は要件定義書を書くスキルがいらなくなるんじゃないかと
思ってるの俺だけ？
まあたぶんそうはならないんだろうけど、そういう感覚はあるよね

2019/09/29(日) 16:32:37.60

>>90
ありがとうございます。
ちなみに以下のサイトとどちらがお勧めですか？
どちらが良いか迷っています。
よろしくお願いします。

https://tutorials.chainer.org/ja/tutorial.html

2019/09/29(日) 16:42:32.25

>>84
とりあえず同じ要件でNTTデータかアクセンチュアにでも頼んでみたら？
もっとバカみたいな見積出してくるからｗ

2019/09/29(日) 16:50:14.91

>>91
機械学習＋アプリケーション開発
AIをシステムとして展開する為には、このセットが重要だけど、後者は未だに軽視

分析は出来るけどシステム設計できない新卒を青田刈りするより
現役のSEに機械学習覚えさせたほうが使い勝手が良い

2019/09/29(日) 19:20:29.17

は？
何が言いたいの？

2019/09/29(日) 20:58:32.01

>>95
SI屋のSEがアプリケーション開発を重視してるとは思えないけどなぁ。
人海戦術でなんとか動くものをギリギリ作ってるだけでは重視と言えないだろ。

2019/09/29(日) 21:48:02.51

>>95
個人的な印象はどっちも大してコスト変わらんからどっちでもいい。
どっちも結局同じくらい苦労する。

2019/09/29(日) 22:08:25.81

意味もわからずAPI使うだけなら関係ないけど機械学習の理論を知識無しから学ぶのは社会人にはキツイ
大学で理論学んだ人間が社会人になってシステム開発も覚えた方がやりやすそう

2019/09/29(日) 23:58:26.18

大学で機械学習の研究やってる人間がまったくコード書かないってことはありえないだろ
そういう人間にプロトタイピングやらせてSI屋がリファクタリングすりゃいいじゃん

2019/09/30(月) 00:22:31.70

大学で理論を学んだけどコード書けない奴は五万といる
そういう人はIT志望じゃないけど