【統計分析】機械学習・データマイニング25

2019/06/27(木) 01:53:38.17

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

2019/08/24(土) 17:02:22.19

誰もロボットや自動運転に組み込む話なんてしてないのに何をいきなり語りだしてるんだろう

2019/08/24(土) 17:03:32.62

改行爺さんだろ

2019/08/24(土) 17:38:34.90

ライブラリよりGCがあるから使わないでしょ。
そもそもロボットのOSで動くLLなぞ無いような

2019/08/24(土) 17:46:34.83

>>735
自動車業界はMatlabじゃないの？
部門によるのかな

2019/08/24(土) 18:10:12.90

>>738
Luaとか？

リアルタイム処理の前処理と一般的な機械学習の前処理はなんかレイヤーの違う話に感じるけど同列に議論するものなの？

リアルタイム処理の前処理って機械学習の推論側だよね？そしたら好きな言語で書いてONNX形式にしてTensorRTが今時なんじゃないのとか思ったり

C/C++が面倒だというのを批判したいだけ？私も相当C++を書くけど面倒くさくてPythonばっかり使うわ

2019/08/24(土) 18:32:17.56

ワイもワイも
pythonで足りる許されるなら使うよ

2019/08/24(土) 18:33:23.46

armsのボードを入れてるだけのところが多いけど、
俺は底辺だったからなあ

2019/08/24(土) 18:33:52.13

armな

2019/08/24(土) 20:46:34.78

>>727
ちゃんと計測してから物言おうな。
今のpythonで100万行のデータ取り扱っても数十秒だから。
んで持ってpythonでてきとうな処理書くのなんて数分でできる。
c/c++でまともなデータ処理コード書こうと思った恐ろしく時間かかるわ。
まともに使ったこともないくせに理論上のランタイム速度だけで議論しようとするのは
愚かなことだよ。

2019/08/24(土) 21:04:05.83

>今のpythonで100万行のデータ取り扱っても数十秒だから。

ちゃんと計測してから物言おうとか言いながら、処理内容も限定せずにこんなこと言っちゃう矛盾

2019/08/24(土) 21:22:27.68

csvでてきとうなカラム50〜60のデータを処理する場合だよ。
イチャモン付けしたいだけで何も提示しないバカは黙ってろよ。

2019/08/24(土) 21:31:02.73

モデルは最新の決定木だろ。データ分析を想定してる？

2019/08/24(土) 21:32:47.84

だからその「処理」の内容次第で数十秒で済むのか数十時間かかるのか変わるだろ。
csvとか言っているところを見るともしかして前処理の時間の方を言っている？
そうだとしたら話がかみ合わんわけだわ。

2019/08/24(土) 21:34:22.96

C言語は画像処理の分野で使われていて、
まともなところはpythonでまずモデルを作って精度を測ってから実装に移る

あとCやjavaで業務をこなしているけど、実はpythonで十分な案件も多々ある
てか、そんなのばかり

2019/08/24(土) 21:53:51.45

ソンのarm7

2019/08/24(土) 22:09:09.80

>>744
100万行？
なにいってんだ馬鹿
そんなちっちゃなデータしか扱ったことがないのか！！！？？？

ホント視野の狭いFランの馬鹿は困る
データ分析には想像力も必要なんだぞ？

ま、いまどきの若いのはExcelがちょっと使えるだけで
データサイエンティストだから(笑)

NTTデータ先端技術が地方から集めてきた馬鹿の仲間か？

2019/08/24(土) 22:20:42.42

>>751
データサイズで人を馬鹿にするのはよしなさい
そんなのは業務によるもの
あと学歴をすぐに持ち出すのはコンプレックス丸出しでみっともないですよ

私の感覚ではデータ量が増えれば増えるほどプログラミング言語より分散処理に重要度がシフトする気がしますね

2019/08/24(土) 22:37:18.77

kaggleを大規模なコンペに参加したことある奴おる？
ブレンド勝負に突入したんだけど、特徴量の選択とモデルのパラメーターをちょくちょく変えて、沢山のcsvファイルを作ってブレンドするのが底辺の戦術でOKかね
kernelで明らかにアイディアが出尽くしていて辛い

2019/08/24(土) 22:49:13.50

>>753
最適化合戦になると性能のいいハードが用意できないと勝てないかなぁ
外人って飯の種となりそうな凄いカーネルをあっさり出すよね

2019/08/24(土) 23:05:10.81

752
＞　データサイズで人を馬鹿にするのはよしなさい

話の流れを無視して
意見いってる自分が天才すぎて怖い！
って感じがガンガン伝わってくるｗｗｗ

データ分析したことないならだまってなさい
低知能さらして恥ずかしくないかい？

2019/08/25(日) 00:06:17.64

>>755
人を馬鹿にしないと自我が維持できない病気にかかってそうで哀れだ

2019/08/25(日) 00:07:13.94

今後10～20年の間に最も必要とされる仕事
https://rikunora.hate○nablog.com/entry/20170217/p1

＞ずばり「教師」である

2019/08/25(日) 00:12:46.20

>>755
データサイズを解決するのはC++じゃなくてマシン台数って話だと思うけど、俺、なんか勘違いしてる？
少ないデータ量しか分析してないならPythonで十分だわな、って主張してたんじゃないの？

2019/08/25(日) 00:32:31.83

改行おじさんは無視するに限るよ
アジテーションが趣味な人だから

2019/08/25(日) 11:42:50.63

>>754
外人さんがすごいカーネルをあっさり出してくれるのは
勉強になるから物凄くありがたいけど、コンペの性質が変わっちゃうから困るｗ

まあでも、無課金colabでも銀は狙えそうだからいいや
これで勝っても、自分の実力とはまったく言えないけどなあ…。むなしさを覚える

2019/08/25(日) 19:29:44.39

kernelの例真似して見るけど順位は真ん中位だわ。
まだまだ精進の余地あるのか

2019/08/26(月) 08:57:39.02

Excelで適当にデータいじって年収800万
こりゃやめられん

つかバブルだろ？
どうかバブルがずっと続きますように！

2019/08/26(月) 09:15:27.02

エアプ乙すぎる

2019/08/26(月) 10:28:50.14

実務経験ってやつは何を期待してんだろうな。プログラマと兼任で余裕だろうし、自習でも楽勝じゃないかい?

2019/08/26(月) 14:06:59.98

>>735　Jetson nanoはPythonだぞ。　自動運転ができる。　CUDAやTensorFlowなども自由自在。
https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/jetson-nano/

>>738　GCなんてのはどうとでもコントロールできる。　ロボットのOSってなんだよ。　RTOSの事か？　LLはCPUに対応してればよいだけの話だぞ。

2019/08/26(月) 14:17:32.91

実務経験はコミュ力の確認やろな

2019/08/26(月) 14:27:45.63

>>765
最近はゆるいの?
車やロボットの判断、操作に遅延が起きるの相当嫌がってたと思うんだけど
お車業界

2019/08/26(月) 14:29:23.56

コミュ力ってのは何を指すのかさっぱりわからんのだｗ
要はお友達になれる能力？ｗ

2019/08/26(月) 14:30:22.73

>>766
tensorflowとかOpenCVなど特定の環境の実務経験ないといかん案件が結構あるよ。
プログラマとしての実務経験は10年以上あるんだが

2019/08/26(月) 14:32:46.61

>>768
報連相ってやつでしょう
常時不機嫌な相手じゃなければ出来るようになるよ

2019/08/26(月) 14:59:52.43

コミュ力(笑)

2019/08/26(月) 15:02:26.49

>>770
そんな感じに明確なところは良いんだろうけど
以心伝心的な能力をコミ力と思ってる人多くね?

2019/08/26(月) 15:06:20.18

お前らが何を実務経験と見なそうが勝手だがほとんどの企業は該当の職種に就いていた期間が一定以上か否かでしか判断しない
つまり全く無関係な仕事をしながら自力で勉強した人は実務経験ゼロ扱い

2019/08/26(月) 15:11:11.54

個人事業にはつらい対応

2019/08/26(月) 15:11:23.77

バズワード界隈って結局コミュ力(笑)とか実務経験(笑)とかのくだらない話になるよな
原子力発電所の駐輪場の屋根の色をどうするか議論してた方がまだマシ

2019/08/26(月) 15:16:13.11

>>773
免許が有る職種ならいいけど、データ分析の実務経験なんて企業によってやること違いそうだから、ミスマッチ起きまくってそう

2019/08/26(月) 15:19:16.94

耐震工事と言いながら柱と壁の色を塗り替えるだけで耐震性は変わってないパターン

2019/08/26(月) 16:31:17.31

>>767 本当にシビアなところでは、FPGA使ったりハードウエアRTOS 使ったりするから、遅延は余り気にすることはない、今時ギリギリのソフトでカバーするなんて危険すぎる。
それでもシビアなところは、Cとかで書いてるだろ。

2019/08/26(月) 19:42:10.35

実務経験よりコネ(というより口利き)の方が重要だから
いつだって、その人の実力を証明してくれるのは、信頼できる仲介者の証言
正門から入ろうとしたら、字面でもわかりやすい実績を求められるのは当然じゃん

2019/08/26(月) 19:55:28.80

なんか問題がすり替わってるような。。。
リファラル採用はまあ置いといて、仕事で同じ事ばかりやる訳ないのに応用力や柔軟性を考えず〇〇の経験者を取ろうとするのは頭悪い。と思ったのでした

2019/08/26(月) 20:37:38.67

俺の前職は画像処理だけど、その経験は転職にまったく活かせないから間違いないわｗ
結局は実力が全て

2019/08/26(月) 23:18:28.85

同じ仕事に転職すりゃいいじゃん

2019/08/27(火) 05:52:52.83

>>773
AI関連の職に10年ついていた人はほとんどいないが。

2019/08/27(火) 08:05:56.86

どのポジションでどの程度関わっていたか解らない実務経験って無意味だけど、
要領の解らん素人が営業として間に入るから指標として機能しているのだろう

2019/08/27(火) 18:43:23.44

データセット作るだけでも大変だ―
画像をフォルダに振り分けてそのフォルダ名をラベルにして
まとめてnpzに

で、これを読み込んで画像の列をX 、ラベルをyに

で、これをサポートベクトルマッスィーーンにfitで読ませて
そしてもう1回相関取って

おおー動いた感激

って理解じゃあ、なーんの使い物にもなんねーｗｗｗｗｗｗ

2019/08/27(火) 19:04:09.03

>>785
言いたい事は何となく分かるけど、恐らくその作業は最も基本的で最も使い物になる作業だと思う

2019/08/27(火) 21:25:24.71

社外向けに出す精度は、捏造なしでもデータクレイジング等のグレーゾーンを攻めれば、
水増しできるけど、自分たちの分析や開発が、
現場で実際に役立つか否かは、自分たちで客観的に評価できないよな・・・

だから、実務をまわせるだけでプラスアルファがない人と一緒に仕事をすると、
技術があんまり向上しない

2019/08/27(火) 21:54:56.41

それはクレイジーな話だ。

2019/08/27(火) 23:16:01.48

いや、年収500万ぐらいの画像処理の仕事はどこもそんなものだよ

2019/08/28(水) 00:47:12.14

転職する時は自分がやってた作業じゃなくてちょっと上の先輩か上司がやってた仕事をあたかも自分がやったように話せば若い割に高度な仕事してたんだと思ってくれる
少なくとも何をやってるかはある程度理解してるから多少突っ込まれても支離滅裂にはならないだろう

2019/08/28(水) 05:35:22.71

そうかな
自分がやったことじゃないと定量的に答えられない

2019/08/28(水) 07:29:10.88

自分にもできることだったら、多少はホラを吹いてもいいんじゃない
相手はホラを吹かれること前提で面接してるからさ

2019/08/28(水) 08:32:38.44

scikit-learnに入れて結果出してる
だけなのにネットで読んだ解説や、
Excelでわかるディープラーニング超入門
を読んで、逆伝搬はネットで読んで、
それで客が馬鹿なので
知ったかぶりして能書きたれて
それで年収800万(残業代込みw)なので
まじやめられん！
つかバブルだろ！
バブルマンセー！

2019/08/28(水) 08:37:33.61

俺だったら誠実に前処理しっかりやりましたとか答える奴を取るけどな。
クソしょうもない理屈言い出す奴なんて取っても無駄になるだけだし。

2019/08/28(水) 08:52:59.80

大体において、採用する側の理屈はそうだよな
入る側としては技術力がきちんと向上する会社にいきたいけど

あとは会社のレベルによって全然違う
研究開発をやってるところなら、理論までしっかり分かってる人を採るだろうし、
実践的なやつをやってるところならそういう人を採る

2019/08/28(水) 10:22:42.78

理論しっかりやってる人材を使いこなせる会社なんて日本にまず無い
知ったかぶりのタレントしながらコミュ力ある作業員やってるのが一番評価される

2019/08/28(水) 10:55:18.82

はいえあぷあ

2019/08/28(水) 12:24:46.64

これからはディープラーニングの推論結果の根拠の説明が重要になるから理論を理解しない人は間もなくSI業界の末端コーダーと同等扱いになるだろう

2019/08/28(水) 12:41:26.06

MLOpsという雑用の方が稼げそうな気がして来たわ。若者よりオッサンの方が色々経験あるし

2019/08/28(水) 17:30:19.43

機械学習は何と何のスキルを組み合わせて、
いま現在たべれる状態＋将来稼げる状態、をキャリアとして構築するかが課題だな
ここまで機械学習の勉強コストが高いとキャリア上の捨てスキルにできない

2019/08/28(水) 20:09:14.97

>>796
システム開発だって
客とのコミュ力が大事だもんね

つかデータ分析なんて
客とのコミュ力だけで儲けてる
ような仕事だよ

2019/08/28(水) 21:13:59.76

レベルの低下が著しいな

2019/08/28(水) 21:21:25.57

元々低レベル

2019/08/28(水) 21:24:18.47

理論なんかの追求より大事なものがあるとか言う人ってその理論を使ってどう稼ぐかを考えられないだけなんだよね
つまりは理論を理解する能力が足りていないために現実世界での利用方法に辿り着けない人の言い訳にすぎない

2019/08/28(水) 21:26:44.03

ian goodfellowですらどうやったら金儲けに使えるかわかっとらんのに無茶言うな。

2019/08/28(水) 21:34:30.89

応用にいれこむ素人（笑）

2019/08/28(水) 22:40:45.72

データ分析は日本だとアナリスト寄りの人材の方が食えるらしいな
機械学習は予測精度だけ求められることがあるから、純粋な統計屋よりは、逆に理論で勝負しやすいけど

普通にやってると、理論ってほど大した話ではなくても、理論的な知識を使うのは
モデル選択より前処理の部分だよね

2019/08/29(木) 01:04:02.66

敵対的検証って手法をいま初めて知った
これはSUGEEEE

2019/08/29(木) 03:03:41.17

パートのおばちゃんの経験則を超えられる日は来るのか

2019/08/29(木) 08:40:11.69

実践できれば仕事はあるから。

つか理論分かってない高卒やFランほど
理論が大事とか言うし

2019/08/29(木) 08:53:34.22

理論わかってる奴はそれで何が出来て限界がどこにあるのか分別がついてるだけで理論を軽視してる訳ではないのでは

2019/08/29(木) 09:44:56.94

前処理に出てくる概念を理解できない人と一緒に仕事するの辛いけどな
カルバック・ライブラー情報量って何？コルモゴロフ–スミルノフ検定って何？
ここら辺を調べて一時間で理解できない奴と、一緒に仕事するとできることがだいぶ限定される

2019/08/29(木) 10:07:28.48

ベイズ推定とか自動微分とか使ってるのに
書いて無い本多いよね

理恵論は不要もしくは知らない？ってゆーか使えればよいって人が多い？

2019/08/29(木) 10:28:01.38

むしろそこら辺はだいたいの参考書に基礎的なことが載ってるような

2019/08/29(木) 12:47:06.22

>>813
ベイズのなにも知らないくせに
お前のように知ったかの馬鹿ばっか

せめてExcelぐらい使えるようになっておけ
Fランの馬鹿さん

2019/08/29(木) 13:16:02.02

>>815
おまえは馬鹿なんだから黙ってなさい
学歴コンプレックス丸出しですよ

2019/08/29(木) 13:31:43.08

カルバックライブラーとかふぃっしゃー行列もなんだかわかんない

2019/08/29(木) 13:48:19.86

例えば「情報量基準」という本がある
これ一冊あると色々と便利
当然KL、KS、フィッシャー情報行列等も記載あり

2019/08/29(木) 18:52:26.35

>>816
クズが偉そうにいうな

人売りに売られてる馬鹿クズめw

2019/08/29(木) 19:03:05.68

>>819
おまえはいつも馬鹿丸出しですね

2019/08/29(木) 19:46:43.31

笑

2019/08/30(金) 06:00:44.66

kaggleって銅メダルだと何の能力証明にもならないな
下手したら他人のkernelのブレンドでいけちゃう

2019/08/30(金) 08:55:42.39

既に公開されている手法の組み合わせで短時間で及第点を取るって実務上かなり重要な能力だと思うが

2019/08/30(金) 09:41:32.95

いや、この場合のブレンドって要は
公開されているcsvファイルの平均値を取るだけよ

2019/08/30(金) 09:44:25.22

それはｗ

2019/08/30(金) 09:57:02.17

さすがに今ブレンドだけで銅取るの難しくない？
むしろそのブレンド手法が知りたい。kappaとか

2019/08/30(金) 12:12:12.25

そんな言い争ってもどうせ捨て分野なんだから
年収800万だの900万だのと言っても税金やら社会保険やらで200万以上引かれるわけで
大した仕事でもない毎日定時に帰って趣味のゲームのことばかり考えているような
年収200万しか稼いでない奴等の5倍以上払っている訳で
組織の中でいつまでもやれるような職種でも無いし
出来ても出来なくてもアホとか学歴とか言う合う程のことではない

2019/08/30(金) 12:15:33.24

上の方で東京の6割ぐらいの収入でよくやってるなとか書いてるけど
田舎の高卒なんて実家通いで月に３万円程度親に支払って終わりなんだから
年収250万もあれば160万ぐらい自由に使える金が発生する
体を動かす目的で空いた土地に野菜でも作れば野菜に税金がかかるわけでも無いし
食うもん安いし信号は無いしうまく平均化されるような仕組みになっている

2019/08/30(金) 12:26:21.15

大麻とか酒とか勝手に造ったらタイホ

2019/08/30(金) 18:59:37.79

そうだっけ？

2019/08/30(金) 20:24:09.72

>>827
そんなに卑屈にならなくても・・・・・・・ｗ
税金ってたくさん稼げば稼ぐほど増えるんだよｗ

2019/08/30(金) 20:28:22.39

実家の周辺で警官なんて
見たことないぞ

大麻栽培してもばれないと思います

2019/08/30(金) 20:34:08.58

>>832
誰かが通報するんじゃないの？
俺なら速攻で通報して警察と仲良しポイント稼ぐわ

電気代が高すぎても通報されると聞いたことがある
24時間電気が付いていてカーテンが引かれていると、室内で栽培していると疑われるらしい

2019/08/30(金) 21:33:19.91

GPUが電気食ってるだけで無実なんや～

2019/08/30(金) 21:33:36.51

俺ら、グラボ4枚刺しを回すだけで通報されるじゃんｗ