【統計分析】機械学習・データマイニング25

2019/06/27(木) 01:53:38.17

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

2019/08/20(火) 21:39:23.48

>>687
初代AlphaGoは過去の人間の棋譜を学習してたがAlphaGo Zeroは一切使っていない

2019/08/20(火) 22:02:01.91

それは教師ありかなしかのちがいだよね。
流石にモンテカルロは使ってるんじゃないの？

2019/08/20(火) 22:38:15.91

評価方法が新しいんだろ

2019/08/20(火) 23:15:38.33

強化学習を教師なし学習というのはまたちょっと違うだろ。
学習データ作りと学習と推論をサイクルさせてるってのが肝なわけで。
一般に教師なし学習というと主成分分析とかああいうのだろ。

2019/08/21(水) 01:58:05.71

>>686
そういう、人間よりもコンピューターの計算の方が適している分野は
いっぱいあるから気にしてもしょうがない

2019/08/21(水) 19:45:08.47

>>683
楽しそうだのう

2019/08/22(木) 02:14:09.73

>>685
根拠って
まじ馬鹿なのか？

電卓がどうやって人間を超えるのさ？

こっちが教えて欲しいゎ馬鹿たれが！

2019/08/22(木) 04:15:21.98

強化学習を実務に適用している事例ってどんなのがあるんだろう

2019/08/22(木) 08:01:15.04

ゲームメーカーがモーション・キャプチャリング入力補正に使ってるというのは聞いた
あとロボティクス分野は使ってるんじゃないの？

2019/08/22(木) 08:09:33.19

>>694
なぜ電卓？

2019/08/22(木) 08:26:00.12

ロボティクス分野では使ってるね
物を壊さずにつかむ学習とか

2019/08/22(木) 08:36:20.01

>>694
そもそも人間を超えるって何
電卓でも四則演算の速さは人間超えてるが

2019/08/22(木) 08:40:10.42

>>697
分からんのなら
コンピューターの基本から
勉強しなおせ

むかしそんな低レベルの会話してたら
仕事なかったわ
今どきは人手不足だから
どんなバカでもクズでも
データ分析の仕事がある

NTTデータ先端技術の
営業が言ってるが、今はバブルだ
バカでもクズでも地方から集めてくれば
高く売れる
ホント、馬鹿ばっか
馬鹿バブルはやがて崩壊する

2019/08/22(木) 10:04:51.60

メカトロ系で強化学習を使ってるのはなんとなく想像がついたけど
やっぱりロボットとかそっち系が強いのか
本当に最先端の、さきっちょの方だな

2019/08/22(木) 12:06:47.98

普通の人間は5桁×5桁の掛け算に数十秒かかるのに電卓は一瞬で終わる
明らかに電卓に人間が負けているんだけど

2019/08/22(木) 16:43:06.97

>>700
業界を俯瞰するような物言いに見えてスカスカ
馬鹿って言いたいだけ？

2019/08/22(木) 18:59:10.30

>>702
ほほう
お前の勝つというのはそれか(笑)
ホント馬鹿

2019/08/22(木) 19:01:38.76

>>703
俺は親切だから
レスしてやってる

感謝して欲しいね

誰だって馬鹿は
相手したくね―よ

2019/08/22(木) 19:10:07.27

>>704
電卓との勝負においてより速くより正確に計算する以外の評価指標など存在しないぞ

2019/08/22(木) 19:55:28.78

なにも考えてないんだな

じゃヒントやろう

電卓で毎月60時間残業した場合の
年収を計算してみ！

2019/08/22(木) 20:33:21.01

小学生かよ

2019/08/22(木) 21:01:23.66

ディープラーニングの活性化関数のひとつも答えられないような奴が、
このスレにカキコしてはいけないと思うんだけど
なんかそういう人のカキコが多すぎるよな。もっと普通のスレにいけよ

2019/08/22(木) 21:09:10.56

>>32
実際にはpython以外の言語で機械学習をやろうとすると前処理の段階で辛くなる
データを加工するライブラリが十分に充実している言語は、
現状かなり限られていて、javaやCで仕事してもそこら辺で行き詰まることが多い

開発コストを考えるとと、python以外の言語で高い精度はなかなか出せない

2019/08/22(木) 21:57:44.02

>>707
改行位置を考えてね

2019/08/22(木) 23:45:36.33

WEB+DB vol.111 は、Ruby on Rails 6, Julia 特集だけど、
Python から、Julia へ流れそう

Julia は、do ～ end が使えて、Ruby風に改良されてる！
Jupyter Notebook(JN)でも使える

Juliaから、Pythonも呼び出せる

Windows で、RubyをJNで使っている人は、日本語でバグらないの？
irb では、バグるけど

2019/08/23(金) 00:31:49.50

>>710
おいおい
データの前処理で
しかもJavaやCで
行き詰まるなんて
どんだけ馬鹿なんだよw

そういう馬鹿がPythonかたるとはw

2019/08/23(金) 07:46:37.49

テキストなんかはcでもshellでもどうとでもなる
画像もopencvでも使えやいいよ
学生さん多いのかしら

2019/08/23(金) 15:03:00.19

>>714　眺めているものが違うみたいだけど。

2019/08/23(金) 16:36:27.60

ミンスキーのセクハラスキャンダル

　米メディアが報じた裁判所記録によると、性的搾取の被害者の一人とされるバージニア・ジュフリー（Virginia Giuffre）さん（36）は、
10代の時にエプスタイン被告の自宅でメディアラボの共同創設者マービン・ミンスキー（Marvin Minsky）氏とのセックスを強要されたと証言している。
人工知能（AI）研究の一人者だったミンスキー氏は、2016年に88歳で死去している。【翻訳編集】 AFPBB News

https://headlines.yahoo.co.jp/hl?a=20190823-00000030-jij_afp-int

2019/08/23(金) 19:03:45.76

良かった、私の好きなジョンマッカーシーじゃなくて

2019/08/23(金) 23:37:48.85

>>695
ゲームのモブとか結構使ってる方かな。
実世界と違って変な行動したとしてもそこまで問題にならんし。

2019/08/23(金) 23:39:59.34

>>695
エレベーター制御

2019/08/24(土) 00:34:21.90

確かにゲームはAIを使うのに相応しいな
参考書も多いし

2019/08/24(土) 06:12:21.47

>>713
前処理ひとつでも、たとえば画像ならデータ拡張でpythonのライブラリを使えないと
開発コストが上がるうえに、現実的な意味で学習の精度が落ちる
画像を加工するまではどうとでもなるんだけど

2019/08/24(土) 07:04:44.55

numpyという共通ライブラリのありがたさがわかるね
Pythonの数値計算はほぼこれでできてる
もしくは変換メソッドがあるからすごく楽
他の言語でもライブラリはあるがデータの変換がすごく大変でやる気無くす

**712** (ﾜｯﾁｮｲ df2c-3Uq+ [219.162.237.2]) · 2019/08/24(土) 08:28:50.47

WEB+DB vol.111 は、Ruby on Rails 6, Julia 特集！

Juliaから、Pythonも呼び出せる
Numpy も呼べる

逆に、Pythonから、Juliaも呼べる

Jupyter Notebook も使える

do ～ end など、Ruby風に書ける！

2019/08/24(土) 08:54:28.39

>>722
Pythonじゃないと
前処理大変だから
やる気なくすとか
元からやる気のないFランの馬鹿だろ

ま、今は馬鹿でも仕事あるから
いいんでないか(笑)

2019/08/24(土) 08:58:04.63

明らかに実データ取り扱ってない奴だな。
実際のデータのクソ汚さ見たらc/c++系統で処理するとか地獄だとわかる。

2019/08/24(土) 09:11:22.91

前処理はそれに適した言語やツールを使えばいいだけで、それと数値計算自体を
同じものでやらなきゃならん必然性はないがな。昔はみんなそうやってたし。

2019/08/24(土) 09:28:58.66

>>725
自分がC、C++できないからって
そゆ発言はダメです

言語は状況に応じて適切なのを選択するんですよ
わかるかな？

Pythonは遅すぎて使えないという
場合はよくありますから

2019/08/24(土) 10:21:36.60

前処理終わったら一旦ファイルかDBに保存するじゃない?
計算はそいつを読み込むんだから、前処理と主計算で別の言語使っても問題ないでしょ。パイソンでもjuliaでもCでも好きにすればよろしいかと

2019/08/24(土) 10:25:51.59

>>727
python自体が遅いのは確かだがnumpy, scipyとかのライブラリのバックエンドはCってご存じ？
適切に使えばかなり速い

2019/08/24(土) 10:28:07.51

>>724
目的に応じてツールを使い分けてるだけじゃん

手書きの履歴書とか持て囃してそう

2019/08/24(土) 10:37:01.45

前処理を細かく操りたいときにpython FWのAPI使わず外でやるとか
FWだとパラメータをランダムに決めちゃったりするやん
仕様も不明なこともあるし

2019/08/24(土) 10:43:13.57

>>731
データのパラメーターをランダムで勝手に変更するライブラリなんて逆にあるのか
あるなら画像処理か音声処理だと思うんだけど
少なくとも、OpenCVにはそんな仕様は絶対ないな

2019/08/24(土) 13:28:01.66

>>731
乱数シードを設定したら？

2019/08/24(土) 16:35:58.07

>>729
知ってるよ
俺が作ったライブラリも
お前が使ってそう

2019/08/24(土) 16:39:43.79

>>731
Pythonのライブラリは
きっちりバージョン合わせないと
変なことになるぞ

だから完全自立人型ロボットの
リアルタイム処理には
Pythonなんて絶対に使えない

自動運転もそう
実験では使えても
実装じゃ絶対使わない
つか使ってるメーカ―なんて
ないから

2019/08/24(土) 17:02:22.19

誰もロボットや自動運転に組み込む話なんてしてないのに何をいきなり語りだしてるんだろう

2019/08/24(土) 17:03:32.62

改行爺さんだろ

2019/08/24(土) 17:38:34.90

ライブラリよりGCがあるから使わないでしょ。
そもそもロボットのOSで動くLLなぞ無いような

2019/08/24(土) 17:46:34.83

>>735
自動車業界はMatlabじゃないの？
部門によるのかな

2019/08/24(土) 18:10:12.90

>>738
Luaとか？

リアルタイム処理の前処理と一般的な機械学習の前処理はなんかレイヤーの違う話に感じるけど同列に議論するものなの？

リアルタイム処理の前処理って機械学習の推論側だよね？そしたら好きな言語で書いてONNX形式にしてTensorRTが今時なんじゃないのとか思ったり

C/C++が面倒だというのを批判したいだけ？私も相当C++を書くけど面倒くさくてPythonばっかり使うわ

2019/08/24(土) 18:32:17.56

ワイもワイも
pythonで足りる許されるなら使うよ

2019/08/24(土) 18:33:23.46

armsのボードを入れてるだけのところが多いけど、
俺は底辺だったからなあ

2019/08/24(土) 18:33:52.13

armな

2019/08/24(土) 20:46:34.78

>>727
ちゃんと計測してから物言おうな。
今のpythonで100万行のデータ取り扱っても数十秒だから。
んで持ってpythonでてきとうな処理書くのなんて数分でできる。
c/c++でまともなデータ処理コード書こうと思った恐ろしく時間かかるわ。
まともに使ったこともないくせに理論上のランタイム速度だけで議論しようとするのは
愚かなことだよ。

2019/08/24(土) 21:04:05.83

>今のpythonで100万行のデータ取り扱っても数十秒だから。

ちゃんと計測してから物言おうとか言いながら、処理内容も限定せずにこんなこと言っちゃう矛盾

2019/08/24(土) 21:22:27.68

csvでてきとうなカラム50〜60のデータを処理する場合だよ。
イチャモン付けしたいだけで何も提示しないバカは黙ってろよ。

2019/08/24(土) 21:31:02.73

モデルは最新の決定木だろ。データ分析を想定してる？

2019/08/24(土) 21:32:47.84

だからその「処理」の内容次第で数十秒で済むのか数十時間かかるのか変わるだろ。
csvとか言っているところを見るともしかして前処理の時間の方を言っている？
そうだとしたら話がかみ合わんわけだわ。

2019/08/24(土) 21:34:22.96

C言語は画像処理の分野で使われていて、
まともなところはpythonでまずモデルを作って精度を測ってから実装に移る

あとCやjavaで業務をこなしているけど、実はpythonで十分な案件も多々ある
てか、そんなのばかり

2019/08/24(土) 21:53:51.45

ソンのarm7

2019/08/24(土) 22:09:09.80

>>744
100万行？
なにいってんだ馬鹿
そんなちっちゃなデータしか扱ったことがないのか！！！？？？

ホント視野の狭いFランの馬鹿は困る
データ分析には想像力も必要なんだぞ？

ま、いまどきの若いのはExcelがちょっと使えるだけで
データサイエンティストだから(笑)

NTTデータ先端技術が地方から集めてきた馬鹿の仲間か？

2019/08/24(土) 22:20:42.42

>>751
データサイズで人を馬鹿にするのはよしなさい
そんなのは業務によるもの
あと学歴をすぐに持ち出すのはコンプレックス丸出しでみっともないですよ

私の感覚ではデータ量が増えれば増えるほどプログラミング言語より分散処理に重要度がシフトする気がしますね

2019/08/24(土) 22:37:18.77

kaggleを大規模なコンペに参加したことある奴おる？
ブレンド勝負に突入したんだけど、特徴量の選択とモデルのパラメーターをちょくちょく変えて、沢山のcsvファイルを作ってブレンドするのが底辺の戦術でOKかね
kernelで明らかにアイディアが出尽くしていて辛い

2019/08/24(土) 22:49:13.50

>>753
最適化合戦になると性能のいいハードが用意できないと勝てないかなぁ
外人って飯の種となりそうな凄いカーネルをあっさり出すよね

2019/08/24(土) 23:05:10.81

752
＞　データサイズで人を馬鹿にするのはよしなさい

話の流れを無視して
意見いってる自分が天才すぎて怖い！
って感じがガンガン伝わってくるｗｗｗ

データ分析したことないならだまってなさい
低知能さらして恥ずかしくないかい？

2019/08/25(日) 00:06:17.64

>>755
人を馬鹿にしないと自我が維持できない病気にかかってそうで哀れだ

2019/08/25(日) 00:07:13.94

今後10～20年の間に最も必要とされる仕事
https://rikunora.hate○nablog.com/entry/20170217/p1

＞ずばり「教師」である

2019/08/25(日) 00:12:46.20

>>755
データサイズを解決するのはC++じゃなくてマシン台数って話だと思うけど、俺、なんか勘違いしてる？
少ないデータ量しか分析してないならPythonで十分だわな、って主張してたんじゃないの？

2019/08/25(日) 00:32:31.83

改行おじさんは無視するに限るよ
アジテーションが趣味な人だから

2019/08/25(日) 11:42:50.63

>>754
外人さんがすごいカーネルをあっさり出してくれるのは
勉強になるから物凄くありがたいけど、コンペの性質が変わっちゃうから困るｗ

まあでも、無課金colabでも銀は狙えそうだからいいや
これで勝っても、自分の実力とはまったく言えないけどなあ…。むなしさを覚える

2019/08/25(日) 19:29:44.39

kernelの例真似して見るけど順位は真ん中位だわ。
まだまだ精進の余地あるのか

2019/08/26(月) 08:57:39.02

Excelで適当にデータいじって年収800万
こりゃやめられん

つかバブルだろ？
どうかバブルがずっと続きますように！

2019/08/26(月) 09:15:27.02

エアプ乙すぎる

2019/08/26(月) 10:28:50.14

実務経験ってやつは何を期待してんだろうな。プログラマと兼任で余裕だろうし、自習でも楽勝じゃないかい?

2019/08/26(月) 14:06:59.98

>>735　Jetson nanoはPythonだぞ。　自動運転ができる。　CUDAやTensorFlowなども自由自在。
https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/jetson-nano/

>>738　GCなんてのはどうとでもコントロールできる。　ロボットのOSってなんだよ。　RTOSの事か？　LLはCPUに対応してればよいだけの話だぞ。

2019/08/26(月) 14:17:32.91

実務経験はコミュ力の確認やろな

2019/08/26(月) 14:27:45.63

>>765
最近はゆるいの?
車やロボットの判断、操作に遅延が起きるの相当嫌がってたと思うんだけど
お車業界

2019/08/26(月) 14:29:23.56

コミュ力ってのは何を指すのかさっぱりわからんのだｗ
要はお友達になれる能力？ｗ

2019/08/26(月) 14:30:22.73

>>766
tensorflowとかOpenCVなど特定の環境の実務経験ないといかん案件が結構あるよ。
プログラマとしての実務経験は10年以上あるんだが

2019/08/26(月) 14:32:46.61

>>768
報連相ってやつでしょう
常時不機嫌な相手じゃなければ出来るようになるよ

2019/08/26(月) 14:59:52.43

コミュ力(笑)

2019/08/26(月) 15:02:26.49

>>770
そんな感じに明確なところは良いんだろうけど
以心伝心的な能力をコミ力と思ってる人多くね?

2019/08/26(月) 15:06:20.18

お前らが何を実務経験と見なそうが勝手だがほとんどの企業は該当の職種に就いていた期間が一定以上か否かでしか判断しない
つまり全く無関係な仕事をしながら自力で勉強した人は実務経験ゼロ扱い

2019/08/26(月) 15:11:11.54

個人事業にはつらい対応

2019/08/26(月) 15:11:23.77

バズワード界隈って結局コミュ力(笑)とか実務経験(笑)とかのくだらない話になるよな
原子力発電所の駐輪場の屋根の色をどうするか議論してた方がまだマシ

2019/08/26(月) 15:16:13.11

>>773
免許が有る職種ならいいけど、データ分析の実務経験なんて企業によってやること違いそうだから、ミスマッチ起きまくってそう

2019/08/26(月) 15:19:16.94

耐震工事と言いながら柱と壁の色を塗り替えるだけで耐震性は変わってないパターン

2019/08/26(月) 16:31:17.31

>>767 本当にシビアなところでは、FPGA使ったりハードウエアRTOS 使ったりするから、遅延は余り気にすることはない、今時ギリギリのソフトでカバーするなんて危険すぎる。
それでもシビアなところは、Cとかで書いてるだろ。

2019/08/26(月) 19:42:10.35

実務経験よりコネ(というより口利き)の方が重要だから
いつだって、その人の実力を証明してくれるのは、信頼できる仲介者の証言
正門から入ろうとしたら、字面でもわかりやすい実績を求められるのは当然じゃん

2019/08/26(月) 19:55:28.80

なんか問題がすり替わってるような。。。
リファラル採用はまあ置いといて、仕事で同じ事ばかりやる訳ないのに応用力や柔軟性を考えず〇〇の経験者を取ろうとするのは頭悪い。と思ったのでした

2019/08/26(月) 20:37:38.67

俺の前職は画像処理だけど、その経験は転職にまったく活かせないから間違いないわｗ
結局は実力が全て

2019/08/26(月) 23:18:28.85

同じ仕事に転職すりゃいいじゃん

2019/08/27(火) 05:52:52.83

>>773
AI関連の職に10年ついていた人はほとんどいないが。

2019/08/27(火) 08:05:56.86

どのポジションでどの程度関わっていたか解らない実務経験って無意味だけど、
要領の解らん素人が営業として間に入るから指標として機能しているのだろう

2019/08/27(火) 18:43:23.44

データセット作るだけでも大変だ―
画像をフォルダに振り分けてそのフォルダ名をラベルにして
まとめてnpzに

で、これを読み込んで画像の列をX 、ラベルをyに

で、これをサポートベクトルマッスィーーンにfitで読ませて
そしてもう1回相関取って

おおー動いた感激

って理解じゃあ、なーんの使い物にもなんねーｗｗｗｗｗｗ

2019/08/27(火) 19:04:09.03

>>785
言いたい事は何となく分かるけど、恐らくその作業は最も基本的で最も使い物になる作業だと思う

2019/08/27(火) 21:25:24.71

社外向けに出す精度は、捏造なしでもデータクレイジング等のグレーゾーンを攻めれば、
水増しできるけど、自分たちの分析や開発が、
現場で実際に役立つか否かは、自分たちで客観的に評価できないよな・・・

だから、実務をまわせるだけでプラスアルファがない人と一緒に仕事をすると、
技術があんまり向上しない