【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/11/12(月) 15:46:42.95

「きちんと勉強する」の基準が難しくて真面目な人ほど勉強ばかりに熱中して実践的なことが見に付かなくなる
なので理論の勉強しつつ並行して実践するのが一番
kaggleも勉強の一環と考えて上位入賞を意識しすぎなければいい

2018/11/12(月) 15:47:56.04

kaggle勉強するより職安へ行け

2018/11/12(月) 16:56:46.18

俺はもう15年もデータ分析の仕事してる。
実践はやっていける自信持てたけど
理論武装を積み上げないといけないと思ってるところ。
企業で統計学を教えることもあるけど
まだまだ理論は未熟ですよ。

2018/11/12(月) 17:47:16.10

職安より派遣会社の求人見たほうが捗ると思う

2018/11/12(月) 20:21:45.69

>>115
自分が真面目かは分からないけど刺さる言葉だ…
勉強しても不安でずっと参考書見て参考のコード書いてってばかりで実践力みたいなものは皆無だと思う

あと上でも統計学を勉強するべきって言ってくれてる人もいるけど、区間推定とか仮説検定とかそういうのは低レベル過ぎる？

2018/11/12(月) 21:02:02.66

理論とかｲﾗﾈ
そんな無駄ならことする暇あるなら手を動かして一つでも多くデータを集めろ

2018/11/12(月) 22:46:42.91

>>119
機械学習で使うかと言われると使わない。
ただし、顧客からp値を出せと求められる場合もあるので常識として押さえておいた方がよい。

2018/11/12(月) 23:17:21.18

>>121
なるほど
データ分析が出来る人になりたいなと思うから抑えといた方が良さそうだね
ここに居る人たちは分析メインの人よりシステム作ったりしてる人が多いのかな

2018/11/12(月) 23:21:52.61

理論分かってた方がどこをどう直せば改善するとかわかるようになるんじゃないの

2018/11/12(月) 23:40:51.12

決定木ってデータのスケーリングだったりは必要ないって解説サイトにも書かれてるけど全くやらないのがデフォルトなの？
それとも文字とかはダミー変数とかに置き換える基本はやるべきなの？

2018/11/13(火) 02:10:30.33

>>124
他のモデルと純粋に優劣を図りたい時に条件を揃える目的でスケーリングすることはあるかも知れない(無意味だけど)
カデゴリカル値の変換は決定木の場合もやらなくちゃいけない。変数の数がやたら増えると好ましく無いため、get_dummiesよりはtarget based encodingがいいよという人もいる。

2018/11/13(火) 10:17:10.75

>>120
＞　理論とかｲﾗﾈ
＞　そんな無駄ならことする暇あるなら手を動かして一つでも多くデータを集めろ

そういう人って、少し景気が悪くなれば必要なくなる。
PCが使えれば高卒でもできるから。

ま、そういうレベルの職場もまだ多いから、
それで食っていけるならいいんじゃないか？

おれはイヤだけどね。

2018/11/13(火) 10:19:11.30

インフラ系開発からそっち行きたいんだけど中々入り込めぬ

2018/11/13(火) 10:58:04.08

>>126
理論とか高卒の作業以下って言ってるんだけど
上でも誰か言ってるけど課題抽出やどう事業に応用するのかが大事なのであって理論じゃ飯は食えない

2018/11/13(火) 10:58:37.62

最近は、転職するのがとても難しいですね。

良い人材を採用したいといいながら、
人材紹介会社に丸投げですから。

人材紹介会社というのが何をやってるのか
わかりませんけど、そういうのに登録しても、
高学歴で20代でなければ、
ほとんど良い転職は紹介してもらえないようです。

つか、紹介先が人売り企業ばかりです(笑)
そのほうが高く売れるんですよ。
紹介手数料を多くもらえる。

だから、普通の人には下請け企業や
実質的な派遣会社ばかりを紹介してきます。

2018/11/13(火) 11:02:10.63

>>128
実践は俺のもっとも得意とするところ。
ちゃんと書いてあるだろう？
読めないのか？

それに加えて理論ということだ。
日本語読めないか？

2018/11/13(火) 11:49:50.60

>>128
課題抽出や応用って理論が無いとできないと思うんだが
理論がいらないのって下請けの単純作業くらいじゃね

2018/11/13(火) 13:03:00.51

客が馬鹿なところでは、
ヒストグラムと折れ線グラフで分析終了ですね。
実際、そういうところ多いです。

だからと言ってそれに甘んじて理論の勉強をサボっていると、
そのうちメシが食えなくなるということでしょう。

2018/11/13(火) 13:48:11.79

ヒストグラムと折れ線グラフか、馬鹿丸出し

2018/11/13(火) 15:05:43.42

それで納得する客が一番馬鹿なんだろ

2018/11/13(火) 15:28:39.07

グラフの種類だけで程度を判断する方がバカだろ

2018/11/13(火) 15:28:44.21

>>133
だからさ、日本語読めないなら半島へ帰りなよ。
データ分析専門の会社なんて在日朝鮮人ばっか。

2018/11/13(火) 15:30:41.68

>>135
そうそう。
客が納得する単純なグラフを用意するのも仕事の内ですから。

結局は客の要望で仕事するしかないわけで。

2018/11/13(火) 15:32:06.04

>>136
自己紹介乙

2018/11/13(火) 15:32:50.87

>>133
客の要望が理解できないド素人なんだろうが、
まあ、そういう馬鹿でも今はメシが食える。
いいなあ(笑)

2018/11/13(火) 15:48:01.71

>>132
見極め大変そうだな
普通の客にそんなん出したらバカにしてんのかって怒られるぞ

2018/11/13(火) 18:11:06.97

それでも怒らず満足してくれる客がいるってことだろ
30点で満足してくれるのに同じ金で80点取ろうとする必要はない

2018/11/13(火) 18:58:44.96

>>120
どうやって騙して金取るかだからな

2018/11/13(火) 21:32:20.48

>>130
その実践のために理論なんてものを覚える暇があるなら1つでもデータ数を増やす方が役に立つという主張ﾀﾞﾅ
逆に理論なんて無用の長物がどう実践に役立つのか教えて欲しいもんだわ
あんなの暇人研究者（）のオモチャだろ

2018/11/13(火) 21:43:39.39

>>143
言いたいことはわからんでもないけど、
理論でデータを増やる場合があるんだよね。
それが重要だったりするんだよ。

教えてやろうか？

2018/11/13(火) 21:47:50.36

まずﾊﾞｶは相手がなにをしたいかが読み取れないからな
所詮、ﾄﾞｶﾀ作業員

2018/11/14(水) 00:16:46.33

>>143が頭空っぽにしてても実践出来るのはその暇人研究者()のおかげなんだが

2018/11/14(水) 04:32:59.14

>>144
「理論でデータを増やる場合があるんだよね。」って日本語変じゃないか?

2018/11/14(水) 12:06:15.39

>>147
ちょいと変だけど意味は通じるだろ？
理解できない？

2018/11/14(水) 12:07:28.48

>>147
手を動かしてるだけのFランの馬鹿には理解できないと思う。
だから学歴を書いてくれる？
学歴に応じてわかるように書いてやるから？

2018/11/14(水) 12:28:40.66

自分園卒なんで

2018/11/14(水) 12:53:28.20

小卒にも分かるように説明して

2018/11/14(水) 12:58:16.43

ワシAIなのでAI用にも頼む

2018/11/14(水) 13:01:13.06

ワイ天才チンパンジー「アイちゃん」やで

2018/11/14(水) 14:53:29.30

cross-validation: [0.5 0.375 0.71428571 0.8 0.6 ] 0.5978571428571429
交差検証したときにこういうときってどうしたらいいですか？
データ数が少ないってのはあるのですが…

2018/11/14(水) 14:53:29.46

tensorflowって複素数のデータを使った学習できますか？
実数=複素数*重みみたいな式を作りたいんですけどどうすればいいですかね

2018/11/14(水) 15:40:27.76

マルチンコ

2018/11/14(水) 16:06:50.27

>>155
複素数型はあるからできるんじゃないの

2018/11/14(水) 16:31:40.43

複素数をcsvから読み込みたいんですけど、
tf.train.string_input_producerの後でデコードする時に
record_defaultsに複素数を定義できません
複素数を読み込むにはどうすればいいですか

2018/11/14(水) 17:13:15.98

客日ｗ

2018/11/14(水) 17:39:13.14

>>158
データ型があるんだから必要なら書き換えればいいだろ

2018/11/14(水) 18:10:54.53

複素ニューラルネットワークでもやってるんかな

2018/11/14(水) 19:05:46.41

>>144
理論でデータ拡張？？
いったい何のことを言っているのか例あげてみてよ

>>146
そりゃそうだろ
あいつら理論で遊んでお金貰ってるんだからそれくらい貢献して当然

2018/11/14(水) 19:41:23.92

データ水増し(augmentation)の手法なら色々出てるんだから知りたければ自分で調べればよい

2018/11/14(水) 19:47:24.17

複素ニューラルネットはすでにあるよ

2018/11/14(水) 20:32:11.63

４元数ニューラルネットが熱い

2018/11/14(水) 21:01:56.21

>>163
誰にもの言ってるのそんなの勿論知ってる
それらのうちの一体どれが理論によってなされてるのか教えてって言ってるんだけど

2018/11/14(水) 21:05:17.69

寂しいね
要る/要らないで切り捨てていったら自分の世界がどんどん狭くなるよ

2018/11/14(水) 21:07:06.84

理論に依らない手法などそもそもどこにあるのか

2018/11/14(水) 22:36:55.64

>>166
知らねえよ誰だよお前

2018/11/15(木) 01:34:28.55

俺じゃねぇよ

2018/11/15(木) 09:12:40.10

俺でもない

2018/11/15(木) 10:18:27.75

>>166
ウソはいかんな。
知らなかったくせに。
ホント馬鹿のくせに「おれは天才だ病」に
かかってる奴は始末におえない。

「おれは馬鹿です」って認めるまで何も教えない。
でも、お前は絶対に認めない。

ヒストグラムと折れ線グラフだけ作ってなさい。

2018/11/15(木) 11:11:22.90

>>172
どうやらどこかで調べて理論なんて使ってないって分かったみたいﾀﾞﾅ
よく知りもしないのに噛み付くんじゃないゾ

2018/11/15(木) 18:48:01.63

>>172
>>173
ポケモンゲットだぜ！

2018/11/16(金) 11:39:00.25

物体認識（検出）で同一のオブジェクトを再検出したくない場合は、
監視カメラのトラッキングシステムのように対象にIDを採番する方法しか無い？

2018/11/16(金) 12:19:01.44

>>175
これな
https://twitter.com/R_Nikaido/status/1062874342994849792
https://twitter.com/5chan_nel (5ch newer account)

2018/11/16(金) 16:43:31.67

↓機械学習ブーム終了してた

スイッチ向けにプロセッサーを提供するコンピューター・グラフィックス用半導体メーカーの米エヌビディアは15日、
11月－19年１月期（第４四半期）の売上高は27億ドル（約3070億円）上下２％の見通しと発表。
アナリスト予想の平均34億ドルを下回った。
同社株は時間外取引で急落した。

松井証券の窪田朋一郎シニアマーケットアナリストは、「エヌビディアが好調ではないということは、
スイッチも追加で発注するような状況ではないという連想につながる」と述べた。

2018/11/16(金) 17:19:11.32

特徴選択で単変量統計で選択する場合とランダムフォレストベースで選択する場合で選択され特徴量が全く違うみたいなことってある？

2018/11/16(金) 19:30:53.17

Tensorflow-gpuてオンボードグラフィックでもうごくのなインテルなのに
CUDAいれるときはGPUつんでたけど

2018/11/16(金) 20:17:05.88

>>175
objectのlocalizationもしたいんだよね？
画像処理技術の延長だとfmapのvariance分布を追っかけてtraceしてたけどSSDとかを使えばIDなんて要らないと思うよ
要するに無数に切ったDefaultBoxの数と大きさをobjectを囲むBBに合うようにloss計算してるだけ

2018/11/16(金) 20:24:55.93

なんか質問に対して答えが変なきがするので追伸
検出したBBのfmapのvariance peakをmaskにしてかくvarianceから差っ引いていけば重複なく数えられると思うけど
多重ガウス分布ってfilter波形の線形合成で表現できうるので

2018/11/16(金) 20:57:12.57

仮想通貨のマイニングブームが終わった影響じゃね

2018/11/17(土) 09:28:07.28

>>182
マイニングって原理上、投入計算量に対して得られる対価がどんどん減ってくけど、
そのうち誰もマイニングしなくなって、仮想通貨システムの決済処理自体が
立ち行かなくなっちゃったりしないのかね

それともマイニングで儲けた人がちゃんと仮想通貨自体が永らえるように
儲けでなくてもマイニングはし続けて決済処理がちゃんと動き続けるようにするから
大丈夫ってことなのかね

2018/11/17(土) 09:41:36.30

マイナーの損益分岐点になるとさっさと売り払って終了のお知らせだな
使うと減るような種類の仮想通貨もあるから一歩進めて
使うたびに手数料的に減少していけば新規採掘が復活して長期的に運用できるだろうな
そういうのはビットコインにはないみたいだな

2018/11/17(土) 09:44:19.34

マイナーが売りに出した中古のGPU手に入れようとかセコいこと考えてたの思い出した

2018/11/17(土) 09:54:41.35

仮想通貨＝マイニング、ではないから
あくまで信用を担保する一つの手段に過ぎない

2018/11/19(月) 03:44:45.57

これって対応OSはLinux?
ラズパイ程度のハードで使えるのかな？

インテル、第2世代のUSB型AIデバイス「Neural Compute Stick 2」発表
https://japan.zdnet.com/article/35128696/

2018/11/19(月) 15:07:26.49

https://www.switch-science.com/catalog/4104/

2018/11/19(月) 15:08:45.10

以下のサイトのAIに意識を持たせる
ロボマインド・プロジェクトをどう思いますか？
https://robomind.co.jp

2018/11/19(月) 16:04:57.55

>>189
ウイルス
ISILの首切断画像

2018/11/19(月) 22:38:41.35

>>189
ただの嘘つき

2018/11/19(月) 22:47:46.67

>>189
グロ
と書くのよん

2018/11/20(火) 05:46:27.74

>>188
ありがと
> OS support
>Ubuntu 16.04.3 LTS (64 bit),Windows 10 (64 bit), or CentOS 7.4 (64 bit)

2018/11/20(火) 11:50:34.96

>>189
新井教授への苦言は同意

この女教授、袋叩きにあってるな

2018/11/20(火) 12:47:35.12

>>189
どうせ在日系が
パチンコ屋の収益(勿論脱税)にて
作ったIT企業だろ？

在日パチンコ屋ときたら
皆揃って損正義のマネ

**デフォルトの名無しさん** (JP 0Hb9-tFKy) · 2018/11/21(水) 12:16:14.41

元々大した業績もないのに
妙に重宝されてるのが新井某
誰かの愛人？

2018/11/21(水) 19:10:19.36

予算を取る企画をつくるのが超絶に上手い
研究者より商売人のほうが向いてるのでは

2018/11/21(水) 19:30:19.70

この分野、日本の研究者なんているのか

2018/11/21(水) 19:54:28.91

いることはいるけど数が少なすぎるのとアメリカ様に完全に差をつけられてしまっている

2018/11/21(水) 20:04:41.49

お前らもgoogleブラックホールに飲み込まれますように。健勝を祈る

2018/11/21(水) 20:17:18.64

はなからGOOGLE様の手の中で踊っているだけ

2018/11/21(水) 20:31:26.96

>>187
届いた。２はまだラズパイには対応してない。
IntelのOpenVinoという環境で動作させるが、demoプログラムはintel cpu,intel gpu,Movidius,FPGAを容易に切り替えて試せる。
i3-8100とMovidius2を切り替えて試したがi3が数倍早い。

2018/11/21(水) 21:31:30.23

>>199-201
そうなのか、寂しいね…

2018/11/21(水) 22:01:14.61

参考書ばっか読んでて実践らしい事なんもしてなかったからkaggle登録した
きっといい結果出なくて自分の勉強が無に帰す事になりそうで怖いけど頑張るわ

2018/11/21(水) 22:14:36.33

>>199
アメリカ様にっていうか、今の機械学習は大量のデータが必要なのでプラットフォームを押さえてデータを収集してるGAFAが強くなるのは当たり前
もちろんAI研究予算とかの話もあるけどそれ以前の環境作りで負けてる
新井先生は機械学習界隈ではなぜか評判悪いけど日本がアメリカみたく大量のデータを集められることはこれからもないだろう、などちゃんと現状分析して少データから学習できる手法の研究に舵を取るなどしてる
東ロボについて書いた本とか食わず嫌いせずにちゃんと読むと結構納得するところあるよ

2018/11/21(水) 22:24:14.66

東ロボデータセットでレッツチャレンジ!

2018/11/22(木) 00:44:46.72

GAFAが強いって言ってもその対象分野は割と限られているので、専門性の高いデータを持っているメーカーならそのメーカーの専門分野での勝負なら十分対抗できる
なのでいわゆるIT系ではなくメーカー所属で機械学習やる方が楽しいと思う

2018/11/22(木) 08:40:58.06

それが出来るなら一番面白いだろうね

2018/11/22(木) 10:23:39.44

初歩的な質問なのですが、
過去のデータから未来を予想するという点で、
統計学と機械学習は似てると思うのですが、
なぜ、皆んな機械学習ばかり取り上げて統計学を取り上げないのですか？
データの豊富な時代だから分析が盛んになる事は分かりますが、
ならば統計学はダメですか？

2018/11/22(木) 10:24:39.28

異常検知ばっかりになりそうな気も
クラスタリングもあるか

2018/11/22(木) 10:42:17.70

>>207
コマツの工事車両が備えたセンサーを通信で収集して異常検知した事例とか、メーカーの工場でセンサーを張り巡らせて歩留まりを向上させるとか、そういうイメージの話?

2018/11/22(木) 10:45:14.87

高速道路の橋脚の疲労具合を動画撮って解析するのもあったね

2018/11/22(木) 11:09:30.23

>>209
統計学を理解していないものが作ったモデルの特性を理解出来ないでしょう。統計学は必須スキルだよ。表面的な作業だけ覚えても通用しませんよ。

2018/11/22(木) 12:43:39.09

>>209
機械学習の基本は統計学です。
しかし統計学はとても難しい学問です。
(つまり機械学習もその基本は本当はとても難しい)

現状は、統計学を知らないデータサイエンティストがほとんどです。

ですのでもし勉強できる機会があれば、
将来に備えて少しずつでも統計学を勉強される
ことをおススメします。
独学は難しいので、大学、大学院の授業を
受けたほうが良いです。

2018/11/22(木) 13:18:52.84

209ですが、統計学を知らないと基礎が分からないということなので、そういう方は既存の機械学習の手法を運用する事しかできず労働市場では評価は頭打ちということですよね？
つまり基礎の仕組みが分かってないから、既存の仕組みの問題点を改善することはできないですし。また、結果の解釈や適応する手法が妥当か分からないわけでしょうし。