【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/11/07(水) 14:04:18.61

>>56
あるあるｗ

2018/11/07(水) 14:12:27.27

楽せずにjournalよめ

2018/11/07(水) 14:15:04.76

>>32
ついでにsympyとscipyも勉強しろ。

2018/11/07(水) 15:02:15.50

Pandocもやれ

2018/11/07(水) 20:27:28.70

seabornも忘れずに

2018/11/07(水) 22:41:56.63

はーマジでopencvの画像bgrなのクソ
普段DL関連では全く使わんしクリップで一瞬使っただけだから盲点だったわ
通りで検証でもテストでも高スコアなのに実用でゴミみたいな予測叩き出してた訳だ
お陰で過学習疑ってデータ数3割も増やして拡張も工夫した2週間が無駄骨だった5%くらいスコア上がったけどよお
こんなクソみたいに初歩的なことやらかす奴おらんやろけど一応気を付けなはれや

2018/11/08(木) 00:38:01.23

なぜそれでテストのスコアは問題なかったんだ？

2018/11/08(木) 02:16:26.40

libSVMの質問はどこですればいいでしょうか

2018/11/08(木) 03:56:08.77

コンテストに研究者送り込むより何に使うか考えるほうが難しいよ

2018/11/08(木) 08:35:44.29

>>65
その通り

技術力の高さよりも、上手く活用した人間が長期的には勝つ

2018/11/08(木) 08:55:35.43

日本企業は技術力の高さもその活用も他国に負けてるからこのザマなわけだ

2018/11/08(木) 09:45:20.79

上から目線で語るニート

2018/11/08(木) 11:52:56.20

>>62
ikiro

2018/11/08(木) 13:38:31.60

ライブラリとか充実してて誰でも出来るのは良いけど分析するのに当たってとりあえずモデル作って結果出しました！みたいなのが多くて統計だったり数学的知識がないまま使ってる人が増えてる感じするね
それが良いか悪いかは分からんけど

2018/11/08(木) 13:43:58.28

>>70
ほとんどのAI専門家自体が、統計知識や周辺知識に欠けていながら
「利用者が統計知識もしらずに・・・」とか言っているのが現実

2018/11/08(木) 13:59:26.61

DRAMのデータバスのbit順間違って結線してても一応そのまま動くからな

2018/11/08(木) 14:38:17.05

>>71
俺もそのうちの1人なんだけどさ
これでは何の意味もないし説得力もないなと思って統計だったり色々勉強し始めて、自分もそうだったけどとりあえずデータ投げてモデル作って結果だしてって雑だし乱暴だよね

2018/11/08(木) 16:04:27.11

顧客もわかってないから大丈夫

2018/11/08(木) 16:10:16.11

統計学の知識って東大赤本程度でいいの？

2018/11/08(木) 16:12:37.43

目標がどこかによる

2018/11/08(木) 16:42:53.67

リアルはKaggleと違って、何が入力値になるか探すところから始まる。

データへアプローチする為には統計の知識は必須だから、
ライブラリ使いが増えてもAI普及の助けにはならないな

2018/11/08(木) 17:20:49.64

>>63
テストも含め学習検証時はkeras内蔵のioライブラリ一本でやってたからね
実用時に一部処理をopencvに任せたらkonozama
テストスコア高い時点で過学習じゃないって気付けよって話だわマジで

2018/11/08(木) 17:48:59.03

>>75
だめでしょ

でも、AIの利用者はそれを知らなくても使えるところに一つのメリットがある
ともいえるので、なんか微妙なところもある。

数理的には統計の方が難しいし、自動化できない問題がある。
なぜ数理的に難しい部分が出現するかといえば単純なことで、
少ないデータを対象に考えられているため。

2018/11/08(木) 17:58:58.30

機械学習に数学はいらない

2018/11/08(木) 18:06:12.16

最近は勝手に分析して特徴量を自動的に作るソフトとかも出てるけど実際使ったことないからどんなものかは分からない
でもその手のソフトが宣伝文句通りに動作するなら片っ端からデータ突っ込むだけでいいんだよね？

2018/11/08(木) 18:14:44.36

>>81

そう。
まずい飯を入れれば
たくさん残飯が出てくる。

2018/11/08(木) 20:54:11.37

AUC高い！って今日同僚がキャッキャ騒いでたけどいつのまにか良いモデルを作る事が目的になってる人結構いるよね

2018/11/09(金) 11:55:37.96

モデル作っちゃったらもう機械学習じゃなくなる

2018/11/09(金) 14:51:34.93

これって応用できればGPUで必死に学習とかいらなくなるの？

「エネルギー関数」を用いてコンピューターに概念を機械学習させる
https://gigazine.net/news/20181108-learning-concepts-with-energy-functions/
>このモデルを使うと、わずか5回のデモンストレーションを行うだけで機械学習が行われ、その成果は2次元だけでなく3次元にも応用が可能であるとされています。
https://i.gzn.jp/img/2018/11/08/learning-concepts-with-energy-functions/00_m.png

2018/11/09(金) 15:18:34.83

問題の次元が低い、おもちゃ（適当）

**デフォルトの名無しさん** (JP 0Hb5-I+1O) · 2018/11/09(金) 15:21:04.21

いい研究だと思う

2018/11/09(金) 15:25:08.64

適用できるモデルがかなり限定的

というかそもそも現在の制御技術でも可能なレベル

2018/11/09(金) 15:36:44.39

現実の問題が解けるかどうかの時代にｗ

2018/11/09(金) 17:19:14.80

>>85をショボいと理屈を持って断じることができる人材が増えてほしい

2018/11/09(金) 17:20:04.21

是非断じてくれ

2018/11/09(金) 18:04:43.56

D-Waveの量子コンピューターで機械学習したらどうなるのかも気になるが、さっぱり解らん

2018/11/09(金) 19:47:59.65

わざわざD-waveなんて使用する必要はない。

2018/11/09(金) 20:33:39.77

New-Waveで機械学習したらどうなるのかも気になるが、さっぱり解らん

2018/11/10(土) 02:37:03.74

非線形最適化だろうが確率分布のピークが複数あろうが、今のＮＮならかなり高速に最適化できるからな

2018/11/10(土) 06:11:09.22

>>92
sdk 見てごらん

2018/11/10(土) 10:53:04.28

これはGAN？
https://www.ctpost.com/technology/businessinsider/article/China-created-what-it-claims-is-the-first-AI-news-13377591.php

中国語訛りの英語が自然に合成できてる

2018/11/10(土) 14:02:45.07

量子プログラミングを全然知らないのに
適当なこと書くのは恥ずかしいからやめような。真に受ける人もいるかもしれないんで

2018/11/10(土) 15:54:18.89

>そもそも現在の制御技術でも可能なレベル

これ

2018/11/11(日) 10:54:02.52

もう何でもかんでも機械学習とかAIって呼ばれる時代だから仕方ない

2018/11/11(日) 11:11:42.83

ネタないこの世の中において久々に「遊べる感」や「進化感」が感じられる分野だからな
そりゃあ、猫も杓子も機械学習に飛びついて飯を食おうとするわな

2018/11/11(日) 13:03:55.10

https://landing.pyq.jp/ml/

2018/11/11(日) 13:27:15.86

モヒカン族ｗ
マサカリ飛ぶ

2018/11/11(日) 14:00:22.61

猫も杓子も
「禰宜（めこ）も釈子（しゃくし）も」が変化したという説、「女子（めこ）も弱子（じゃくし）も」が変化したという説、または猫や杓子は日常生活において目につきやすいからという説もある

2018/11/11(日) 17:13:47.54

Jupyterをサポートした「Python in Visual Studio Code」10月版がリリース
https://news.mynavi.jp/article/20181109-721502/

今までは別タブでしか結果表示出来なかったんだっけ
これの使い心地良ければブラウザでjupyter notebook編集するよりは楽そう

2018/11/11(日) 18:36:49.04

機械学習って何やって遊べばいいの？

2018/11/11(日) 19:03:04.33

ﾄﾗﾝﾌﾟでどうやって遊ぶのといわれたら
だれもが自分の好きなﾄﾗﾝﾌﾟの遊びを選択する

そのﾄﾗﾝﾌﾟの遊びがくだらないものであっても
それはその特定のﾄﾗﾝﾌﾟの遊びがつまらないのであって
ﾄﾗﾝﾌﾟの遊びすべてがつまらないﾜｹではない

新しいﾄﾗﾝﾌﾟの遊びかたを探すのもありだ
遊びだからな　つまり遊びで割り切らないといけない　もともとこのｲﾝﾁｷな分野にはなんのﾒﾘｯﾄもない

2018/11/11(日) 19:54:05.93

まーだインチキとか喚いてる老害おじさんいて草

2018/11/11(日) 21:39:12.85

>>106
Kaggle

2018/11/11(日) 22:06:33.76

神楽

2018/11/12(月) 00:06:45.67

kaggleこなせば仕事でも活かせる部分ってあるのかね
そもそもkaggleすら出来ない奴は論外なのか

2018/11/12(月) 00:24:16.13

その人のポジションによる
kaggleのメリットはひたすらデータ解析して高スコアモデルの作成の追求に没頭できること
一方でそもそもそんなモデルを作ろうと考えるに至るまでの課題抽出のプロセス、モデル作成のためのデータ取得、
完成したモデルをどう事業に使うか、といった部分は完全に無視することになる

2018/11/12(月) 08:28:34.75

「Splatoon 2」をディープラーニングで攻略してみなイカ？　2018（前編）
http://www.itmedia.co.jp/news/articles/1811/08/news007.html

2018/11/12(月) 15:33:06.60

kaggleに登録したけど
忙しくてその後何もやってない。

kaggleやるヒマあるならキチンと
統計学の勉強したほうがいいと思う。

2018/11/12(月) 15:46:42.95

「きちんと勉強する」の基準が難しくて真面目な人ほど勉強ばかりに熱中して実践的なことが見に付かなくなる
なので理論の勉強しつつ並行して実践するのが一番
kaggleも勉強の一環と考えて上位入賞を意識しすぎなければいい

2018/11/12(月) 15:47:56.04

kaggle勉強するより職安へ行け

2018/11/12(月) 16:56:46.18

俺はもう15年もデータ分析の仕事してる。
実践はやっていける自信持てたけど
理論武装を積み上げないといけないと思ってるところ。
企業で統計学を教えることもあるけど
まだまだ理論は未熟ですよ。

2018/11/12(月) 17:47:16.10

職安より派遣会社の求人見たほうが捗ると思う

2018/11/12(月) 20:21:45.69

>>115
自分が真面目かは分からないけど刺さる言葉だ…
勉強しても不安でずっと参考書見て参考のコード書いてってばかりで実践力みたいなものは皆無だと思う

あと上でも統計学を勉強するべきって言ってくれてる人もいるけど、区間推定とか仮説検定とかそういうのは低レベル過ぎる？

2018/11/12(月) 21:02:02.66

理論とかｲﾗﾈ
そんな無駄ならことする暇あるなら手を動かして一つでも多くデータを集めろ

2018/11/12(月) 22:46:42.91

>>119
機械学習で使うかと言われると使わない。
ただし、顧客からp値を出せと求められる場合もあるので常識として押さえておいた方がよい。

2018/11/12(月) 23:17:21.18

>>121
なるほど
データ分析が出来る人になりたいなと思うから抑えといた方が良さそうだね
ここに居る人たちは分析メインの人よりシステム作ったりしてる人が多いのかな

2018/11/12(月) 23:21:52.61

理論分かってた方がどこをどう直せば改善するとかわかるようになるんじゃないの

2018/11/12(月) 23:40:51.12

決定木ってデータのスケーリングだったりは必要ないって解説サイトにも書かれてるけど全くやらないのがデフォルトなの？
それとも文字とかはダミー変数とかに置き換える基本はやるべきなの？

2018/11/13(火) 02:10:30.33

>>124
他のモデルと純粋に優劣を図りたい時に条件を揃える目的でスケーリングすることはあるかも知れない(無意味だけど)
カデゴリカル値の変換は決定木の場合もやらなくちゃいけない。変数の数がやたら増えると好ましく無いため、get_dummiesよりはtarget based encodingがいいよという人もいる。

2018/11/13(火) 10:17:10.75

>>120
＞　理論とかｲﾗﾈ
＞　そんな無駄ならことする暇あるなら手を動かして一つでも多くデータを集めろ

そういう人って、少し景気が悪くなれば必要なくなる。
PCが使えれば高卒でもできるから。

ま、そういうレベルの職場もまだ多いから、
それで食っていけるならいいんじゃないか？

おれはイヤだけどね。

2018/11/13(火) 10:19:11.30

インフラ系開発からそっち行きたいんだけど中々入り込めぬ

2018/11/13(火) 10:58:04.08

>>126
理論とか高卒の作業以下って言ってるんだけど
上でも誰か言ってるけど課題抽出やどう事業に応用するのかが大事なのであって理論じゃ飯は食えない

2018/11/13(火) 10:58:37.62

最近は、転職するのがとても難しいですね。

良い人材を採用したいといいながら、
人材紹介会社に丸投げですから。

人材紹介会社というのが何をやってるのか
わかりませんけど、そういうのに登録しても、
高学歴で20代でなければ、
ほとんど良い転職は紹介してもらえないようです。

つか、紹介先が人売り企業ばかりです(笑)
そのほうが高く売れるんですよ。
紹介手数料を多くもらえる。

だから、普通の人には下請け企業や
実質的な派遣会社ばかりを紹介してきます。

2018/11/13(火) 11:02:10.63

>>128
実践は俺のもっとも得意とするところ。
ちゃんと書いてあるだろう？
読めないのか？

それに加えて理論ということだ。
日本語読めないか？

2018/11/13(火) 11:49:50.60

>>128
課題抽出や応用って理論が無いとできないと思うんだが
理論がいらないのって下請けの単純作業くらいじゃね

2018/11/13(火) 13:03:00.51

客が馬鹿なところでは、
ヒストグラムと折れ線グラフで分析終了ですね。
実際、そういうところ多いです。

だからと言ってそれに甘んじて理論の勉強をサボっていると、
そのうちメシが食えなくなるということでしょう。

2018/11/13(火) 13:48:11.79

ヒストグラムと折れ線グラフか、馬鹿丸出し

2018/11/13(火) 15:05:43.42

それで納得する客が一番馬鹿なんだろ

2018/11/13(火) 15:28:39.07

グラフの種類だけで程度を判断する方がバカだろ

2018/11/13(火) 15:28:44.21

>>133
だからさ、日本語読めないなら半島へ帰りなよ。
データ分析専門の会社なんて在日朝鮮人ばっか。

2018/11/13(火) 15:30:41.68

>>135
そうそう。
客が納得する単純なグラフを用意するのも仕事の内ですから。

結局は客の要望で仕事するしかないわけで。

2018/11/13(火) 15:32:06.04

>>136
自己紹介乙

2018/11/13(火) 15:32:50.87

>>133
客の要望が理解できないド素人なんだろうが、
まあ、そういう馬鹿でも今はメシが食える。
いいなあ(笑)

2018/11/13(火) 15:48:01.71

>>132
見極め大変そうだな
普通の客にそんなん出したらバカにしてんのかって怒られるぞ

2018/11/13(火) 18:11:06.97

それでも怒らず満足してくれる客がいるってことだろ
30点で満足してくれるのに同じ金で80点取ろうとする必要はない

2018/11/13(火) 18:58:44.96

>>120
どうやって騙して金取るかだからな

2018/11/13(火) 21:32:20.48

>>130
その実践のために理論なんてものを覚える暇があるなら1つでもデータ数を増やす方が役に立つという主張ﾀﾞﾅ
逆に理論なんて無用の長物がどう実践に役立つのか教えて欲しいもんだわ
あんなの暇人研究者（）のオモチャだろ

2018/11/13(火) 21:43:39.39

>>143
言いたいことはわからんでもないけど、
理論でデータを増やる場合があるんだよね。
それが重要だったりするんだよ。

教えてやろうか？

2018/11/13(火) 21:47:50.36

まずﾊﾞｶは相手がなにをしたいかが読み取れないからな
所詮、ﾄﾞｶﾀ作業員

2018/11/14(水) 00:16:46.33

>>143が頭空っぽにしてても実践出来るのはその暇人研究者()のおかげなんだが

2018/11/14(水) 04:32:59.14

>>144
「理論でデータを増やる場合があるんだよね。」って日本語変じゃないか?

2018/11/14(水) 12:06:15.39

>>147
ちょいと変だけど意味は通じるだろ？
理解できない？

2018/11/14(水) 12:07:28.48

>>147
手を動かしてるだけのFランの馬鹿には理解できないと思う。
だから学歴を書いてくれる？
学歴に応じてわかるように書いてやるから？

2018/11/14(水) 12:28:40.66

自分園卒なんで

2018/11/14(水) 12:53:28.20

小卒にも分かるように説明して

2018/11/14(水) 12:58:16.43

ワシAIなのでAI用にも頼む

2018/11/14(水) 13:01:13.06

ワイ天才チンパンジー「アイちゃん」やで

2018/11/14(水) 14:53:29.30

cross-validation: [0.5 0.375 0.71428571 0.8 0.6 ] 0.5978571428571429
交差検証したときにこういうときってどうしたらいいですか？
データ数が少ないってのはあるのですが…

2018/11/14(水) 14:53:29.46

tensorflowって複素数のデータを使った学習できますか？
実数=複素数*重みみたいな式を作りたいんですけどどうすればいいですかね

2018/11/14(水) 15:40:27.76

マルチンコ