【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/11/05(月) 21:24:43.96

ワシもやらねば～。最近コーセラ進んでないんだわ

2018/11/05(月) 21:36:33.69

>>33
コーセラ2周目で止まってる…
たかだか10分くらいの動画見終わるのに巻き戻したりしてて1時間くらいかかる

2018/11/05(月) 21:59:10.37

誤差伝播法むずい

2018/11/05(月) 22:06:12.73

逆伝播じゃなくて伝播させるからでしょ :-p

2018/11/05(月) 22:55:57.26

>>32
いくら勉強しても十分ってことはないからいいと思う

2018/11/05(月) 22:59:24.08

お前らがエスパーじゃなかったらどこ探せばいいんだってんだよ
なんかさみしいね

2018/11/06(火) 00:30:46.47

誤差逆伝播はcourseraの例の機械学習コースでは詳細スルーしてるから、詳細気になる場合は同じくAndrew先生のやってるディープラーニングコースを見ると分かりやすい
こっちは有料だけど動画見るだけなら無料でいける

2018/11/06(火) 01:21:44.10

>>39
そういうの見てどうのこうのよりGitのcodeをtraceしたほうがぜったいいいとおもうんだけど

2018/11/06(火) 03:13:57.92

コードだけ見ても理論は理解できないだろ

2018/11/06(火) 05:59:57.71

codeのreferr先を都追っかけるだろ普通

2018/11/06(火) 10:33:41.88

https://www.coursera.org/learn/neural-networks-deep-learning
この講座の2週目の誤差逆伝搬法では、
計算グラフを図示
→簡単な数値を入れてざっくり説明
→数式の説明
→Pythonコードを書いて説明
→コードをベクトル化して高速化
の順に説明してくれるから分かりやすかった

2018/11/06(火) 10:44:05.76

よかったね

2018/11/06(火) 11:07:57.58

うんこ

2018/11/07(水) 07:25:39.74

このいたレベルひくいな

2018/11/07(水) 09:11:08.20

>>43
ありがとう
勉強してきます

2018/11/07(水) 09:36:29.93

スレじゃなくて板かｗ

2018/11/07(水) 09:59:17.20

他のスレより初心者の層が厚いよな

2018/11/07(水) 10:03:41.49

難しい話する場所は他にあるじゃん

2018/11/07(水) 11:09:54.95

>>46
気付くの遅すぎ

2018/11/07(水) 11:59:32.41

日立のAIって、この程度しかやってないの？
http://www.nhk.or.jp/ohayou/digest/2018/04/0405.html

Fがベンチャー以下なのは知ってるけど、日立は接点ないからレベルが解らん

2018/11/07(水) 12:15:38.99

>>52
個人で勉強してqiitaに書いてる人と大してレベル変わらんな
これで商売になるのなら自分も十分やっていけそうで自信ついた

2018/11/07(水) 13:23:25.74

>>49
初心者救済スレだと思ってる

2018/11/07(水) 13:28:33.77

>>52
料理1品あたり1000枚だけで足りるのかね？過学習してそう
というか自社で写真取らなくてもネットから拾ってくればいいと思うが
データ利用だから知財的にも問題ないだろうし

2018/11/07(水) 13:35:14.30

>>53
https://i.imgur.com/UQ5HfXX.jpg

2018/11/07(水) 14:04:18.61

>>56
あるあるｗ

2018/11/07(水) 14:12:27.27

楽せずにjournalよめ

2018/11/07(水) 14:15:04.76

>>32
ついでにsympyとscipyも勉強しろ。

2018/11/07(水) 15:02:15.50

Pandocもやれ

2018/11/07(水) 20:27:28.70

seabornも忘れずに

2018/11/07(水) 22:41:56.63

はーマジでopencvの画像bgrなのクソ
普段DL関連では全く使わんしクリップで一瞬使っただけだから盲点だったわ
通りで検証でもテストでも高スコアなのに実用でゴミみたいな予測叩き出してた訳だ
お陰で過学習疑ってデータ数3割も増やして拡張も工夫した2週間が無駄骨だった5%くらいスコア上がったけどよお
こんなクソみたいに初歩的なことやらかす奴おらんやろけど一応気を付けなはれや

2018/11/08(木) 00:38:01.23

なぜそれでテストのスコアは問題なかったんだ？

2018/11/08(木) 02:16:26.40

libSVMの質問はどこですればいいでしょうか

2018/11/08(木) 03:56:08.77

コンテストに研究者送り込むより何に使うか考えるほうが難しいよ

2018/11/08(木) 08:35:44.29

>>65
その通り

技術力の高さよりも、上手く活用した人間が長期的には勝つ

2018/11/08(木) 08:55:35.43

日本企業は技術力の高さもその活用も他国に負けてるからこのザマなわけだ

2018/11/08(木) 09:45:20.79

上から目線で語るニート

2018/11/08(木) 11:52:56.20

>>62
ikiro

2018/11/08(木) 13:38:31.60

ライブラリとか充実してて誰でも出来るのは良いけど分析するのに当たってとりあえずモデル作って結果出しました！みたいなのが多くて統計だったり数学的知識がないまま使ってる人が増えてる感じするね
それが良いか悪いかは分からんけど

2018/11/08(木) 13:43:58.28

>>70
ほとんどのAI専門家自体が、統計知識や周辺知識に欠けていながら
「利用者が統計知識もしらずに・・・」とか言っているのが現実

2018/11/08(木) 13:59:26.61

DRAMのデータバスのbit順間違って結線してても一応そのまま動くからな

2018/11/08(木) 14:38:17.05

>>71
俺もそのうちの1人なんだけどさ
これでは何の意味もないし説得力もないなと思って統計だったり色々勉強し始めて、自分もそうだったけどとりあえずデータ投げてモデル作って結果だしてって雑だし乱暴だよね

2018/11/08(木) 16:04:27.11

顧客もわかってないから大丈夫

2018/11/08(木) 16:10:16.11

統計学の知識って東大赤本程度でいいの？

2018/11/08(木) 16:12:37.43

目標がどこかによる

2018/11/08(木) 16:42:53.67

リアルはKaggleと違って、何が入力値になるか探すところから始まる。

データへアプローチする為には統計の知識は必須だから、
ライブラリ使いが増えてもAI普及の助けにはならないな

2018/11/08(木) 17:20:49.64

>>63
テストも含め学習検証時はkeras内蔵のioライブラリ一本でやってたからね
実用時に一部処理をopencvに任せたらkonozama
テストスコア高い時点で過学習じゃないって気付けよって話だわマジで

2018/11/08(木) 17:48:59.03

>>75
だめでしょ

でも、AIの利用者はそれを知らなくても使えるところに一つのメリットがある
ともいえるので、なんか微妙なところもある。

数理的には統計の方が難しいし、自動化できない問題がある。
なぜ数理的に難しい部分が出現するかといえば単純なことで、
少ないデータを対象に考えられているため。

2018/11/08(木) 17:58:58.30

機械学習に数学はいらない

2018/11/08(木) 18:06:12.16

最近は勝手に分析して特徴量を自動的に作るソフトとかも出てるけど実際使ったことないからどんなものかは分からない
でもその手のソフトが宣伝文句通りに動作するなら片っ端からデータ突っ込むだけでいいんだよね？

2018/11/08(木) 18:14:44.36

>>81

そう。
まずい飯を入れれば
たくさん残飯が出てくる。

2018/11/08(木) 20:54:11.37

AUC高い！って今日同僚がキャッキャ騒いでたけどいつのまにか良いモデルを作る事が目的になってる人結構いるよね

2018/11/09(金) 11:55:37.96

モデル作っちゃったらもう機械学習じゃなくなる

2018/11/09(金) 14:51:34.93

これって応用できればGPUで必死に学習とかいらなくなるの？

「エネルギー関数」を用いてコンピューターに概念を機械学習させる
https://gigazine.net/news/20181108-learning-concepts-with-energy-functions/
>このモデルを使うと、わずか5回のデモンストレーションを行うだけで機械学習が行われ、その成果は2次元だけでなく3次元にも応用が可能であるとされています。
https://i.gzn.jp/img/2018/11/08/learning-concepts-with-energy-functions/00_m.png

2018/11/09(金) 15:18:34.83

問題の次元が低い、おもちゃ（適当）

**デフォルトの名無しさん** (JP 0Hb5-I+1O) · 2018/11/09(金) 15:21:04.21

いい研究だと思う

2018/11/09(金) 15:25:08.64

適用できるモデルがかなり限定的

というかそもそも現在の制御技術でも可能なレベル

2018/11/09(金) 15:36:44.39

現実の問題が解けるかどうかの時代にｗ

2018/11/09(金) 17:19:14.80

>>85をショボいと理屈を持って断じることができる人材が増えてほしい

2018/11/09(金) 17:20:04.21

是非断じてくれ

2018/11/09(金) 18:04:43.56

D-Waveの量子コンピューターで機械学習したらどうなるのかも気になるが、さっぱり解らん

2018/11/09(金) 19:47:59.65

わざわざD-waveなんて使用する必要はない。

2018/11/09(金) 20:33:39.77

New-Waveで機械学習したらどうなるのかも気になるが、さっぱり解らん

2018/11/10(土) 02:37:03.74

非線形最適化だろうが確率分布のピークが複数あろうが、今のＮＮならかなり高速に最適化できるからな

2018/11/10(土) 06:11:09.22

>>92
sdk 見てごらん

2018/11/10(土) 10:53:04.28

これはGAN？
https://www.ctpost.com/technology/businessinsider/article/China-created-what-it-claims-is-the-first-AI-news-13377591.php

中国語訛りの英語が自然に合成できてる

2018/11/10(土) 14:02:45.07

量子プログラミングを全然知らないのに
適当なこと書くのは恥ずかしいからやめような。真に受ける人もいるかもしれないんで

2018/11/10(土) 15:54:18.89

>そもそも現在の制御技術でも可能なレベル

これ

2018/11/11(日) 10:54:02.52

もう何でもかんでも機械学習とかAIって呼ばれる時代だから仕方ない

2018/11/11(日) 11:11:42.83

ネタないこの世の中において久々に「遊べる感」や「進化感」が感じられる分野だからな
そりゃあ、猫も杓子も機械学習に飛びついて飯を食おうとするわな

2018/11/11(日) 13:03:55.10

https://landing.pyq.jp/ml/

2018/11/11(日) 13:27:15.86

モヒカン族ｗ
マサカリ飛ぶ

2018/11/11(日) 14:00:22.61

猫も杓子も
「禰宜（めこ）も釈子（しゃくし）も」が変化したという説、「女子（めこ）も弱子（じゃくし）も」が変化したという説、または猫や杓子は日常生活において目につきやすいからという説もある

2018/11/11(日) 17:13:47.54

Jupyterをサポートした「Python in Visual Studio Code」10月版がリリース
https://news.mynavi.jp/article/20181109-721502/

今までは別タブでしか結果表示出来なかったんだっけ
これの使い心地良ければブラウザでjupyter notebook編集するよりは楽そう

2018/11/11(日) 18:36:49.04

機械学習って何やって遊べばいいの？

2018/11/11(日) 19:03:04.33

ﾄﾗﾝﾌﾟでどうやって遊ぶのといわれたら
だれもが自分の好きなﾄﾗﾝﾌﾟの遊びを選択する

そのﾄﾗﾝﾌﾟの遊びがくだらないものであっても
それはその特定のﾄﾗﾝﾌﾟの遊びがつまらないのであって
ﾄﾗﾝﾌﾟの遊びすべてがつまらないﾜｹではない

新しいﾄﾗﾝﾌﾟの遊びかたを探すのもありだ
遊びだからな　つまり遊びで割り切らないといけない　もともとこのｲﾝﾁｷな分野にはなんのﾒﾘｯﾄもない

2018/11/11(日) 19:54:05.93

まーだインチキとか喚いてる老害おじさんいて草

2018/11/11(日) 21:39:12.85

>>106
Kaggle

2018/11/11(日) 22:06:33.76

神楽

2018/11/12(月) 00:06:45.67

kaggleこなせば仕事でも活かせる部分ってあるのかね
そもそもkaggleすら出来ない奴は論外なのか

2018/11/12(月) 00:24:16.13

その人のポジションによる
kaggleのメリットはひたすらデータ解析して高スコアモデルの作成の追求に没頭できること
一方でそもそもそんなモデルを作ろうと考えるに至るまでの課題抽出のプロセス、モデル作成のためのデータ取得、
完成したモデルをどう事業に使うか、といった部分は完全に無視することになる

2018/11/12(月) 08:28:34.75

「Splatoon 2」をディープラーニングで攻略してみなイカ？　2018（前編）
http://www.itmedia.co.jp/news/articles/1811/08/news007.html

2018/11/12(月) 15:33:06.60

kaggleに登録したけど
忙しくてその後何もやってない。

kaggleやるヒマあるならキチンと
統計学の勉強したほうがいいと思う。

2018/11/12(月) 15:46:42.95

「きちんと勉強する」の基準が難しくて真面目な人ほど勉強ばかりに熱中して実践的なことが見に付かなくなる
なので理論の勉強しつつ並行して実践するのが一番
kaggleも勉強の一環と考えて上位入賞を意識しすぎなければいい

2018/11/12(月) 15:47:56.04

kaggle勉強するより職安へ行け

2018/11/12(月) 16:56:46.18

俺はもう15年もデータ分析の仕事してる。
実践はやっていける自信持てたけど
理論武装を積み上げないといけないと思ってるところ。
企業で統計学を教えることもあるけど
まだまだ理論は未熟ですよ。

2018/11/12(月) 17:47:16.10

職安より派遣会社の求人見たほうが捗ると思う

2018/11/12(月) 20:21:45.69

>>115
自分が真面目かは分からないけど刺さる言葉だ…
勉強しても不安でずっと参考書見て参考のコード書いてってばかりで実践力みたいなものは皆無だと思う

あと上でも統計学を勉強するべきって言ってくれてる人もいるけど、区間推定とか仮説検定とかそういうのは低レベル過ぎる？

2018/11/12(月) 21:02:02.66

理論とかｲﾗﾈ
そんな無駄ならことする暇あるなら手を動かして一つでも多くデータを集めろ

2018/11/12(月) 22:46:42.91

>>119
機械学習で使うかと言われると使わない。
ただし、顧客からp値を出せと求められる場合もあるので常識として押さえておいた方がよい。

2018/11/12(月) 23:17:21.18

>>121
なるほど
データ分析が出来る人になりたいなと思うから抑えといた方が良さそうだね
ここに居る人たちは分析メインの人よりシステム作ったりしてる人が多いのかな

2018/11/12(月) 23:21:52.61

理論分かってた方がどこをどう直せば改善するとかわかるようになるんじゃないの

2018/11/12(月) 23:40:51.12

決定木ってデータのスケーリングだったりは必要ないって解説サイトにも書かれてるけど全くやらないのがデフォルトなの？
それとも文字とかはダミー変数とかに置き換える基本はやるべきなの？

2018/11/13(火) 02:10:30.33

>>124
他のモデルと純粋に優劣を図りたい時に条件を揃える目的でスケーリングすることはあるかも知れない(無意味だけど)
カデゴリカル値の変換は決定木の場合もやらなくちゃいけない。変数の数がやたら増えると好ましく無いため、get_dummiesよりはtarget based encodingがいいよという人もいる。

2018/11/13(火) 10:17:10.75

>>120
＞　理論とかｲﾗﾈ
＞　そんな無駄ならことする暇あるなら手を動かして一つでも多くデータを集めろ

そういう人って、少し景気が悪くなれば必要なくなる。
PCが使えれば高卒でもできるから。

ま、そういうレベルの職場もまだ多いから、
それで食っていけるならいいんじゃないか？

おれはイヤだけどね。

2018/11/13(火) 10:19:11.30

インフラ系開発からそっち行きたいんだけど中々入り込めぬ

2018/11/13(火) 10:58:04.08

>>126
理論とか高卒の作業以下って言ってるんだけど
上でも誰か言ってるけど課題抽出やどう事業に応用するのかが大事なのであって理論じゃ飯は食えない

2018/11/13(火) 10:58:37.62

最近は、転職するのがとても難しいですね。

良い人材を採用したいといいながら、
人材紹介会社に丸投げですから。

人材紹介会社というのが何をやってるのか
わかりませんけど、そういうのに登録しても、
高学歴で20代でなければ、
ほとんど良い転職は紹介してもらえないようです。

つか、紹介先が人売り企業ばかりです(笑)
そのほうが高く売れるんですよ。
紹介手数料を多くもらえる。

だから、普通の人には下請け企業や
実質的な派遣会社ばかりを紹介してきます。

2018/11/13(火) 11:02:10.63

>>128
実践は俺のもっとも得意とするところ。
ちゃんと書いてあるだろう？
読めないのか？

それに加えて理論ということだ。
日本語読めないか？

2018/11/13(火) 11:49:50.60

>>128
課題抽出や応用って理論が無いとできないと思うんだが
理論がいらないのって下請けの単純作業くらいじゃね

2018/11/13(火) 13:03:00.51

客が馬鹿なところでは、
ヒストグラムと折れ線グラフで分析終了ですね。
実際、そういうところ多いです。

だからと言ってそれに甘んじて理論の勉強をサボっていると、
そのうちメシが食えなくなるということでしょう。