【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/11/05(月) 11:40:44.08

GPU複数台タワーグラッドで計算させてたけど、転移学習主体になてシングルで事足りてます。OSが無料かどうかが論点なのかな？

2018/11/05(月) 12:20:46.98

Linux搭載PCが量販店で普通に新品で売ってるなら選択肢に入るけど新品だとwinかmacしか選択肢がない
で、わざわざ買った有料OSを抜いてLinux入れるかと言われるとwinでやりたいことできるならwinでいいじゃないか、となる

2018/11/05(月) 15:11:38.27

個人端末で計算できるなんていい時代になったねえ

2018/11/05(月) 17:08:47.04

それな、わざわざ入れるのは意味不明
自作PC組むようなオタクならリナックス
市販のPC買う一般人はwin使えばいい

**15; 21;** (ﾜｯﾁｮｲ df9f-MyS3) · 2018/11/05(月) 17:17:04.02

PCと携帯でID同じになってくれればいいなと思ったけどだめでした
自作でWin10Proをわざわざいれてやってるんだけど
>17さんの言うみたいにベストでない理由はなにかあるんですかね？
個人的にはhorovodの分散学習がLinux対応だけどWinでKerasでもできるし
GPUパフォーマンスあがってきてBatch_size増やす必要もなくなってきたので不満がないのですけど

ぶっちゃけbusinessとacademicとpersonalを全部両立した環境って結局Winが使いやすくて
TensorflowではこのmoduleがWinだと使えないぜってのがあれば先に押しててほしいなと

最近Tensor-hubを使うようになり、その機会にtf.estimatorも使うようになると、
いままでちまちま書いてたのが馬鹿らしくなりました
もうKerasもいらないくらい

2018/11/05(月) 17:21:30.22

自分でいいならいいんじゃね。エスパー探してるんか

2018/11/05(月) 17:22:20.20

そうですエスパーさん探してます

2018/11/05(月) 18:06:42.84

追記
academicだとやたらMAX_OSが多い
昔DTMでMAC使ったことあるけど逆にdirectoryのruleが曖昧で悩んだ記憶があるlevel
MACがやばいとあったけどWSでもあいつらMACでやるし
逆にWin; Linuxは見たことないな

結局なんでもいいんじゃないの？
platformがTensorflowなら

2018/11/05(月) 19:38:34.38

だから言ってんじゃん
オタクはリナックス一般人はwinパリピはmac

2018/11/05(月) 19:49:23.92

>>28
おいおい
TensorflowGPUの最新版はmacOSサポートしてないんだぞ

2018/11/05(月) 20:56:42.33

今日もDNNのWSでMacでDemoされたけど
なんか良くわからなくなってきたよ

2018/11/05(月) 21:23:09.46

今月はnumpyとpandasとmatplotlibの勉強するから応援してくれよな
そんなのわざわざ勉強するのアホじゃねっていうのは心折れるからやめてくれよな

2018/11/05(月) 21:24:43.96

ワシもやらねば～。最近コーセラ進んでないんだわ

2018/11/05(月) 21:36:33.69

>>33
コーセラ2周目で止まってる…
たかだか10分くらいの動画見終わるのに巻き戻したりしてて1時間くらいかかる

2018/11/05(月) 21:59:10.37

誤差伝播法むずい

2018/11/05(月) 22:06:12.73

逆伝播じゃなくて伝播させるからでしょ :-p

2018/11/05(月) 22:55:57.26

>>32
いくら勉強しても十分ってことはないからいいと思う

2018/11/05(月) 22:59:24.08

お前らがエスパーじゃなかったらどこ探せばいいんだってんだよ
なんかさみしいね

2018/11/06(火) 00:30:46.47

誤差逆伝播はcourseraの例の機械学習コースでは詳細スルーしてるから、詳細気になる場合は同じくAndrew先生のやってるディープラーニングコースを見ると分かりやすい
こっちは有料だけど動画見るだけなら無料でいける

2018/11/06(火) 01:21:44.10

>>39
そういうの見てどうのこうのよりGitのcodeをtraceしたほうがぜったいいいとおもうんだけど

2018/11/06(火) 03:13:57.92

コードだけ見ても理論は理解できないだろ

2018/11/06(火) 05:59:57.71

codeのreferr先を都追っかけるだろ普通

2018/11/06(火) 10:33:41.88

https://www.coursera.org/learn/neural-networks-deep-learning
この講座の2週目の誤差逆伝搬法では、
計算グラフを図示
→簡単な数値を入れてざっくり説明
→数式の説明
→Pythonコードを書いて説明
→コードをベクトル化して高速化
の順に説明してくれるから分かりやすかった

2018/11/06(火) 10:44:05.76

よかったね

2018/11/06(火) 11:07:57.58

うんこ

2018/11/07(水) 07:25:39.74

このいたレベルひくいな

2018/11/07(水) 09:11:08.20

>>43
ありがとう
勉強してきます

2018/11/07(水) 09:36:29.93

スレじゃなくて板かｗ

2018/11/07(水) 09:59:17.20

他のスレより初心者の層が厚いよな

2018/11/07(水) 10:03:41.49

難しい話する場所は他にあるじゃん

2018/11/07(水) 11:09:54.95

>>46
気付くの遅すぎ

2018/11/07(水) 11:59:32.41

日立のAIって、この程度しかやってないの？
http://www.nhk.or.jp/ohayou/digest/2018/04/0405.html

Fがベンチャー以下なのは知ってるけど、日立は接点ないからレベルが解らん

2018/11/07(水) 12:15:38.99

>>52
個人で勉強してqiitaに書いてる人と大してレベル変わらんな
これで商売になるのなら自分も十分やっていけそうで自信ついた

2018/11/07(水) 13:23:25.74

>>49
初心者救済スレだと思ってる

2018/11/07(水) 13:28:33.77

>>52
料理1品あたり1000枚だけで足りるのかね？過学習してそう
というか自社で写真取らなくてもネットから拾ってくればいいと思うが
データ利用だから知財的にも問題ないだろうし

2018/11/07(水) 13:35:14.30

>>53
https://i.imgur.com/UQ5HfXX.jpg

2018/11/07(水) 14:04:18.61

>>56
あるあるｗ

2018/11/07(水) 14:12:27.27

楽せずにjournalよめ

2018/11/07(水) 14:15:04.76

>>32
ついでにsympyとscipyも勉強しろ。

2018/11/07(水) 15:02:15.50

Pandocもやれ

2018/11/07(水) 20:27:28.70

seabornも忘れずに

2018/11/07(水) 22:41:56.63

はーマジでopencvの画像bgrなのクソ
普段DL関連では全く使わんしクリップで一瞬使っただけだから盲点だったわ
通りで検証でもテストでも高スコアなのに実用でゴミみたいな予測叩き出してた訳だ
お陰で過学習疑ってデータ数3割も増やして拡張も工夫した2週間が無駄骨だった5%くらいスコア上がったけどよお
こんなクソみたいに初歩的なことやらかす奴おらんやろけど一応気を付けなはれや

2018/11/08(木) 00:38:01.23

なぜそれでテストのスコアは問題なかったんだ？

2018/11/08(木) 02:16:26.40

libSVMの質問はどこですればいいでしょうか

2018/11/08(木) 03:56:08.77

コンテストに研究者送り込むより何に使うか考えるほうが難しいよ

2018/11/08(木) 08:35:44.29

>>65
その通り

技術力の高さよりも、上手く活用した人間が長期的には勝つ

2018/11/08(木) 08:55:35.43

日本企業は技術力の高さもその活用も他国に負けてるからこのザマなわけだ

2018/11/08(木) 09:45:20.79

上から目線で語るニート

2018/11/08(木) 11:52:56.20

>>62
ikiro

2018/11/08(木) 13:38:31.60

ライブラリとか充実してて誰でも出来るのは良いけど分析するのに当たってとりあえずモデル作って結果出しました！みたいなのが多くて統計だったり数学的知識がないまま使ってる人が増えてる感じするね
それが良いか悪いかは分からんけど

2018/11/08(木) 13:43:58.28

>>70
ほとんどのAI専門家自体が、統計知識や周辺知識に欠けていながら
「利用者が統計知識もしらずに・・・」とか言っているのが現実

2018/11/08(木) 13:59:26.61

DRAMのデータバスのbit順間違って結線してても一応そのまま動くからな

2018/11/08(木) 14:38:17.05

>>71
俺もそのうちの1人なんだけどさ
これでは何の意味もないし説得力もないなと思って統計だったり色々勉強し始めて、自分もそうだったけどとりあえずデータ投げてモデル作って結果だしてって雑だし乱暴だよね

2018/11/08(木) 16:04:27.11

顧客もわかってないから大丈夫

2018/11/08(木) 16:10:16.11

統計学の知識って東大赤本程度でいいの？

2018/11/08(木) 16:12:37.43

目標がどこかによる

2018/11/08(木) 16:42:53.67

リアルはKaggleと違って、何が入力値になるか探すところから始まる。

データへアプローチする為には統計の知識は必須だから、
ライブラリ使いが増えてもAI普及の助けにはならないな

2018/11/08(木) 17:20:49.64

>>63
テストも含め学習検証時はkeras内蔵のioライブラリ一本でやってたからね
実用時に一部処理をopencvに任せたらkonozama
テストスコア高い時点で過学習じゃないって気付けよって話だわマジで

2018/11/08(木) 17:48:59.03

>>75
だめでしょ

でも、AIの利用者はそれを知らなくても使えるところに一つのメリットがある
ともいえるので、なんか微妙なところもある。

数理的には統計の方が難しいし、自動化できない問題がある。
なぜ数理的に難しい部分が出現するかといえば単純なことで、
少ないデータを対象に考えられているため。

2018/11/08(木) 17:58:58.30

機械学習に数学はいらない

2018/11/08(木) 18:06:12.16

最近は勝手に分析して特徴量を自動的に作るソフトとかも出てるけど実際使ったことないからどんなものかは分からない
でもその手のソフトが宣伝文句通りに動作するなら片っ端からデータ突っ込むだけでいいんだよね？

2018/11/08(木) 18:14:44.36

>>81

そう。
まずい飯を入れれば
たくさん残飯が出てくる。

2018/11/08(木) 20:54:11.37

AUC高い！って今日同僚がキャッキャ騒いでたけどいつのまにか良いモデルを作る事が目的になってる人結構いるよね

2018/11/09(金) 11:55:37.96

モデル作っちゃったらもう機械学習じゃなくなる

2018/11/09(金) 14:51:34.93

これって応用できればGPUで必死に学習とかいらなくなるの？

「エネルギー関数」を用いてコンピューターに概念を機械学習させる
https://gigazine.net/news/20181108-learning-concepts-with-energy-functions/
>このモデルを使うと、わずか5回のデモンストレーションを行うだけで機械学習が行われ、その成果は2次元だけでなく3次元にも応用が可能であるとされています。
https://i.gzn.jp/img/2018/11/08/learning-concepts-with-energy-functions/00_m.png

2018/11/09(金) 15:18:34.83

問題の次元が低い、おもちゃ（適当）

**デフォルトの名無しさん** (JP 0Hb5-I+1O) · 2018/11/09(金) 15:21:04.21

いい研究だと思う

2018/11/09(金) 15:25:08.64

適用できるモデルがかなり限定的

というかそもそも現在の制御技術でも可能なレベル

2018/11/09(金) 15:36:44.39

現実の問題が解けるかどうかの時代にｗ

2018/11/09(金) 17:19:14.80

>>85をショボいと理屈を持って断じることができる人材が増えてほしい

2018/11/09(金) 17:20:04.21

是非断じてくれ

2018/11/09(金) 18:04:43.56

D-Waveの量子コンピューターで機械学習したらどうなるのかも気になるが、さっぱり解らん

2018/11/09(金) 19:47:59.65

わざわざD-waveなんて使用する必要はない。

2018/11/09(金) 20:33:39.77

New-Waveで機械学習したらどうなるのかも気になるが、さっぱり解らん

2018/11/10(土) 02:37:03.74

非線形最適化だろうが確率分布のピークが複数あろうが、今のＮＮならかなり高速に最適化できるからな

2018/11/10(土) 06:11:09.22

>>92
sdk 見てごらん

2018/11/10(土) 10:53:04.28

これはGAN？
https://www.ctpost.com/technology/businessinsider/article/China-created-what-it-claims-is-the-first-AI-news-13377591.php

中国語訛りの英語が自然に合成できてる

2018/11/10(土) 14:02:45.07

量子プログラミングを全然知らないのに
適当なこと書くのは恥ずかしいからやめような。真に受ける人もいるかもしれないんで

2018/11/10(土) 15:54:18.89

>そもそも現在の制御技術でも可能なレベル

これ

2018/11/11(日) 10:54:02.52

もう何でもかんでも機械学習とかAIって呼ばれる時代だから仕方ない

2018/11/11(日) 11:11:42.83

ネタないこの世の中において久々に「遊べる感」や「進化感」が感じられる分野だからな
そりゃあ、猫も杓子も機械学習に飛びついて飯を食おうとするわな

2018/11/11(日) 13:03:55.10

https://landing.pyq.jp/ml/

2018/11/11(日) 13:27:15.86

モヒカン族ｗ
マサカリ飛ぶ

2018/11/11(日) 14:00:22.61

猫も杓子も
「禰宜（めこ）も釈子（しゃくし）も」が変化したという説、「女子（めこ）も弱子（じゃくし）も」が変化したという説、または猫や杓子は日常生活において目につきやすいからという説もある

2018/11/11(日) 17:13:47.54

Jupyterをサポートした「Python in Visual Studio Code」10月版がリリース
https://news.mynavi.jp/article/20181109-721502/

今までは別タブでしか結果表示出来なかったんだっけ
これの使い心地良ければブラウザでjupyter notebook編集するよりは楽そう

2018/11/11(日) 18:36:49.04

機械学習って何やって遊べばいいの？

2018/11/11(日) 19:03:04.33

ﾄﾗﾝﾌﾟでどうやって遊ぶのといわれたら
だれもが自分の好きなﾄﾗﾝﾌﾟの遊びを選択する

そのﾄﾗﾝﾌﾟの遊びがくだらないものであっても
それはその特定のﾄﾗﾝﾌﾟの遊びがつまらないのであって
ﾄﾗﾝﾌﾟの遊びすべてがつまらないﾜｹではない

新しいﾄﾗﾝﾌﾟの遊びかたを探すのもありだ
遊びだからな　つまり遊びで割り切らないといけない　もともとこのｲﾝﾁｷな分野にはなんのﾒﾘｯﾄもない

2018/11/11(日) 19:54:05.93

まーだインチキとか喚いてる老害おじさんいて草

2018/11/11(日) 21:39:12.85

>>106
Kaggle

2018/11/11(日) 22:06:33.76

神楽

2018/11/12(月) 00:06:45.67

kaggleこなせば仕事でも活かせる部分ってあるのかね
そもそもkaggleすら出来ない奴は論外なのか

2018/11/12(月) 00:24:16.13

その人のポジションによる
kaggleのメリットはひたすらデータ解析して高スコアモデルの作成の追求に没頭できること
一方でそもそもそんなモデルを作ろうと考えるに至るまでの課題抽出のプロセス、モデル作成のためのデータ取得、
完成したモデルをどう事業に使うか、といった部分は完全に無視することになる

2018/11/12(月) 08:28:34.75

「Splatoon 2」をディープラーニングで攻略してみなイカ？　2018（前編）
http://www.itmedia.co.jp/news/articles/1811/08/news007.html

2018/11/12(月) 15:33:06.60

kaggleに登録したけど
忙しくてその後何もやってない。

kaggleやるヒマあるならキチンと
統計学の勉強したほうがいいと思う。

2018/11/12(月) 15:46:42.95

「きちんと勉強する」の基準が難しくて真面目な人ほど勉強ばかりに熱中して実践的なことが見に付かなくなる
なので理論の勉強しつつ並行して実践するのが一番
kaggleも勉強の一環と考えて上位入賞を意識しすぎなければいい

2018/11/12(月) 15:47:56.04

kaggle勉強するより職安へ行け

2018/11/12(月) 16:56:46.18

俺はもう15年もデータ分析の仕事してる。
実践はやっていける自信持てたけど
理論武装を積み上げないといけないと思ってるところ。
企業で統計学を教えることもあるけど
まだまだ理論は未熟ですよ。

2018/11/12(月) 17:47:16.10

職安より派遣会社の求人見たほうが捗ると思う

2018/11/12(月) 20:21:45.69

>>115
自分が真面目かは分からないけど刺さる言葉だ…
勉強しても不安でずっと参考書見て参考のコード書いてってばかりで実践力みたいなものは皆無だと思う

あと上でも統計学を勉強するべきって言ってくれてる人もいるけど、区間推定とか仮説検定とかそういうのは低レベル過ぎる？

2018/11/12(月) 21:02:02.66

理論とかｲﾗﾈ
そんな無駄ならことする暇あるなら手を動かして一つでも多くデータを集めろ

2018/11/12(月) 22:46:42.91

>>119
機械学習で使うかと言われると使わない。
ただし、顧客からp値を出せと求められる場合もあるので常識として押さえておいた方がよい。