【統計分析】機械学習・データマイニング23

2019/02/28(木) 20:07:20.50

!extend:on:vvvvvv:1000:512
機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング22
https://mevius.5ch.net/test/read.cgi/tech/1547338417/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured

2019/03/27(水) 19:20:55.31

さかなくんさんをどう判別するか。

2019/03/27(水) 19:38:54.17

キーボードも満足に使えなさそうだが

2019/03/27(水) 20:21:57.79

素朴すぎる

2019/03/27(水) 20:29:59.14

>>445
底辺より文科系大学生だろう。
それよりPythonかける教師が不足してるんじゃないか？

2019/03/27(水) 20:46:14.76

>>448
これ何だかんだで瞬時に見分けるってのがスゴい
実際三項分類やってみると精度求めると数秒かかる

2019/03/27(水) 20:51:16.92

慌ててつくったような施策だな
それよか研究開発費やら優遇してくれないの

2019/03/27(水) 20:52:55.68

パソコンを使えるようになりましょうの高級版

2019/03/27(水) 21:27:38.54

高専の研究なんて大学の研究に比べたら遊びだぞ

2019/03/27(水) 22:05:39.11

死んでる魚を種類で分けるのは入門編
動いてる魚をサイズ別にカウント出来る双日ツナファーム

2019/03/27(水) 22:41:02.93

せめて魚の価値の選別ぐらいしないと

2019/03/27(水) 23:28:34.47

とりあえず
少しいい結果が出ただけでラベリング、が大杉やねんこの分野。

ほんまアホかと。

2019/03/27(水) 23:30:33.24

ちょっとしたマイナーチェンジネタと優良ネタを切り分けることが出来ますか？>>435

2019/03/27(水) 23:44:37.08

リンゴとみかんとなしを区別できましたｗ

2019/03/28(木) 00:10:29.50

業務で機械学習なりなんなり触れてる人おる？
客先常駐の人売りSIerなんだが最近上司が機械学習やらの最新技術に触れろうるさい

2019/03/28(木) 00:14:31.61

はっきり言ってSIerと機械学習は相性最悪だよ。
保証について基本的に何も言えんのが機械学習だから。

2019/03/28(木) 00:53:00.91

機械学習案件ならそれに合った契約結べばいいだけだろ
それすらできないのは単なる怠慢

2019/03/28(木) 02:14:18.42

余所がどういう契約してるのかは俺も気になるな

2019/03/28(木) 05:48:10.93

メーカーの開発で使ったことあるよ
chainerでトレーニングしたモデルをC++から使ってシステムに組み込んだ

2019/03/28(木) 10:17:48.21

>>462
＞　業務で機械学習なりなんなり触れてる人おる？

大手SIerに常駐している下請け零細企業のものです。
プログラマ兼SEをやってましたけど統計学を専攻していた関係で、
今では客先にて機械学習をやってます。

プログラマやSEやるよりもずっと楽ですし、面白いし、
おススメの仕事だと思います。
勉強してみてはいかがでしょうか？

2019/03/28(木) 10:58:43.95

>>467
必要な知識とかこれは勉強しておくべきだなって感じること何かある？

2019/03/28(木) 10:59:15.96

政府 AI人材育成向け教育改革へ　小中高でもAI授業
https://www.fnn.jp/posts/00415093CX

政府が策定するAI戦略では、AIを利用した産業の発達に、現在の学校教育などが
追い付いていないとしたうえで、世界との競争力を高めるためにも、小中高教育から、
デジタル社会の基礎知識であるAIを、読み書きやそろばんと並ぶ基礎力としたい考え。

2019/03/28(木) 12:17:11.01

そう、面白いのよねこの分野
そういう意味ではオススメだと思う

今、機械学習関係の職種も分化してきてるから、主に当たる職務が何かで求められるスキル・経験も変わってくる

2019/03/28(木) 12:59:57.86

>>467
統計の素養って必要？
数学科にはいたが専攻が解析だったから統計の知識はほぼ0なんだ
知識0の人間が始めてもついていけるものか聞きたい

2019/03/28(木) 13:32:03.24

統計学の推論の部分を発展させたのが今の機械学習だから基礎となる知識は大体同じ

2019/03/28(木) 14:37:25.27

>>471
これで基本はばっちり

統計学入門、自然科学の統計学（統計）
データ解析の為の統計モデリング入門（ベイズ推定）
パターン認識と機械学習、深層学習（Ian Goodfellow）（ＤＬ）

2019/03/28(木) 16:43:19.96

数学できる人いいなあ

2019/03/28(木) 17:38:12.10

>>473
ありがとう
ちょっと本屋行ってくる

機械学習って具体的に何やるかイメージ付いてないんだけど私用のPC一台で何かできるものなの？

2019/03/28(木) 17:39:27.71

できる

2019/03/28(木) 18:06:38.32

>>448
すばらしい。
画像認識とか特化型AIはすぐ役に立つね。
汎用型AIって近い将来作れるんだろうか。

◆QZaw55cn4c (ﾜｯﾁｮｲ bfe9-ZTi4 [183.76.11.17]) · 2019/03/28(木) 20:16:25.52

>>471
＞専攻が解析だったから統計の知識
解析の人なら確率統計は至近距離なのでは？

2019/03/28(木) 20:32:29.70

>>478
そうなのか？
ずっと解析ばっかだったから他分野のことだいぶ疎い
自分が研究してた時は確率統計のことは出てこなかったから関わり薄いのかと思ってた

2019/03/28(木) 20:43:26.79

>>478 >>479
統計は数学科の中で一番バカにされていたからやらされていなかったんじゃないですか？

2019/03/28(木) 20:46:56.98

>>475
超有名なtensor flowはメモリをいっぱい積んでないとサンプルさえ動かない。
グラフィックスボード（１０万程度）がないと遅すぎる。

2019/03/28(木) 22:00:02.63

Djangoで自分の機械学習モデルを組み込んで推論させたい

pythonってインタプリタだから都度解釈だよね？
毎回重いモデル読み込んで推論ってすごい効率悪そうだけど
シングルトンとかで管理すればいいの？

仕事で一人で作らされてるんだけど、全てが初めてで四苦八苦してる
どなたか助言ください

2019/03/28(木) 22:24:46.86

予め計算しておいて、テーブルに格納し、参照するだけにしては?

2019/03/28(木) 22:33:05.37

>>483
入力のパターンが決まってるんならそれでいいけどそういう話じゃないと思う

こういうの作ったことないけど、自分ならwebのインターフェースと推論部分は別のプロセスにして、ソケットかなんかで通信させる

2019/03/28(木) 23:07:38.48

東大のデータサイエンティスト養成なんとかって本が安かったから買ってきた
たぶんwebで見れるやつと内容同じなんだろうけど面白そうだし週末やってみよう

2019/03/28(木) 23:49:47.43

>>483
言葉足りなくてごめん
簡易なレコメンドシステムだけど、ユーザーとアイテム数が多いからDBは厳しそう
KVSうまく使えばいけるかもだけど

>>484
推論用のAPIとかにしてプライベートネットワーク内で動かそうかと思ってた

2019/03/29(金) 00:55:31.36

https://twitter.com/learn_learning3/status/1110844583552770048

線形代数の講義名を「AI基礎I」、
微積の講義名を「AI基礎II」、確率・統計の講義名を「AI基礎III」、
普通のプログラミング演習をPythonにして「AI演習」にすれば、
たちまち講義の受講者が爆増し（元々必修とか言わない）、ドロップアウト率が減り、
対外的にはAI教育をしている先端大学になれる。
https://twitter.com/5chan_nel (5ch newer account)

2019/03/29(金) 06:38:41.96

>>487
pythonは遅いからJuliaにしょう。

2019/03/29(金) 08:02:56.49

julia、chineseの手当てがいいんだよな

2019/03/29(金) 08:26:02.27

Pythonはライブラリ充実してるけど、言語自体はなんかイマイチ。高速でシンプルな言語がきたら一気に代わられる気がする。
Rの方が息が長いと思ってるんだがどうだろう。

2019/03/29(金) 08:42:05.52

>>470
どう面白いの？
ビジュアル系アート方面の3DCGクリエイターやってるけど、それよりクリエイティブで面白いの？

2019/03/29(金) 08:52:22.45

人によるとしか
3DCGクリエイターがクソつまんないって人もいるようにさ

2019/03/29(金) 09:10:10.28

>>490
MITとかの優秀な頭脳が集まる大学の授業で使われてるのが大きいからな。。。
文法がイマイチとか関係無さそうな。
授業で習った言語を研究に使う過程で優秀なライブラリが生まれると言う流れが出来てるし。
どっちかと言うとpythonはコード資産で選ばれる言語。

2019/03/29(金) 12:20:50.81

機械学習の法律勉強しようと思ったら
https://i.imgur.com/3x437c2.png

法律作り直せ

2019/03/29(金) 12:45:56.46

>>494
ナチスから逃れたクルト・ゲーデルは、アメリカ市民権取得審査で
「アメリカ憲法下で合法的に独裁体制樹立が可能だ」と主張した。
http://ytb-logic.blogspot.com/2012/08/blog-post_4.html
http://noexit.jp/tn/doc/fukanzen.htm

2019/03/29(金) 12:49:24.94

「MaaS」加速へ90社連携　トヨタ・ホンダ異例の握手
https://www.nikkei.com/article/DGXMZO43062740Y9A320C1EA2000/

これくらいの規模で社会インフラを向上させる仕事はやりがいあると思うがお前らのやってることはただのママゴトだ(´・ω・｀)

2019/03/29(金) 13:46:14.03

おまえはその仕事やってるの？

2019/03/29(金) 13:56:50.31

>>495
404
http://noexit.jp/tn/doc/fukanzen.htm

2019/03/29(金) 14:01:19.38

不完全なURL貼りやがって
.html

2019/03/29(金) 14:11:16.00

あぁそれだけか、ありが㌧

2019/03/29(金) 18:02:02.82

style変換できるGANで文章のstyleを変換することは出来ないか

2019/03/29(金) 19:42:07.34

できる

2019/03/29(金) 21:56:39.97

>>497
俺は芸大卒のCGアーティストだ。機械学習はただの道具、絵筆みたいなものだ(´・ω・｀)

2019/03/29(金) 22:09:22.06

>>503
お前がそう思うならそうだろ

2019/03/30(土) 14:05:36.45

GANが洗練されてきたおかげでCG界隈の人間も興味持ちだしたか
裾野広がってるな

2019/03/30(土) 16:32:21.22

GANはlossの取り方であって画像生成の技術ではないぞ

2019/03/30(土) 17:40:04.91

kwsk

2019/03/31(日) 15:59:11.27

須山がなんで深層学習を嫌いなのか理解できない

2019/03/31(日) 17:02:49.30

嫌いってどこに書いてる？

2019/03/31(日) 17:57:56.48

深層学習だとデータと計算資源のゴリ押しが有効だからじゃね？
ベイズとかにこだわりある人は好かんのはなんとなくわかる気はする。

2019/03/31(日) 18:17:48.56

統計畑の人は数学的な正しさを重視しているが、深層学習の人は結果を重視してるからちょっと毛色が違うみたいなことを聞いた

2019/03/31(日) 18:58:36.25

>>509
本来であれば受賞者本人は手法のさらなる発展を望むものかと思いますが、この発言から現行の深層学習の方向性がすでに限界を迎えていることが読み取れますね。
https://twitter.com/sammy_suyama/status/1111913530674970624

素人の方も専門の先生も深層学習が何であるかうまく説明できないのですが、それもそのはずで、深層学習は単に画像認識とかに特化した統計モデルの一種に過ぎないからです。特別なものがないので、違いを説明しようがない。
https://twitter.com/sammy_suyama/status/1098532946502332423

深層学習は別にすごい性能を発揮しているとかいうわけじゃなくて、猛烈な局所最適化戦略によって既存のデータセットや評価方法の甘い部分を明らかにしただけだと思う。
https://twitter.com/sammy_suyama/status/1093324653467029504

未だにGANの盛り上がりはまったく理解できなくて，「GANでは鮮明な画像が生成できる」みたいな一文を見るたびに「そもそも鮮明な画像出したかったんだっけ？」って疑問に思います．
技術的には尤度関数を評価せずに学習できるという点もありますが，それは特別新しい話じゃないしなぁ．
https://twitter.com/sammy_suyama/status/1081207245424144384

深層学習sage
https://twitter.com/5chan_nel (5ch newer account)

2019/03/31(日) 19:14:48.05

どこにも嫌いだとは書いてないし行間にもそんなこと読み取れないが
単なる事実を淡々と書いているだけだろう
要は基礎を知らずに枝葉だけ理解してもブームが去れば使い物にならないぞ、と当然のことを言ってるだけにしか見えない

2019/03/31(日) 19:53:29.39

>>511
精度が良ければ中身はなんでも良いってどこかの記事で書いてあったけどきちんとしてる人からするとモヤモヤするのかな

2019/03/31(日) 20:05:48.51

>>511
結果が数学的に正しいとわからなければ深層学習などなんの役にも立たない

2019/03/31(日) 21:25:55.51

素人乙

2019/03/31(日) 21:38:00.60

深層学習も手法、ツールも多様化・複層化、データの種類も多種多様でとっくにわけ分からんことになっとる

2019/03/31(日) 21:41:59.70

最新の深層学習アルゴリズムはDCGANなの？

2019/03/31(日) 22:31:54.33

プログラマよりも刺し身にタンポポを載せる仕事の方が給与が良いし、ライフワークバランスが担保されている

2019/03/31(日) 22:38:43.83

その仕事やってて本当に精神壊さないもんなの？

2019/03/31(日) 22:41:48.74

ペゾス曰く、皿洗いが最もセクシーな仕事だと
単調作業ほどセロトニンが出るんだよ

2019/03/31(日) 23:02:11.43

月収いくらだ？

2019/03/31(日) 23:08:21.55

>>518
それもう結構古い

2019/03/31(日) 23:16:58.45

>>522
ニアショアの２次請けで手取り１５万円ぐらいが地方の零細のデフォ
刺し身にタンポポ載せた方が、ずっと給与が良いな

2019/03/31(日) 23:19:30.33

>>524
ほんまかいな

2019/03/31(日) 23:19:40.09

どれだけ頭をかかえてコードを書いても、所詮は会社の所有物

2019/03/31(日) 23:27:24.39

対価、給料を貰ってんだろ。嫌なら自分で会社作れよ、馬鹿なの？

2019/03/31(日) 23:45:13.55

FXの自動売買ツールを無料で配布しています。
http://hbgvf.blog.jp

2019/04/01(月) 00:14:33.34

>>527
僕と契約して派遣プログラマになってよ!

2019/04/01(月) 09:33:21.38

知識も浅く初歩的な質問で申し訳ないのですが
モデルを作成/評価する際に訓練データに対してはaccuracyが90%、テストデータに対しては70%のように評価を算出すると思うのですが
未知のデータ(テストデータ)に対して評価させるというのは分かるのですが、訓練データに対する評価とはどういうことなのでしょうか？

教師あり学習であれば
このデータはこのラベル、というように紐付けて学習していると解釈しているのですが、
正解ラベルを受け取りながら学習してるのであればスコアは常に100%ではないのでしょうか？
訓練データに対するスコアとはそもそも何に対して評価されているものなのでしょうか？

長文申し訳ありません

2019/04/01(月) 09:59:23.43

>>529
お断りいたします

2019/04/01(月) 10:12:54.07

>>524
トレイの上に盛られた刺し身の位置を確認し、
定型ポイントに1mmのずれも無くタンポポを載せるAIロボットアームを開発しても
工員より給料が低いんだろうな

2019/04/01(月) 12:51:02.76

>>530
線形回帰モデルで考えたら分かりやすい
点群を最小二乗法とかでフィッティングしてもすべてのデータを通るわけじゃないだろう
データの数だけモデルの自由度があれば誤差ゼロにできるけど汎用性があるとは言えない

2019/04/01(月) 19:06:46.25

計算ドリルの宿題みたいなもんで、
自分で解いてというかとりあえず回答してみて（順伝播）、○×つけて脳内NN調整（逆伝播）するための正解データだからねー。

丸暗記（過学習）はしちゃダメよ、ってことになってる。

全問正解できるようになったら、そのページ（データセット）は卒業ってことで。

2019/04/01(月) 19:26:01.85

↓発想がアホ過ぎる事例
https://qiita.com/NeXTSTEP2OSX/items/c953b97f6407b72db956

2019/04/01(月) 19:26:40.30

>>524
それは無いな
うちの会社零細だからボーナス無いけど手取り32マン程度ある

2019/04/01(月) 20:45:28.51

>>536
東京の仕事の１次か２次請けなんだろ
地方の仕事だと単価が違う。どこぞの零細はエンジニア派遣させて３０万円だって聞いたぞｗ

2019/04/01(月) 20:56:35.31

今おすすめのフレームワークってなんですか？
個人的には、opencv,tersonflow,openAIを使ってます

2019/04/01(月) 21:11:55.42

>>538
DataRobotじゃない？
自称データサイエンティストの大半にはコード一行も書かずに勝てるよ

2019/04/01(月) 21:17:12.76

Ｔｈｅｙ　ｗｉｌｌ　ｃｏｍｅ

2019/04/01(月) 21:24:03.91

keras

2019/04/01(月) 21:39:05.10

とりあえず、opencv,tersonflow,openAI,kerasを適材適所で使い分けるわ
>>539
一行も書けずにってのはちょっと‥
ここプログラミング板ですし

2019/04/01(月) 22:43:15.25

>>523
そうなの？
じゃあ何なの？
何ができるの？

2019/04/01(月) 23:04:54.84

>>543
DCGANと同じ系統で行けばStyleGANあたりかな
高解像度で生成できる点と生成される画像をある程度(顔なら髪型や性別とか)をコントロールできる

2019/04/02(火) 08:14:20.64

>>534
そうか和田秀樹の「暗記数学」はあかんか？

2019/04/02(火) 08:16:54.73

>>538
Flux

2019/04/02(火) 15:12:27.52

>>546
ありがとう
Juliaちゃん覚えてないけどね！

2019/04/02(火) 19:46:35.97

違うフレームワークが出てきた