【統計分析】機械学習・データマイニング26

2019/09/15(日) 09:23:06.34

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-
【統計分析】機械学習・データマイニング25
https://mevius.5ch.net/test/read.cgi/tech/1561568018/

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
-
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured

VIPQ2_EXTDAT: checked:vvvvvv:1000:512:: EXT was configured

2019/10/14(月) 19:22:19.56

サイエンティストな

2019/10/14(月) 20:18:41.61

>>258
知り合いが現在
そこの教員やってるので
大学名は書かないけど
博士論文は国会図書館に
全て収蔵されるので
みればすぐわかる。

ヒントとしては、
なんと中国語でレポート2枚ぐらいの
博士論文がある！
日本の恥！
抹殺したい！

2019/10/14(月) 21:29:45.45

ディープラーニング発明した人に
ノーベル賞やるべきだと思う。

2019/10/14(月) 21:34:26.95

そんな人おらん
ローゼン・ブラッドからはじまって(もっと前から遡れる？
カナダ人のチームがドロップアウトを考えた時点で弾けたんだ

2019/10/14(月) 21:35:46.34

メダル獲れなかったkaggle用のnoteをgithubに載せてしまった。はずかしー
これで就活だあ～。おーッ！

2019/10/14(月) 23:09:10.36

>>263
チューリング賞はとった

2019/10/14(月) 23:23:40.59

チューリング賞は賞自体よりも取ってる人のがたいてい有名っていう。。

2019/10/15(火) 02:28:14.05

甘利さんか？

2019/10/15(火) 06:10:05.34

競馬予想みたいにデータ収集含めて特定の領域に特化したモデル作れる人だけが勝つようになるかね、、、全く潰しのきかない職業になりそうですね。

2019/10/15(火) 06:37:37.44

ゲームの自動生成やりたいから勉強してるけどそういう職業目指してない

2019/10/15(火) 07:35:51.98

>>269
田倉寛史は失業するな。

2019/10/15(火) 09:11:20.62

競馬って予想して勝てるゲームなの？

2019/10/15(火) 09:52:34.15

kerasしかわかんね

2019/10/15(火) 10:04:58.88

統計学で競馬で食ってる人いる見たいよ
10年くらい前に聞いた話しだけど

2019/10/15(火) 10:08:19.91

統計学やらなくてもきちんと研究すれば勝てるらしいけど
才能の使い方としては空しいな

2019/10/15(火) 10:31:23.58

佐々木洋佑の予想。

2019/10/15(火) 10:36:34.51

控除率25%の競馬で勝とうとするならもっと楽に勝てるとこに注力した方がましやろ

2019/10/15(火) 10:52:22.27

>>277
FXとか？

2019/10/15(火) 11:24:20.27

FXより競馬の方が百倍楽でしょ
勝つために必要なデータを取れればだけど

2019/10/15(火) 12:32:17.34

>>221
層が多いほうが表現力が高い
教師データ数に対して異常に多いパラメータは、なんで性能が伸びるかよく分からない。

パラメータの中にはあたりくじがあるのかもという、宝くじ仮設なるものがあるけれどどうなのでしょう？

2019/10/15(火) 13:03:36.76

テーブルデータの解析って、nnをつかっても2層や3層だから、ぜんぜんdeepじゃないよね
営業の人はそれでもディープラーニングっていうんだろうなあ

2019/10/15(火) 13:13:25.51

テーブルデータってなーに？

2019/10/15(火) 16:36:14.39

>>221
深くする程損失関数が凸関数に近くなり最適解に辿り着きやすくなるかも知れないことが最近の理論研究で判明してきている

2019/10/15(火) 23:48:10.86

層を増やすと普通にバックプロパゲーションだけでは上手く学習できないんじゃね
どうするんだっけ

2019/10/16(水) 07:22:30.93

甘利さんに聞く

2019/10/16(水) 12:21:07.84

ドロップアウトって
実際に人間の脳でも行われているのでしょうか？

2019/10/16(水) 12:33:04.35

インドのリキシャの話は知ってるか？
人間は一度認識すれば多少形は違ってもリキシャだとわかる
おそらく人間は逆で、学習したデータを柔軟に他の認識の補助とすることができる

2019/10/16(水) 12:49:56.91

シミュラクラ現象のことか

2019/10/16(水) 12:55:37.60

kerasで作ったモデルをtfjsで読み込んだんだが
訓練してたときのinputがnp.arrayみたいで
tfjsでpred出来なくて積んだんだが(´・ω・｀)

numjsとnumpyって同値じゃないよね？(´・ω・｀)

2019/10/16(水) 13:17:05.59

>>287
当たり前のことすぎて
どう反応していいかわからんよ。
どういうレスが欲しかったの？

2019/10/16(水) 15:01:44.54

>>290
は？誰？どゆこと？w

2019/10/16(水) 18:21:05.32

>>286
どうだろうね
短期記憶が長期記憶に移るときに、移らなかった記憶はドロップアウトされたと考えられなくもないかなぁ

2019/10/16(水) 18:25:30.68

>>292
ドロップアウトは過学習を抑制するためにやるやつだし
記憶の結び付きとは違うだろ

2019/10/16(水) 20:46:35.90

>>286
可塑性を示すものは発見されてるけどシナプス伝達におけるフィードバック機構は見つかってない
神経回路で見ればフィードバックの投射は当たり前に存在するけどそれでは誤差伝播にはなり得ない

2019/10/16(水) 20:46:41.74

一度見た画像をぼんやりとしか覚えてない、という奴はドロップアウト臭い
だから>>292には個人的には賛成できるんだけど
ただ長期記憶が短期記憶うんぬんはリカレントＮＮを連想するから
このスレ的にはわかりにくいわ

2019/10/16(水) 20:48:32.70

>>294
これま？

2019/10/16(水) 21:07:54.87

>>295
>一度見た画像をぼんやりとしか覚えてない
そもそも観察メッシュが雑（現物→キャッシュ的なところ　の時点で情報がだいぶ落ちてしまう）なヤツの場合・・・

2019/10/16(水) 21:15:52.71

BPの話かと思ったらdropoutの方だったすまん
そっちに関連するものは知らん

2019/10/17(木) 08:31:12.53

>>283
KKT条件？

2019/10/17(木) 15:21:49.83

違うぞ

2019/10/17(木) 15:30:38.70

mnistのデータをインストール出来なかったから
直接.npz型データを落としてきてこれを.kerasのdatasetsフォルダに入れたら
使えるようになった

こういうのは邪道なのか

2019/10/18(金) 20:19:51.03

きみたちSparkとかHadoopとか使ってるの？
深層学習の理論の話しは出るけども

2019/10/18(金) 22:12:26.25

Sparkは競争に負けたシステムだし、Hadoopはゴミ

2019/10/18(金) 22:12:50.99

>>301
たぶん正道

2019/10/19(土) 10:20:09.74

hadoopなんてまともに使おうとしたらgoogle並みの回線チューニングが必要なんでしょ？

2019/10/19(土) 11:27:09.87

ググってると、ときどき尾崎隆のブログが検索結果に出てくる。
みなさんもご存じ（？）の、
　「渋谷駅前で働くデータサイエンティストのブログ」というやつ。

名前を公開して堂々とブログを書いているのであるから、
間違いがあっても、実名でよく書いた！ほめてあげよう。
だって、5chなんて匿名だから批判とか妬みとか罵詈雑言ばかりだもんな。

尾崎は偉いと思う。実名で書いてるから。
ちょっと自信過剰すぎて、ブログの間違いを見つけるたびに
笑えるけどそれもまたいい！
尾崎はいいやつ！
これからもブログをどんどん書いてくれ！

2019/10/19(土) 12:29:08.69

自信過剰

2019/10/19(土) 13:48:35.47

馬鹿乙

2019/10/19(土) 14:19:40.09

>>302
＞　きみたちSparkとかHadoopとか使ってるの？

使っていない。
仕事でAzureとAWSを使っていて
もはやHadoopとか必要ねーじゃんとか思ってる
何か使う理由がある？

2019/10/19(土) 15:03:04.15

オンプレ環境でリアルタイムのビックデータ解析やりたいシチュ
データ容量は1TB程度……あんまりないよね

2019/10/19(土) 16:11:23.85

使いまくるなら圧倒的にローカルで環境構築する方が安いし自由度高いからな
クラウドコンピューティング万能説を説いている人を見ると「それで十分な程度でしか使っていないんだな」という感想しかない

2019/10/19(土) 17:05:53.24

安さは開発費込みで圧倒的ではないだろう
自由度は同意

2019/10/19(土) 17:42:12.86

よく知らんけど調達コスト高いのでは
特に期間

2019/10/19(土) 17:52:06.40

クラウド万能とは思わんが数百GB単位でボコボコ組むならまずクラウドで組んだ方がいいと思うがな。
自前のオンプレで組むならかなり正確な見積もりないと怖いわ。

2019/10/19(土) 19:39:02.78

最近は大手メーカーがオンプレのGPU買うケースが増えてる
彼らはアンチクラウドだから絶対使わないし
データを外部に置くことを極端に嫌う

2019/10/19(土) 20:33:07.47

あくまで自分の肌感覚だけど、最近そういう風潮もなくなってきたというか、
コストカットで見境がなくなってきた印象がある
日本は海外ほどクラウドの導入が進まないけど、そのうち一気にくるだろう

2019/10/19(土) 21:05:40.70

kerasの経験ばかり増えたが、いきなり生のtensorflowのコードを見たりchainerを見せられたり

日々勉強だなあ
データセットもある日はnpzある日はpkl

2019/10/20(日) 00:03:48.28

>>315
セキュリティが心配なんだろうと思う

2019/10/20(日) 00:44:54.23

セキュリティというよりデータを抜かれるのが心配
特に画像処理

2019/10/20(日) 01:42:29.38

自然言語処理は近頃 word2vec 一択なの?

2019/10/20(日) 03:49:01.05

>>320
word2vec一択とはどゆ意味なのかわからんけど、
それだけでは人と会話できないじゃん？

2019/10/20(日) 03:50:55.76

うちではword2vecは使ってないよ

2019/10/20(日) 06:36:34.16

自然言語処理スレで聞け

2019/10/20(日) 06:51:17.93

>>319
データを抜かれるのはセキュリティの脅威の一つ

2019/10/20(日) 08:21:29.15

クラウド＝情報漏洩の可能性が高いわけではなく、
社内のアナログ上司の承認が降りないんだろう

データセンターと国内の一般的な企業のセキュリティの堅牢性を比べたら前者が勝ち

2019/10/20(日) 09:51:37.69

データ解析事業なんて当たればデカいけどリスクでかいし、
マイナス査定が通常の企業じゃ社員はやりたがらんだろうね。
クラウドにデータおきたがらないのなんてわかりやすい大企業病の例だわ。

2019/10/20(日) 10:15:03.52

セキュリティ万全と言いながら音声認識の音声データを勝手に社員が聞いていたりという事例もあるわけで
物理的にデータが相手側に置かれる以上はいくらでもこっそり悪用できるし内部告発以外でそれに気付くことは不可能だからな
扱うデータの性質にもよるが大企業ならすぐ炎上し得るので慎重になるのは当然だろう

2019/10/20(日) 10:18:01.24

クラウドとローカルと、うまく使い分ければいいだけの話
言語論争と同じで、その仕事に適しているものを使うというだけの話

2019/10/20(日) 10:37:24.12

個人的に、ローカル側を勉強するコストは別のことに回したいかなあ…

2019/10/20(日) 10:41:10.83

中小でローカルサーバーを利用したがるのは、
社員たちのITに対する理解度が底辺で、データをネットに接続しただけで、
情報漏洩のリスクが発生するからだったり…
奴ら、機械学習用のPCにwinny入れちゃうとかデフォだから

2019/10/20(日) 10:43:19.71

ほとんどの場合、上の自己保身のために下にサーバーメンテのコストを押し付けてるだけだがな。
だから仕事がスケールしねーんだよ。

2019/10/20(日) 11:00:28.67

良く調べもしないで、"クラウドは怖いから駄目"とか言っちゃう上司か
でもいつかは海外の流れに追随するんじゃないの

2019/10/20(日) 11:15:24.44

このスレにデータ基盤エンジニアはさすがにいないか？
データ基盤回りの技術もなかなか難しいっすね
ご多分に漏れず技術の移り変わり早いし

2019/10/20(日) 12:45:28.09

データ基盤はNTTデータであっても
ぐちゃぐちゃになってますね。

データ分析が始まって、
何もわからないところから、
その時その時に良いと思う方法で
構築して結合するので、
現在は、もうそれはそれは恐ろしい
暗黒構造となってます。

資料を作るひまもなく付け加えるので、
資料無しのぐちゃぐちゃです。
終わってます。

2019/10/20(日) 12:57:25.45

オートエンコーダについて質問です

計算の負荷を考えないことを前提の場合
層の深さは深いほど良い(もしくは損をすることはない)の理解であってますか？

2019/10/20(日) 13:00:42.05

>>335
深すぎるとoverfittingする可能性がある

2019/10/20(日) 13:03:01.09

>>335
いいえ、違います。
オートエンコーダを使って何をするのかにもよりますけど、
結局のところ次元圧縮を「適切に」やりたいわけです。

基本的には中間層から取り出した「圧縮」されたデータを
分析に利用するわけですから、
その分析として実現したいことによって、
「適切な意味が残存している」データを中間層から
取り出したいわけです。
よって適切な層の数はやりたいことによって変わります。

ただ、オートエンコーダの応用はいろいろ発展中ですので、
どういうことをやっているのか具体体に書いていただければ
よりよいアドバイスができると思います。

2019/10/20(日) 13:20:57.38

>>336
返信ありがとうございます
オートエンコーダは入力と出力が同じだから過学習とかは考えなくてもいいと思ってたんですがそうでもないんですか？

2019/10/20(日) 13:25:54.53

＞　オートエンコーダは入力と出力が同じ

原始的なNNとして使ってるだけなんだな
しかし入力と出力が同じとはどういう意味なんだ？

2019/10/20(日) 13:52:06.21

>>338
教師データだけ丸暗記して、テストデータは復元出来なくなる

2019/10/20(日) 14:05:16.23

データサイエンティスト名乗るやつって
みんな馬鹿だと確信できたよ

2019/10/20(日) 14:06:19.35

>>337
すみません。お返事もらってたのに見逃してました
本で理論を学んでいてオートエンコーダの層の深さは多い方がいいのか少ない方がいいのか書いていなかったので、知識浅いのに質問してみました…
適切な意味が残存するようにということで一歩ですが少し分かった気がします。具体例を色々見てみたいと思います

>>340
>>339
教師データ入れて教師データで評価するとか考えてしまって書き込んでしまったのですが、教師データとテストデータはありますよね、ありがとうございます

2019/10/20(日) 15:07:27.96

ディープラーニングが流行ってから
汎化性能ってあんまりうるさく言わなくなったよね

SVMあたりのころはやたら言及してたのに

2019/10/20(日) 16:55:57.67

DCGANによる画像生成について質問。
色んな文章の画像データを学習させたら
LSTMのように画像データとして、文章生成は可能ですか？

あと、4コマ漫画をDCGANで学習させて
意味のある4コマ漫画を生成することは可能ですか？

2019/10/20(日) 18:08:28.99

>>344
どっちもはげしく調教師の腕前次第。
不可能ではないだろう。

2019/10/20(日) 19:17:37.96

そもそもクラウドはテクニカルタームじゃなくて単なるマーケティング用語だったよな？
AIと同じく結局はビジネス界隈で流行れば官軍ってことか

2019/10/20(日) 20:17:51.88

別に誰も勝者じゃないのに官軍とか馬鹿じゃね？

2019/10/20(日) 20:45:32.57

>>344
不可能とは言わないが、出来たらトップカンファレンス通るレベル

2019/10/20(日) 22:12:40.67

>>344
難しいとは思うがやってみたらいい。
なんでもチャンレンジしておくと、
どゆのが難しいのかわかってくる。
人にとって意味のあるものを生成するということが
どれほど困難かわかると思う。

不可能と思えることにチャレンジすることを
無駄と思うか、勉強と思うか、馬鹿にするか、
それは人それぞれ。

やらないでおいて、
「できやしないよ。」
「それ不可能だから」
「それ単なる判別だから」
なんて批判するのは簡単。どんな馬鹿でも低能でも言えること。

何を言われようとチャレンジするのがいいと思う。
あとあと財産になると思う。

2019/10/20(日) 22:39:19.56

https://github.com/NVlabs/stylegan
V100を八枚使って3日って世界だけど頑張って！
(ちなみにアマゾンだとこれで約２０万円だけど。)

2019/10/21(月) 00:10:30.23

>>347
勝てばという枕詞がつけばそのような含意になるが、この場合はそうではない
そもそも論ズレだよ

2019/10/21(月) 00:56:16.91

で、クラウドって言葉がビジネス界隈で流行って何が官軍なん？

2019/10/21(月) 07:33:53.00

>>325
正規アクセス権限を持つ人の管理を自社でできない
正規アクセス権限を持つ人だからその気になればアクセスするのは容易

2019/10/21(月) 07:40:58.63

>>337
オートエンコーダによる次元削減と
主成分分析による次元削減とは
どんな関係？
条件が揃うと両者の結果は一致する？
どんな条件でとか判明している？

2019/10/21(月) 07:54:38.23

論文があったと思う

2019/10/21(月) 09:02:29.55

オートエンコーダっていうけど
古くない？

2019/10/21(月) 09:07:45.09

最近の手法でもネットワークの一部にオートエンコーダーが使われていたりはする

2019/10/21(月) 10:35:25.87

どんな奴？

ビッグデータ言うけど
中身的にはknnになってそうで怖い
どの程度未知データに対応できるのか知りたいのに

2019/10/21(月) 13:31:47.34

主成分分析は軸を決めて絞っているイメージ
オートエンコーダはなんとなく絞っているイメージ

2019/10/22(火) 10:09:07.31

ディープラーニングで星空を学習させて、星空の画像を生成させようとしたら
ノイズのような糞画像が生成されたというツイートです。

https://mobile.twitter.com/aki202/status/1185695506703384576

どうしてこうなったの？
原因を調べようにも、ブラックボックスでわからないのでしょうか？
https://twitter.com/5chan_nel (5ch newer account)