【統計分析】機械学習・データマイニング20

2018/08/07(火) 18:56:37.59

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/10/03(水) 12:37:46.63

世に広めるにはイメージが大事です。
ただ研究者はイメージで研究してはダメです。

2018/10/03(水) 13:20:41.80

CSなんて結局は計算能力との兼ね合いだからな
仮に完全に脳構造を模倣したモデルを組み上げたとしても
それがクソ重くて現行の計算資源で回らなけりゃクソだとしか評価されん
かといって脳構造の模倣や考察を放棄するのは適切じゃない
世界モデルもこっちよりだし、強化学習をやるためには避けられないだろう

問題はRNN,LSTMでは事象における連続した時間情報をあまり学習できてないってことだな
TransformerとUTは時間間隔をと位置情報を特徴に埋め込む事で
マルチヘッドセルフattentionにそれらを処理させているが
おそらくは完璧を求めると
階層的にAttentionによる時間情報とポジション付与をしつつ、それらを考慮したCNNで畳み込み
なおかつそれらすべての層を参照しながら、動的に再帰的処理する必要性がある
これにGAN的な世界モデルによる強化学習手法を取り入れれば汎用AIができるだろう
計算力はどうせなんとかなるだろうし
誰かが気づけば、あと10数年で汎用AI完成するんじゃね

2018/10/03(水) 13:29:51.05

そもそも脳構造の哲学的推測における模倣はイメージじゃなくて
ただの論理的思考なんだけど
推測の過程において論理が飛躍しすぎてると
大抵の人は妄想だと判断して、考察を放棄する傾向があるからしょうがないわな
それが当たり前だもの

2018/10/03(水) 13:44:52.38

>>646 >>643
小脳とかをラッピングする形で大脳とかがあるように
NN を別の何かでラッピングするようなモデルがあっても
まだ全く脳のモデルですらない

2018/10/03(水) 14:55:39.60

遺伝的アルゴリズムも名前が強そうだけど、中身はびっくりするレベルでしょぼいよね

2018/10/03(水) 15:06:45.43

ニューラルネットワークなんて回帰を多層にしただけの超単純構造

2018/10/03(水) 15:13:09.66

>>653
はったり、生物の進化淘汰なんかどこにもない

2018/10/03(水) 17:49:41.29

大事なことなので復唱します。

世に広めるにはイメージが大事です。
ただ研究者はイメージで研究してはダメです。

研究者の中には、脳モデルが最適かどうかという前提を何も示さずに、
『脳の伝達には～があるから○○を追加したらこうなるはず』
みたいな議論されている方々がおりますが、根拠が薄く滑稽に思います。

2018/10/03(水) 17:57:56.16

>>653
AI関連の話題は、タイトルは大げさなんだけど内容はショボいよね。
俺は頑張りますよ！

2018/10/03(水) 18:01:02.58

最適かどうかは完成物があれば評価できるんだからいいでしょ
そもそも分からないから研究して新しいモデルを作るわけで
最初から何が最適か知っている人がいてそれを論理的に説明できるのならばとっくにそれがスタンダードになっているはずだがそうはなっていないんだから最適など誰も知らないと考えるのが自然

2018/10/03(水) 18:05:20.45

つまりはまあ、最近の機械学習の論文なんて実績と経験則の積み上げ(帰納)によるものがほとんど。
より良きモデルからスタートしたモデルのアイデア(演繹)を求む

2018/10/03(水) 18:10:02.59

アイデアと結果はあるのだかどうやって世に広めたらよい？

2018/10/03(水) 19:13:50.43

結果あるなら論文書いてarxivに投稿すりゃいいじゃん
高校生ですらMLの論文書いて投稿してたの昨年話題になったろ

2018/10/03(水) 19:49:21.65

とんくす

2018/10/03(水) 20:20:45.13

くず

2018/10/03(水) 20:46:41.49

>>654
単純構造で目的を達成できるならそれでいいんじゃないの？
必要以上に複雑にして何かメリットあるの？

2018/10/03(水) 20:48:04.20

>>656
既に実現されてるものを真似するのは方法の一つじゃない？
バイオミメティクスとか

2018/10/03(水) 20:49:11.35

>>656
最適かどうかは評価尺度によるところもある
経済的になのか学習コスト的になのか結果の精度的になのかとか

2018/10/03(水) 20:50:21.87

>>659
結果が全てじゃね？
モデルを頭で考えても実証しなければ役に立たない
数学とは違うんじゃね？

2018/10/03(水) 20:52:26.70

>>660
それが何の役に立つのかとか
どんな課題を解決できるのかとか
あとは面白いかどうかとか
ARの技術もスノーとかに応用することで一般の人は知らずに広まっている

2018/10/03(水) 21:20:45.12

>>665-668
だからそれは問題に対する帰納的なアプローチだってば。
マイナーチェンジでしかパワーアップ出来ない。

2018/10/03(水) 21:23:50.17

また一概には言えないかもしれないが、結果がローカルなものになりがち

2018/10/03(水) 21:59:40.34

そもそも、ある程度iter重ねるか、少数サンプルで訓練した結果をプロットしつつ
新しいモデルを模索してくのが、今のMLにおける超大多数の手法であって
最初から論理的組み立て部分で有効性を実証してから研究始めるなんて手法は
明らかにメジャーではない

取り敢えず予測モデルで雑なコーディングして、訓練結果をプロットしてみてから
数理モデルの有効性に論理的説明をつけるって手法がメインなのは
有用な結果を残してる論文の内容からも分かる話

ほとんどだーれも論理的説明を完璧に付けてから研究開始なんざしてない
+58IDnbydの論理展開を適用すると、全員滑稽になっちまわないか？
そういう意味で、既に有効性の確認されている脳っていうクソ速いモデルを模倣するっていうのは
その時点である程度の論理的根拠を示しているとすら言える

2018/10/03(水) 22:50:21.46

>>671
別にメジャーじゃなくてよい

2018/10/03(水) 23:45:59.60

pytorchのdevcon見たけど、想像以上に大企業がサポートしてて驚いたわ

2018/10/04(木) 02:41:08.39

見てみたけど、グローバルなAI 企業オールスターって感じか。
もっとも作ってるのが FBだから別に不思議でもないけど

2018/10/04(木) 08:08:02.24

>>669
帰納的なアプローチがなぜダメだと判断でしているのか判らない
帰納的に発見した原理を演繹的に適用すれば良いだけじゃね？

2018/10/04(木) 08:09:50.53

>>671
帰納的に探索する領域の問題でしかないだろ

演繹的に適用する原理に相当するものはどこから発見するのか

2018/10/04(木) 09:59:48.56

>>674
chainerは消えゆく運命だな

2018/10/04(木) 10:14:52.99

好きなんだがなあchainer

2018/10/04(木) 12:34:16.99

Google Colaboratoryで
!apt -y install libcusparse8.0 libnvrtc8.0 libnvtoolsext1
ができなくなったのだがどうしたらいいのか

**デフォルトの名無しさん** (JP 0H9a-2jv+) · 2018/10/04(木) 16:03:33.77

演繹厨うぜえ

2018/10/04(木) 16:06:35.89

>>677-678
tensorflow vs pytorch の構図が完全できちゃったんで他のフレームワークはどれも厳しいけど、
tf の独占を阻止できたのは良かったと思う。 tf が pytorch を滅茶意識してて笑えるｗ

2018/10/04(木) 21:40:33.09

vs？

2018/10/04(木) 22:39:26.90

visual studio

2018/10/04(木) 22:49:09.65

>>678
良くも悪くも学生の趣味の域をこえてないのが残念。こえる気もないのかもしれんが

2018/10/04(木) 23:03:51.17

>>681
2.0 はもろにそうだな

2018/10/05(金) 08:18:57.73

NVIDIA RTX 2080 Ti vs 2080 vs 1080 Ti vs Titan V, TensorFlow Performance with CUDA 10.0

https://www.pugetsystems.com/labs/hpc/NVIDIA-RTX-2080-Ti-vs-2080-vs-1080-Ti-vs-Titan-V-TensorFlow-Performance-with-CUDA-10-0-1247/

1080Tiと2080Ti比べるとFP32は1.35倍くらいでゲームのベンチ(レイトレコア・テンサーコア使わない場合)と同じ傾向でガッカリ
FP16ならさすがに速いね
https://i.imgur.com/Dq30VnF.jpg
https://i.imgur.com/2TIiMYA.jpg

2018/10/05(金) 10:48:01.81

>>684
マルチGPUの分散学習はChainerが速いらしいから頑張ってほしい

**デフォルトの名無しさん** (ｽﾌｯ Sd70-rfKm) · 2018/10/05(金) 10:49:42.25

頑張ります

2018/10/05(金) 14:37:40.34

えいえいおー！

2018/10/06(土) 11:03:04.25

>>687
TPUも作れるといいね(棒)

2018/10/06(土) 11:16:45.87

NHK教育を見て56088倍賢く三連休
http://nhk2.5ch.net/test/read.cgi/liveetv/1538780245/

2018/10/06(土) 11:26:12.82

>>686
もう CUDA 10.0 かよ…

2018/10/06(土) 15:40:12.76

会社の技術発表で機械学習をやってみたいんだけど、
例えば、複数ユーザーのツイートを元に学習したアカウントで人間っぽく自動ツイートする、みたいなことって可能ですかね？
使用したことある言語はjavaくらいで、Pythonとかは始めてなんですけど

2018/10/06(土) 15:55:25.36

可能

2018/10/06(土) 16:33:50.86

>>694
よっしゃ、ありがとうございます
1ヶ月あればなんとかなるかな、頑張ってみます

2018/10/06(土) 20:05:00.50

>>695
ところで業務にはどう役に立つのかね？
って言われそう

2018/10/06(土) 20:07:01.15

日立なんかは一年目に技術発表会やると聞いた。上の人がどこの人か知らんけど

2018/10/06(土) 20:27:28.89

>>696
自分が興味あることを発表する、みたいな場だから業務に役立つかどうかは大丈夫
ゲーム作ってきたやつもいたし

2018/10/06(土) 23:01:16.24

>>698
著作権的にいいのかな？社内向けとはいえそれをツイートまでするのはアウトな気がする。
自分のアカウントを２つ作ってやるならいいだろうけど。

2018/10/07(日) 00:40:28.21

日本の会社はぬるくて羨ましいなw

2018/10/07(日) 00:41:29.35

Twitterはツイートした時点でその内容を誰がどう使ってもいいよ、っていう規約だったはずだから権利侵害とかの問題はないだろう

2018/10/07(日) 00:47:51.09

独学で機械学習やってるけど、おっさんの腐った脳味噌じゃもうダメだな
大学入り直すか

2018/10/07(日) 00:53:53.77

2chの方が著作権移動が厳しい

2018/10/07(日) 01:05:46.09

CS系の大学の講座取ってみたい

2018/10/07(日) 05:08:20.65

>>701
著作権で言えば
著作者人格権とか著作権に関する権利の一部は
日本の法律ではなくならないはず

2018/10/07(日) 08:15:30.42

そもそも、機械学習で生成されたデータが
元にしたデータの著作権侵害になるという法律屋の指摘に違和感を感じる

2018/10/07(日) 10:47:04.83

日本は法律面で先進国としては非常に珍しい機械学習パラダイスなんだぞ

進化する機械学習パラダイス～改正著作権法が日本のAI開発をさらに加速する～
https://storialaw.jp/blog/4936

2018/10/07(日) 11:49:44.59

個人情報保護とかで医療関連はデータ集めるのが大変だそうな

2018/10/07(日) 13:26:13.70

その辺りは医療機関自体がデータサイエンティスト雇うか業務提携するしかないだろう

2018/10/07(日) 14:08:13.17

ワイのレントゲン写真使うなら肖像権高うつきまっせ

2018/10/07(日) 14:14:45.59

>>707
つまりこういうことだな
現在：「学習用データ収集→諸々の処理→学習モデル作成」を個人や自社だけで完結させる場合は商用・非商用問わず著作権者の許可を取る必要なし
2019/1/1以降：収集した学習用データを他人・他社に公開・販売するのも著作権者の許可を取る必要なし
※もちろんデータ解析という本来の目的外に使用されることが明らかなら違法なので、漫画データの学習のためと謳って漫画スキャン画像を公開するとかはNG

ということで、明らかに悪用するような使い方でない限りデータ解析において著作権を気にする必要はない

2018/10/07(日) 14:39:39.25

日本の会社はそもそもデータが足りていないらしい
今まで何をやっていたのか

https://www.nikkei.com/article/DGXMZO35932210Q8A930C1MM8000/

2018/10/07(日) 14:57:55.33

著作権先進国（笑）

2018/10/07(日) 17:38:31.02

医療用プログラムは医療用機器つくってた会社しかつくれないように規制されてるから入れん
認可とるのも大金かかるし

2018/10/07(日) 20:31:31.21

GANのdiscriminatorの次元減らしていくのに全結合無い方がいい理由ってなんで？

2018/10/07(日) 20:35:00.63

DCGANの話です

2018/10/07(日) 20:45:05.75

>>708
個人情報を収集するときに
利用目的や利用の範囲とかを示して
合意して貰えばいいだけじゃね？
おと要求に応じて開示修正破棄できるようなシステムにしておく
ほかの個人情報でも同じ

2018/10/07(日) 21:24:55.65

https://arxiv.org/pdf/1312.4400.pdf
> 3.2 Global Average Pooling

> ・・・
> However, the fully connected layers are prone to overfitting, thus hampering the generalization ability
> of the overall network. Dropout is proposed by Hinton et al. [5] as a regularizer which randomly
> sets half of the activations to the fully connected layers to zero during training. It has improved the
> generalization ability and largely prevents overfitting [4].

> In this paper, we propose another strategy called global average pooling to replace the traditional
> fully connected layers in CNN.

2018/10/07(日) 21:52:22.17

>>718
全結合いれたら汎化性が落ちるから他の方法でってことか
ありがとう

2018/10/08(月) 11:31:11.61

そろそろ大目玉か
https://www.anaconda.com/blog/developer-blog/tensorflow-in-anaconda/

2018/10/08(月) 11:41:22.65

なんと！あのアナコンダが！
っていうほどのもんじゃないな

2018/10/08(月) 11:44:43.55

>>717
これから集める分ならそうだろうな
でも今まで蓄積してきたデータは？
契約上使っても問題ないデータが十分集まる頃にはとっくに置いてかれている

2018/10/08(月) 13:07:36.75

>>722
再確認すれば良い
利用規約の改定とか普通によくあることじゃね？

2018/10/08(月) 14:02:39.08

>>723
その再確認を既に退院した人含めて一人一人にするのは結構大変なのでは

2018/10/08(月) 14:31:20.58

arxivのML・DL論文読んでて、日本人の論文少ないよね

2018/10/08(月) 15:01:42.20

意味不明な日本語を使う奴に言われてもｗ

2018/10/08(月) 21:08:44.54

英語でわざわざ論文書くのがめんどくさい

2018/10/08(月) 22:37:44.37

外人嫌いだし

2018/10/09(火) 08:09:06.14

>>724
新たに同等のデータを取るのに比べたら手軽じゃね？
現状の法律でも個人情報の開示や削除要請には応じる必要があるからその準備はできているはず

2018/10/09(火) 23:49:18.73

分類するときにA,B,C,その他みたいに分類できるアルゴってないですか？
学習してない似たやつをどや顔で間違えて分類するのでなんとかしたい

2018/10/10(水) 00:05:38.82

何回同じ話ししてるんだよw

2018/10/10(水) 00:28:20.33

one vs allかone vs restで検索
もしこれで分類できないならそもそも使っている特徴量的にA,B,Cとその他が区別できていないのだろうから特徴量の選定からやり直す

2018/10/10(水) 00:36:06.65

このネタ同じ人？

2018/10/10(水) 22:38:14.62

http://www.atmarkit.co.jp/ait/spv/1810/10/news009.html

2018/10/10(水) 23:37:18.54

文系ＰＧ抱えてる会社を食い物にしてる商売多すぎぃ

2018/10/10(水) 23:58:52.97

>>735
文系PGを抱えてる会社を食い物にする商売ってどんなの？

2018/10/11(木) 00:28:18.10

PGに文系もくそもねぇｗｗｗ

2018/10/11(木) 12:18:02.31

土方PGで大儲け（過去形）

2018/10/11(木) 13:19:56.51

AI（人工知能）で既存のホワイトカラーの仕事がなくなっていく一方、
孫正義が言うように「AIのエンジニア」の需要は増加する。

そこで画像生成について学習してるんだが、
DCGANは知ってたけどCycleGANというものがあることを知った。
CycleGANはかなり面白そうだったので、

自前で人工知能作ろうと思う。
GTX1080で3時間学習させたCycleGANがあったんだが、
男性のトーク動画を女性に変換しててすごいと思った。

これから購入するパソコンのスペックはGTX1080以上あればいいかな？

2018/10/11(木) 14:28:42.63

http://www.atmarkit.co.jp/ait/spv/1810/10/news039.html

2018/10/11(木) 14:31:15.98

アトラクター？
ポアンカレ断面の不動点でも求めてんのかね

2018/10/11(木) 15:17:36.46

孫正義（笑）、Nスペ見るの止めた

2018/10/11(木) 15:46:57.01

これからの時代、人とのコミュニケーションを鍛えた方が生き残れると思うよ

2018/10/11(木) 16:57:44.01

小学生並みの感想

2018/10/11(木) 20:26:53.34

メモリ8GBでやってたら訓練データメモリに載せるだけでPCカックカクでわろた
一応モデルとバッチはGPUのメモリが足りてるからいいけど訓練データ増えたらきついな

2018/10/11(木) 21:10:29.30

tensorflowなら訓練データをtfrecordにして非同期読み込みすることで解決できるけど

2018/10/11(木) 22:57:22.95

もちろんTFRecord にしてもいいけど、
クラウドでやれば最低でも50GB くらいはメモリついてるぞ

2018/10/13(土) 01:09:59.51

訓練データ全部メモリに乗せてやるなんてMNISTくらいでは

2018/10/13(土) 02:24:00.24

前処理段階でメモリ食うことは良くある