【統計分析】機械学習・データマイニング20

2018/08/07(火) 18:56:37.59

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/10/02(火) 15:43:52.26

うむ

2018/10/02(火) 17:16:03.25

むう

2018/10/02(火) 17:56:36.01

クラウドでやるのと実機用意するのとどっちが安いか

2018/10/02(火) 18:13:26.05

データ量次第としか

2018/10/02(火) 18:41:23.89

研究や学習用途ならもうcolabでいいんじゃねーの
TPUまで無料で使えるようになったから最強すぎるわ
ただ12時間超える学習なんかの場合は、途中で保存する処理を作るか
既にある処理を使う必要性がある、Kerasには既にある
tensorflowの低レベルでやる場合は自分で書く必要性あるのかな
Pytorchはまだ触り程度で詳しくないけど、kerasと同じようなライブラリあるならそれ使えばいい

業務やサービスの場合はどうせAWSかGCP,Azure借りるだろ

2018/10/02(火) 19:43:42.88

学習中に不明な原因で接続が切れてた時の絶望感

2018/10/02(火) 20:06:47.65

sotaという言葉を知らなかったので調べてみてstate of the artの略で直訳すると最先端とかそんな意味だから何となく言いたいことは分かったけど機械学習分野での定義に当たるものが全然見つからない
sota達成とか誰がどうやって決めてるの？

2018/10/02(火) 22:59:32.38

>>636
sotaって論文で書いてる連中は
arxivなどのオープンアクセスな論文サイトに投稿されてるコンピューターサイエンスの論文で有用なのはほとんど全部読んでる
だからどれが最高水準かを知ってるから
その分野におけるsota近辺のモデルの論文の結果と比較してsota達成としている
っていうのが俺の認識
論文完璧に追ってる以外にもカンファレンスで情報収集してるってのもあるだろうけど

物理学なんかと違って、ML分野はオープンアクセスな論壇で発展してきたからこうなってるんだろうけど
その辺の事情を追えてない日本人には全くわからん状態なのも仕方ない

2018/10/03(水) 00:45:53.65

あぁカンファで同時にsota報告が上がってたんだな
そりゃカンファで採択されるかされないかと
オープンアクセスサイトでの論文公開タイミングは、ものによってはちげーから
いくら先端追ってる連中でも被るのは仕方ない

・GAN的な双方向マルチ学習(自然言語で言うなら敵対的逆翻訳のしあいっこ？)
・特徴に時間間隔とポジション付与
・Attentionの構造改善

この3つが大体の今のトレンドだろ
全部組み合わせたのも半年以内に出てくるだろうけど
結局の所、事象における連続した時間情報の把握と
その状態における時間変化率の学習が上手く出来てないから汎用AIにはなれんだろう

ちゃんとした学者にも俺と似たような事言ってる人いて
脳構造の模倣による時間情報の学習を、哲学的な部分からやろうって言ってる人いるけどどうなるかな

2018/10/03(水) 01:19:02.14

脳構造だからうまくいくわけではない。

2018/10/03(水) 01:29:53.26

神経構造なんかは既に解明されてるけど
そうなるとしか分かっていない回路形成の発生学とか
関与しているらしいけど何してるのかいまいち分かっていないグリア細胞とか
こっちの方がモデリングをする上で重要だと思うけどね
今のMLでは生物の機能の一部を模擬してるだけに過ぎない

2018/10/03(水) 05:14:23.46

脳の機能（笑）哲学（笑）

2018/10/03(水) 07:10:02.33

哲学の成功は論理学と実証主義で完成したと思うよ

2018/10/03(水) 12:26:33.96

脳モデルはあくまでNN、DL起案者が何をモデルとして数学モデル化したかであり、NN、DLは脳モデルそのものではない。
また、そもそも脳モデルが最適なモデルかどうかはまだ証明が存在しない。

たまたまDLがよい結果出たからそう言われてるだけ。

脳モデルが最適かどうかという前提を何も示さずに、研究者のなかに、『脳の伝達には～があるから○○を追加したらこうなるはず』みたいな議論されているのを見ると、滑稽に思う。

2018/10/03(水) 12:28:55.71

なぜ最適を求める？

2018/10/03(水) 12:30:34.07

よりよい結果が出たらそっちを採用するだけ。
それが脳モデルになるとは限らない

2018/10/03(水) 12:31:35.36

>>643
ほんこれなんだよね

Andrew NgもDLを脳に結びつけて説明するのは、誤解が多いから止めたって言ってたわ

2018/10/03(水) 12:32:37.09

世にこれだけディープラーニングが広まったのは、脳モデルの説明による功績が大きいけどな

2018/10/03(水) 12:35:57.50

人間の脳が超省エネで高速に学習して予測結果の出力できているのと比較すると現行モデルは脳と呼ぶにはには程遠いんだけど非理系メディアでは人間の脳を模倣しているなどと喧伝される

2018/10/03(水) 12:37:46.63

世に広めるにはイメージが大事です。
ただ研究者はイメージで研究してはダメです。

2018/10/03(水) 13:20:41.80

CSなんて結局は計算能力との兼ね合いだからな
仮に完全に脳構造を模倣したモデルを組み上げたとしても
それがクソ重くて現行の計算資源で回らなけりゃクソだとしか評価されん
かといって脳構造の模倣や考察を放棄するのは適切じゃない
世界モデルもこっちよりだし、強化学習をやるためには避けられないだろう

問題はRNN,LSTMでは事象における連続した時間情報をあまり学習できてないってことだな
TransformerとUTは時間間隔をと位置情報を特徴に埋め込む事で
マルチヘッドセルフattentionにそれらを処理させているが
おそらくは完璧を求めると
階層的にAttentionによる時間情報とポジション付与をしつつ、それらを考慮したCNNで畳み込み
なおかつそれらすべての層を参照しながら、動的に再帰的処理する必要性がある
これにGAN的な世界モデルによる強化学習手法を取り入れれば汎用AIができるだろう
計算力はどうせなんとかなるだろうし
誰かが気づけば、あと10数年で汎用AI完成するんじゃね

2018/10/03(水) 13:29:51.05

そもそも脳構造の哲学的推測における模倣はイメージじゃなくて
ただの論理的思考なんだけど
推測の過程において論理が飛躍しすぎてると
大抵の人は妄想だと判断して、考察を放棄する傾向があるからしょうがないわな
それが当たり前だもの

2018/10/03(水) 13:44:52.38

>>646 >>643
小脳とかをラッピングする形で大脳とかがあるように
NN を別の何かでラッピングするようなモデルがあっても
まだ全く脳のモデルですらない

2018/10/03(水) 14:55:39.60

遺伝的アルゴリズムも名前が強そうだけど、中身はびっくりするレベルでしょぼいよね

2018/10/03(水) 15:06:45.43

ニューラルネットワークなんて回帰を多層にしただけの超単純構造

2018/10/03(水) 15:13:09.66

>>653
はったり、生物の進化淘汰なんかどこにもない

2018/10/03(水) 17:49:41.29

大事なことなので復唱します。

世に広めるにはイメージが大事です。
ただ研究者はイメージで研究してはダメです。

研究者の中には、脳モデルが最適かどうかという前提を何も示さずに、
『脳の伝達には～があるから○○を追加したらこうなるはず』
みたいな議論されている方々がおりますが、根拠が薄く滑稽に思います。

2018/10/03(水) 17:57:56.16

>>653
AI関連の話題は、タイトルは大げさなんだけど内容はショボいよね。
俺は頑張りますよ！

2018/10/03(水) 18:01:02.58

最適かどうかは完成物があれば評価できるんだからいいでしょ
そもそも分からないから研究して新しいモデルを作るわけで
最初から何が最適か知っている人がいてそれを論理的に説明できるのならばとっくにそれがスタンダードになっているはずだがそうはなっていないんだから最適など誰も知らないと考えるのが自然

2018/10/03(水) 18:05:20.45

つまりはまあ、最近の機械学習の論文なんて実績と経験則の積み上げ(帰納)によるものがほとんど。
より良きモデルからスタートしたモデルのアイデア(演繹)を求む

2018/10/03(水) 18:10:02.59

アイデアと結果はあるのだかどうやって世に広めたらよい？

2018/10/03(水) 19:13:50.43

結果あるなら論文書いてarxivに投稿すりゃいいじゃん
高校生ですらMLの論文書いて投稿してたの昨年話題になったろ

2018/10/03(水) 19:49:21.65

とんくす

2018/10/03(水) 20:20:45.13

くず

2018/10/03(水) 20:46:41.49

>>654
単純構造で目的を達成できるならそれでいいんじゃないの？
必要以上に複雑にして何かメリットあるの？

2018/10/03(水) 20:48:04.20

>>656
既に実現されてるものを真似するのは方法の一つじゃない？
バイオミメティクスとか

2018/10/03(水) 20:49:11.35

>>656
最適かどうかは評価尺度によるところもある
経済的になのか学習コスト的になのか結果の精度的になのかとか

2018/10/03(水) 20:50:21.87

>>659
結果が全てじゃね？
モデルを頭で考えても実証しなければ役に立たない
数学とは違うんじゃね？

2018/10/03(水) 20:52:26.70

>>660
それが何の役に立つのかとか
どんな課題を解決できるのかとか
あとは面白いかどうかとか
ARの技術もスノーとかに応用することで一般の人は知らずに広まっている

2018/10/03(水) 21:20:45.12

>>665-668
だからそれは問題に対する帰納的なアプローチだってば。
マイナーチェンジでしかパワーアップ出来ない。

2018/10/03(水) 21:23:50.17

また一概には言えないかもしれないが、結果がローカルなものになりがち

2018/10/03(水) 21:59:40.34

そもそも、ある程度iter重ねるか、少数サンプルで訓練した結果をプロットしつつ
新しいモデルを模索してくのが、今のMLにおける超大多数の手法であって
最初から論理的組み立て部分で有効性を実証してから研究始めるなんて手法は
明らかにメジャーではない

取り敢えず予測モデルで雑なコーディングして、訓練結果をプロットしてみてから
数理モデルの有効性に論理的説明をつけるって手法がメインなのは
有用な結果を残してる論文の内容からも分かる話

ほとんどだーれも論理的説明を完璧に付けてから研究開始なんざしてない
+58IDnbydの論理展開を適用すると、全員滑稽になっちまわないか？
そういう意味で、既に有効性の確認されている脳っていうクソ速いモデルを模倣するっていうのは
その時点である程度の論理的根拠を示しているとすら言える

2018/10/03(水) 22:50:21.46

>>671
別にメジャーじゃなくてよい

2018/10/03(水) 23:45:59.60

pytorchのdevcon見たけど、想像以上に大企業がサポートしてて驚いたわ

2018/10/04(木) 02:41:08.39

見てみたけど、グローバルなAI 企業オールスターって感じか。
もっとも作ってるのが FBだから別に不思議でもないけど

2018/10/04(木) 08:08:02.24

>>669
帰納的なアプローチがなぜダメだと判断でしているのか判らない
帰納的に発見した原理を演繹的に適用すれば良いだけじゃね？

2018/10/04(木) 08:09:50.53

>>671
帰納的に探索する領域の問題でしかないだろ

演繹的に適用する原理に相当するものはどこから発見するのか

2018/10/04(木) 09:59:48.56

>>674
chainerは消えゆく運命だな

2018/10/04(木) 10:14:52.99

好きなんだがなあchainer

2018/10/04(木) 12:34:16.99

Google Colaboratoryで
!apt -y install libcusparse8.0 libnvrtc8.0 libnvtoolsext1
ができなくなったのだがどうしたらいいのか

**デフォルトの名無しさん** (JP 0H9a-2jv+) · 2018/10/04(木) 16:03:33.77

演繹厨うぜえ

2018/10/04(木) 16:06:35.89

>>677-678
tensorflow vs pytorch の構図が完全できちゃったんで他のフレームワークはどれも厳しいけど、
tf の独占を阻止できたのは良かったと思う。 tf が pytorch を滅茶意識してて笑えるｗ

2018/10/04(木) 21:40:33.09

vs？

2018/10/04(木) 22:39:26.90

visual studio

2018/10/04(木) 22:49:09.65

>>678
良くも悪くも学生の趣味の域をこえてないのが残念。こえる気もないのかもしれんが

2018/10/04(木) 23:03:51.17

>>681
2.0 はもろにそうだな

2018/10/05(金) 08:18:57.73

NVIDIA RTX 2080 Ti vs 2080 vs 1080 Ti vs Titan V, TensorFlow Performance with CUDA 10.0

https://www.pugetsystems.com/labs/hpc/NVIDIA-RTX-2080-Ti-vs-2080-vs-1080-Ti-vs-Titan-V-TensorFlow-Performance-with-CUDA-10-0-1247/

1080Tiと2080Ti比べるとFP32は1.35倍くらいでゲームのベンチ(レイトレコア・テンサーコア使わない場合)と同じ傾向でガッカリ
FP16ならさすがに速いね
https://i.imgur.com/Dq30VnF.jpg
https://i.imgur.com/2TIiMYA.jpg

2018/10/05(金) 10:48:01.81

>>684
マルチGPUの分散学習はChainerが速いらしいから頑張ってほしい

**デフォルトの名無しさん** (ｽﾌｯ Sd70-rfKm) · 2018/10/05(金) 10:49:42.25

頑張ります

2018/10/05(金) 14:37:40.34

えいえいおー！

2018/10/06(土) 11:03:04.25

>>687
TPUも作れるといいね(棒)

2018/10/06(土) 11:16:45.87

NHK教育を見て56088倍賢く三連休
http://nhk2.5ch.net/test/read.cgi/liveetv/1538780245/

2018/10/06(土) 11:26:12.82

>>686
もう CUDA 10.0 かよ…

2018/10/06(土) 15:40:12.76

会社の技術発表で機械学習をやってみたいんだけど、
例えば、複数ユーザーのツイートを元に学習したアカウントで人間っぽく自動ツイートする、みたいなことって可能ですかね？
使用したことある言語はjavaくらいで、Pythonとかは始めてなんですけど

2018/10/06(土) 15:55:25.36

可能

2018/10/06(土) 16:33:50.86

>>694
よっしゃ、ありがとうございます
1ヶ月あればなんとかなるかな、頑張ってみます

2018/10/06(土) 20:05:00.50

>>695
ところで業務にはどう役に立つのかね？
って言われそう

2018/10/06(土) 20:07:01.15

日立なんかは一年目に技術発表会やると聞いた。上の人がどこの人か知らんけど

2018/10/06(土) 20:27:28.89

>>696
自分が興味あることを発表する、みたいな場だから業務に役立つかどうかは大丈夫
ゲーム作ってきたやつもいたし

2018/10/06(土) 23:01:16.24

>>698
著作権的にいいのかな？社内向けとはいえそれをツイートまでするのはアウトな気がする。
自分のアカウントを２つ作ってやるならいいだろうけど。

2018/10/07(日) 00:40:28.21

日本の会社はぬるくて羨ましいなw

2018/10/07(日) 00:41:29.35

Twitterはツイートした時点でその内容を誰がどう使ってもいいよ、っていう規約だったはずだから権利侵害とかの問題はないだろう

2018/10/07(日) 00:47:51.09

独学で機械学習やってるけど、おっさんの腐った脳味噌じゃもうダメだな
大学入り直すか

2018/10/07(日) 00:53:53.77

2chの方が著作権移動が厳しい

2018/10/07(日) 01:05:46.09

CS系の大学の講座取ってみたい

2018/10/07(日) 05:08:20.65

>>701
著作権で言えば
著作者人格権とか著作権に関する権利の一部は
日本の法律ではなくならないはず

2018/10/07(日) 08:15:30.42

そもそも、機械学習で生成されたデータが
元にしたデータの著作権侵害になるという法律屋の指摘に違和感を感じる

2018/10/07(日) 10:47:04.83

日本は法律面で先進国としては非常に珍しい機械学習パラダイスなんだぞ

進化する機械学習パラダイス～改正著作権法が日本のAI開発をさらに加速する～
https://storialaw.jp/blog/4936

2018/10/07(日) 11:49:44.59

個人情報保護とかで医療関連はデータ集めるのが大変だそうな

2018/10/07(日) 13:26:13.70

その辺りは医療機関自体がデータサイエンティスト雇うか業務提携するしかないだろう

2018/10/07(日) 14:08:13.17

ワイのレントゲン写真使うなら肖像権高うつきまっせ

2018/10/07(日) 14:14:45.59

>>707
つまりこういうことだな
現在：「学習用データ収集→諸々の処理→学習モデル作成」を個人や自社だけで完結させる場合は商用・非商用問わず著作権者の許可を取る必要なし
2019/1/1以降：収集した学習用データを他人・他社に公開・販売するのも著作権者の許可を取る必要なし
※もちろんデータ解析という本来の目的外に使用されることが明らかなら違法なので、漫画データの学習のためと謳って漫画スキャン画像を公開するとかはNG

ということで、明らかに悪用するような使い方でない限りデータ解析において著作権を気にする必要はない

2018/10/07(日) 14:39:39.25

日本の会社はそもそもデータが足りていないらしい
今まで何をやっていたのか

https://www.nikkei.com/article/DGXMZO35932210Q8A930C1MM8000/

2018/10/07(日) 14:57:55.33

著作権先進国（笑）

2018/10/07(日) 17:38:31.02

医療用プログラムは医療用機器つくってた会社しかつくれないように規制されてるから入れん
認可とるのも大金かかるし

2018/10/07(日) 20:31:31.21

GANのdiscriminatorの次元減らしていくのに全結合無い方がいい理由ってなんで？

2018/10/07(日) 20:35:00.63

DCGANの話です

2018/10/07(日) 20:45:05.75

>>708
個人情報を収集するときに
利用目的や利用の範囲とかを示して
合意して貰えばいいだけじゃね？
おと要求に応じて開示修正破棄できるようなシステムにしておく
ほかの個人情報でも同じ

2018/10/07(日) 21:24:55.65

https://arxiv.org/pdf/1312.4400.pdf
> 3.2 Global Average Pooling

> ・・・
> However, the fully connected layers are prone to overfitting, thus hampering the generalization ability
> of the overall network. Dropout is proposed by Hinton et al. [5] as a regularizer which randomly
> sets half of the activations to the fully connected layers to zero during training. It has improved the
> generalization ability and largely prevents overfitting [4].

> In this paper, we propose another strategy called global average pooling to replace the traditional
> fully connected layers in CNN.

2018/10/07(日) 21:52:22.17

>>718
全結合いれたら汎化性が落ちるから他の方法でってことか
ありがとう

2018/10/08(月) 11:31:11.61

そろそろ大目玉か
https://www.anaconda.com/blog/developer-blog/tensorflow-in-anaconda/

2018/10/08(月) 11:41:22.65

なんと！あのアナコンダが！
っていうほどのもんじゃないな

2018/10/08(月) 11:44:43.55

>>717
これから集める分ならそうだろうな
でも今まで蓄積してきたデータは？
契約上使っても問題ないデータが十分集まる頃にはとっくに置いてかれている

2018/10/08(月) 13:07:36.75

>>722
再確認すれば良い
利用規約の改定とか普通によくあることじゃね？

2018/10/08(月) 14:02:39.08

>>723
その再確認を既に退院した人含めて一人一人にするのは結構大変なのでは

2018/10/08(月) 14:31:20.58

arxivのML・DL論文読んでて、日本人の論文少ないよね

2018/10/08(月) 15:01:42.20

意味不明な日本語を使う奴に言われてもｗ

2018/10/08(月) 21:08:44.54

英語でわざわざ論文書くのがめんどくさい

2018/10/08(月) 22:37:44.37

外人嫌いだし

2018/10/09(火) 08:09:06.14

>>724
新たに同等のデータを取るのに比べたら手軽じゃね？
現状の法律でも個人情報の開示や削除要請には応じる必要があるからその準備はできているはず