【統計分析】機械学習・データマイニング24

2019/05/01(水) 10:39:45.57

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/

VIPQ2_EXTDAT: default:vvvvvv:1000:512:----: EXT was configured

2019/06/02(日) 16:16:23.54

向こうにデータが流れちゃうんだっけ？

2019/06/02(日) 16:54:44.09

>>594
だれが責任取るんだろうな

2019/06/02(日) 19:01:56.94

AIも居眠りするんか

2019/06/03(月) 00:44:11.05

seq2seqをrnnではなくcnnでやる論文が出たの、まだ一年前か
あまりにも技術の進歩が早すぎて辛い。学習コストが高すぎてプライベートを侵食してる

2019/06/03(月) 00:59:05.77

初歩的な質問ですいませんがAI系の論文てどこで見れるんですか？

2019/06/03(月) 01:17:14.89

https://arxiv.org/

2019/06/03(月) 01:39:49.35

>>600
英語なんすね・・・(^_^;)
ありがとうございます

2019/06/03(月) 07:44:41.95

グーグル翻訳かけろよ

2019/06/03(月) 08:08:44.21

てかクソみたいな日本語解説よりも良い論文てのは読みやすいもんだから。

2019/06/03(月) 08:52:30.51

英語なんすねと言ってる時点で論文読むのは無理

2019/06/03(月) 09:05:36.33

日本語の論文?で完結する分野あるのかね。歴史、宗教、文学くらいかや

2019/06/03(月) 09:51:04.68

>>605
だとしても前者ふたつは古文書という難関が待っているｗ

2019/06/03(月) 10:21:07.26

美人シリーズ第４弾
https://youtu.be/3reMykHGMtg

2019/06/03(月) 12:03:19.08

今中国がアメリカ追い越したからアメリカ人は中国語に四苦八苦してるって聞いたが

2019/06/03(月) 12:12:24.36

日本語で書いてあっても読めんとか言うよこういうモンスターは

2019/06/03(月) 12:55:46.32

数学と英語苦手な時点でこの分野はやめた方がいい
これまでのIT土方と違ってそれなりに頭は必要な分野

2019/06/03(月) 15:18:59.46

そう
英語と数学は勉強したほうがいいね
じゃないと仕事にならんでしょ

2019/06/03(月) 15:24:19.33

プログラマー、ソフトウエアを目指す限り、英文からは逃れられないよ。
そこがクリアできてもIT土方が沢山いるのに。

そもそも何かわからなかった時に、どうやって解決法を見つけてるんだよ。日本語で間に合ってる？よほど時代遅れの知識だな。

2019/06/03(月) 16:28:44.31

そこそこなアプリ作るのと機械学習ってどっちが難しい？

2019/06/03(月) 18:06:46.78

【速報】クオカード五百円分とすかいらーく優待券をすぐ貰える　　　
https://pbs.twimg.com/media/D8H9xLNUYAAoI8J.jpg　　
　　　　
① スマホでたいむばんくを入手
② 会員登録を済ませる　
③ マイページへ移動する。　　　　
④ 招待コード→招待コードを入力する [Rirz Tu]（スペース抜き）　　　
　　　
今なら更に4日18時までの登録でクオカードとすかいらーく優待券を両方ゲットできます　　　　
　　　　
数分で出来ますのでお試し下さい

2019/06/03(月) 18:44:54.25

>>613
機械学習だけやるならそんなに難しくないでしょ
フレームワーク使えば理論知らなくても結果だけはだせるし
基本的にバッチ処理だし
この地味な作業を楽しいと思えるかが重要

2019/06/03(月) 19:02:00.26

今のところPythonのライブラリに
データ突っ込むだけで仕事になってしまうからなあ。

今後はそれだけじゃあダメだと思うけどね。
若い人は今のうちに英語と数学を
勉強しておくべきと思いますね。

2019/06/03(月) 19:11:49.90

>>614
CM見てインスト済み

2019/06/03(月) 19:36:10.22

そんな仕事あるんか
解釈性もくそもないな

2019/06/03(月) 19:50:11.89

英語は必要だとは思うがそもそも日本語で十分なところもできてない奴は多い。
そういう意味では英語わからんでも十分。

2019/06/03(月) 20:03:16.10

chainer(笑)のやつか
松尾豊(笑)のやつなら日本語だろ

2019/06/03(月) 20:29:56.17

>>619
意味不明、日本語を勉強したらｗ

2019/06/03(月) 20:36:09.49

>>608
アメリカ人に中国語は無理でしょうね…
まず漢字を1万ほど覚えなくちゃならないですから

2019/06/03(月) 20:53:44.42

帰化シナ畜の発言は重い

2019/06/03(月) 20:57:59.06

なんで日本人が作るAIってレベル低いの？

2019/06/03(月) 21:06:24.06

AIは日本人の仕事を奪うからな。

2019/06/03(月) 21:12:54.57

ジェネラリストに作らせるからじゃない?

2019/06/03(月) 22:12:54.02

アメリカだろうと中国だろうとまともに応用されてる機械学習技術なんてそう多くはない。
単純に当たりづらいものに規模で負けてりゃそりゃそうなるわ。

2019/06/03(月) 22:21:54.97

最新の論文を読んでないと仕事にならないとか思い込んでるからなんだよな
人のアイデアをパクってても新しいものは生まれない

2019/06/04(火) 00:45:55.87

大半のエンジニアはパクる能力から発展して新しく生み出す能力を身につけるんだけどな
無から生み出せるのなんて一握りの天才だけなのでそんなのを前提に物事考えてはならない

2019/06/04(火) 02:01:41.10

無から生み出せるなんて
神のみだよ

人は脳の物理的限界を
超えられないんだ

サルと同じようなものさ

2019/06/07(金) 22:31:32.71

>>616
>今のところPythonのライブラリに
>データ突っ込むだけで仕事になってしまうからなあ。

将来的には、似たようなことが主流になるだろう。
通常言われる専門の技術者が作ったものは信用されなくなると思う。
信用度の高いものが、パッケージのような形で供給され
それを使うのが一般化してくると思う。

今までの数理技術系と同じ流れになると思うよ。

2019/06/07(金) 22:51:34.40

機械学習の難所は、その突っ込むデータの選定としかるべき前処理かと

2019/06/08(土) 00:17:58.14

その前処理もAIがやるようになるだろうなあ
スペシャリストの中のスペシャリスト以外は働けない世の中になりそう

2019/06/08(土) 00:39:31.90

>>632
それはその通りなんだが
AI関係の人はほとんどが、旧来からの分析者に比べると
その辺りを嫌う傾向、および軽視するがあるように見受ける。

2019/06/08(土) 05:49:01.12

データは社内のデータベースにある
そこから引っ張るとしてとりあえずSQL文は書けないといけないが
AI系の人でまともにデータベースやSQL知ってる人を知らん
画像処理や自然言語処理も知らん
コモディティ化した今のディープラーニングなら
理論知らなくても解析できるし
その辺理解してるデータエンジニアだけが生き残りそう

2019/06/08(土) 08:18:18.40

>>631
知ったかしてるところ悪いが「数理技術」はそこまで安定したことは一度もない。

2019/06/08(土) 08:23:50.60

機械学習やってる研究者って天才の実装パックてるだけやん。。。
まあ数学者じゃないから仕方ないけどもう少し数学的なとこを考えてほしい

2019/06/08(土) 08:28:17.16

CNTK とか数学的アプローチはある。ただ恐ろしく実用的ではない。

2019/06/08(土) 09:45:57.34

>>636
おそらく言っている意味と、あなたが捉えている意味が異なるんだとおもう。
たとえば、医薬など、学会や国際的な組織に亭主るする際に、この手法は
私があらたにプログラムしましたでは、信用してもらえない。
その論文などのために、みんながデバックしろという話になってしまう。

2019/06/08(土) 10:29:12.95

そやな、閉じた世界なら何でもいいけが信頼性考えるとご免こうむる。
金融の資金運用でも自己資金ならどうでもいいが、預託資金の運用だと
説明責任もあるから、分析などのコアには信頼度の高いもの使う。

2019/06/08(土) 10:42:37.12

AIやってて画像処理も自然言語処理も知らないって何やってた人なのだろうか

2019/06/08(土) 10:43:11.34

考えたら機械学習でPython利用が多いというのも、流用できるからが多いわけだから、このの世界も次第にそうなって行くだろ。業務と手法のインターフェースに成れる人、あるいは、商用パッケージ作る人以外は職が難しくなるかもまだ先だろうけど。

2019/06/08(土) 11:01:05.35

>>641
AIで画像処理中心は今に始まった話だからね

2019/06/08(土) 11:03:57.06

>>639
馬鹿乙

2019/06/08(土) 11:10:54.44

日本が遅れてる理由を垣間観た気がする

2019/06/08(土) 12:03:39.89

ベイジアン最適化は学習を自動化させる目的で使われてるよ

2019/06/08(土) 12:22:42.56

>>641
AI作れた？

2019/06/08(土) 12:26:12.19

>>647
ＡＩって何を言ってる？

2019/06/08(土) 12:39:27.20

東大は松尾豊も
叔父さまのコネで
東大の教授になったのね

なんであの馬鹿たれが
異常に若くて教授になれたのか
不思議だったんだ

2019/06/08(土) 12:40:53.96

馬鹿ばっかり

2019/06/08(土) 12:57:59.23

>>639
実際問題信頼できる統計計算なんて回帰分析ぐらいのもので、
random forest系統、deep learning 系統など少しでも複雑な手法の場合、
安定した実装なんてものは未だかつてない。

ただ有名どころを使ってまっせってアピールが蔓延っただけで
その種の業界の信頼度が揺らぎまくったというのがここ数年の流れだろう。

何かを発見する際の手法としては使われてても
何かを保証するツールとしてはまだ全然だし、もしかしたら原理的に無理、もしくは不可能の可能性は結構ある。

2019/06/08(土) 13:34:26.87

コネで東大教授になれるのかｗ

2019/06/08(土) 15:36:30.34

なれるだろ
iPSでなんかやらかした人も東大教授（准教授だったか？）だし

特に機械学習なんて日本のレベル低すぎてどんぐりの背比べなんだから
コネにならない方がおかしいわ

2019/06/08(土) 15:57:40.02

松尾さんって人まともな論文出してるの
日本でヒントン氏レベルの扱いなんだが

2019/06/08(土) 16:10:48.96

>>652
最低限の実力(外部資金獲得)があること
他に同じ研究をしている人が学内にいないこと

コネはないよりあった方がいい
論文はあればいいが、最近の大学はどこも金がないから産学連携を前面に出せる人を欲している

2019/06/08(土) 16:17:22.39

>>654
東大で教授まで来ると研究時間はほとんど取れないから、研究方面での活躍は余程いい弟子が来ない限り難しいだろう

2019/06/08(土) 16:29:43.96

>>655
工学部の事情はしらんが、そんな当たり前のことは聞いていない

2019/06/08(土) 16:31:12.45

>>656
研究できないって訳がわからない
最高学府のAI研究室だよ？

2019/06/08(土) 16:32:47.46

>>639
こういうプログラムを書いたことのない馬鹿ばっかり

2019/06/08(土) 16:50:05.05

>>658
こればっかりはもう、本当に情けない話だが事実だ
研究時間が取れるのはせいぜい准教授までだ

優秀な弟子を育てるためのフレームワークを組むのが彼の仕事だと私は思うが、責めるべきはそこじゃないかね

2019/06/08(土) 19:28:31.58

Geoffrey Hintonはlast authorが多いけどfirst authorが今でもある

一方、松尾は無い
松尾の研究室からでる論文は東大のわりにショボい

誰の意向か分からんが
日本でのai広報担当ポジを得てる

2019/06/08(土) 19:49:27.00

>>661
First Authorについては70歳を超えて学内事務など皆無の爺ちゃんと比較するのはフェアではないな
比較するならLeCunだろう

それより二つ目の件がむしろ問題だな
良質な論文を量産できる環境構築を早急に行うべきだ
東大はとにかく学生指導を甘く考えている

2019/06/08(土) 20:53:36.86

日本でAIで金引っ張ってくるのが上手いやつは詐欺師しか見たことない。

2019/06/08(土) 22:09:40.78

>>662
松尾研がしょぼいのは
環境がしょぼいからじゃないだろ

あれで環境がしょぼいなら
東大より下の研究室はショボくて当然ということになる

松尾はnvidiaやベンチャーとも組んでて
あれは環境のせいじゃない

2019/06/08(土) 22:28:05.56

>>663
そいつらのせいで第三次AIブームも終わりそうだしな
データがない奴らが騒ぎ立てて結果出ませんってそりゃそうだろうと

2019/06/08(土) 22:52:51.14

>>664
環境とはハードウェアがすごいとか予算が潤沢とか意味じゃない

2019/06/09(日) 01:10:28.23

>>662
松尾自身が論文書くことを捨てて
マスコミに出て有頂天なんだよ
ただの馬鹿だろ？

2019/06/09(日) 01:39:02.58

金儲けも大事なのは事実だけど常に最優先事項であるとは限らないのにこんなこと言ってるしな

ディープラーニングは儲けてなんぼ！エンドユーザの付加価値を考えろ！松尾豊氏
http://ainow.ai/2019/06/08/171682/

2019/06/09(日) 01:46:57.58

＞ディープラーニングは事例は増えているがビジネスになっていない

そりゃそうだ.
アホ学者どもがワンサカ群がってきて
無理矢理事例を作ってる。

実は表に出ないだけで
すごくビジネスになってる。
金も動いてる。

今の景気を支えてるのはAIビジネス
だからね。

2019/06/09(日) 02:08:43.27

ビジネスになってないのはすごく感じる
TensorFlowのサンプルをコピーしただけの
監視カメラの画像認識サービスの多さは酷い
こんなのを売り物にしようとしてるのは詐欺に近い

2019/06/09(日) 09:26:20.21

監視カメラ関連で内製する求人もここ数ヶ月で3件は見たよ。

2019/06/09(日) 09:26:57.56

だって品質あげても苦労が多いだけで給料上がらないじゃん。
下手したら更に安い金で更に工数のかかる精度を要求されるようになるし。
査定精度の低いところがこういうことに手を出すのがそもそも間違いなんだよ。

2019/06/09(日) 09:33:54.75

要件定義怪しそうｗ
従来型ITって仕事でも要件定義怪しいの沢山あるもんね

2019/06/09(日) 10:08:18.40

従来のSIer的な要件定義は基本無理。
だから機械学習を本番運用するのは難しいんだよ。
精度策定で結局嫌になってアリバイ作業に徹するようになる人は本当に多い。

2019/06/09(日) 13:33:10.54

精度が要件になってたらアウトだしな
やってみないとわからないし
一回でも下回ったらアウトなのか
精度でなかったらどうするのか
ビジネスになる訳がない

2019/06/09(日) 13:55:38.89

機械学習に限らず特にIT業界においては「作ったものを売って終わり」というタイプのビジネスは確実に減少を続ける
とは言え、継続的に開発を続ける形式の契約を他社と結ぶのは面倒なので大企業でも内製が増えている
これまで大企業で内製があまり行われなかったのは「IT=社内システム開発」で一旦完成すれば開発要員はほぼ不要になるので正規雇用などできなかったから
今はむしろ「IT=本業」なので常に案件が存在するので直接雇用してあれもこれもやらせた方が効率的となる
だから従来式のSIerが今のような規模では存続不可能と散々言われている

2019/06/09(日) 14:31:52.84

>>651
>>実際問題信頼できる統計計算なんて回帰分析ぐらいのもので

これすんごいそう思う。

なので、この分野で日本はまだきのこれるんじゃないかと妄想してる

2019/06/09(日) 14:42:15.14

回帰分析といってもモデルの選択肢を一般化線形モデルにまで広げてみれば山ほどの可能性があり、
その中でどういった実装を行うかは解析の経験値やドメイン知識に有無に大きく依存するわけで
「安定した実装」が何を指すかは不明確だけど、「この手順通りにやればOK」みたいなものを求めているならそんなものはない

2019/06/09(日) 15:28:50.25

ここで一般化線形モデルまで行くのか？
ちょっと極端すぎね？

2019/06/09(日) 16:06:14.14

>>676
まとめ
SI市場が無くなった

2019/06/09(日) 16:06:22.37

多くの人は単回帰や重回帰のことを指して回帰分析と呼ぶがこれらは一般化線形モデルの中で様々な条件を仮定したものにすぎない
もちろんそれらの仮定が分析対象にとって妥当なものなら何の問題もないが、最低限の数学や統計学が分からないと妥当性など判断できないはずなのに
そんな知識のない人が何となく単回帰・重回帰で直線・曲線を引いてみて何となくフィットしてるのを見せてドヤ顔している例が多い

2019/06/09(日) 17:11:03.41

>回帰分析といってもモデルの選択肢を一般化線形モデルにまで広げてみれば山ほどの可能性があり、
>その中でどういった実装を行うかは解析の経験値やドメイン知識に有無に大きく依存するわけで
>「安定した実装」が何を指すかは不明確だけど、「この手順通りにやればOK」みたいなものを求めているならそんなものはない

こういうめんどくさい人が登場してあれこれ言うことも含めて安定しないので普通の回帰にしとけと。

2019/06/09(日) 17:52:27.15

統計モデルなら実データとどのくらい分布や分散が一致してるのか調べられる

2019/06/09(日) 19:19:45.77

現実問題として回帰モデル以上のモデルを準備しても
過学習するだけだからな

2019/06/09(日) 19:28:50.93

>>682
普通の回帰って何のことか分からないけど内部的に最小二乗近似してるなら誤差分布が正規分布でないのに使ったら明確に間違いだぞ

2019/06/09(日) 19:59:05.39

そこまでノイズが複雑な場合、何やってもダメだろ。

2019/06/10(月) 01:05:22.06

>>685
誤差分布が正規分布ではない分布に従うモデルのことを一般化線形モデルと言います
ちなみに正規分布に従うものを一般線形モデルと言います
自由の女神ほどのナイス日本語訳まで行かなくてもいいが、もうちょい訳語考えろと言いたい

2019/06/10(月) 01:35:01.39

>>681
なんとなく単回帰・重回帰でドヤ顔する人と
一般化線形分析で謎のハイパーパラメータ持ち出してドヤ顔する人の区別がつきません

2019/06/10(月) 01:57:16.14

回帰なんて今や面倒なこと考えずにニューラルネットにぶち込むだけだと思うんだが

2019/06/10(月) 02:18:48.96

間違いだらけのことをどや顔で臆面なく言っちゃうのがこのスレのレベル

2019/06/10(月) 05:40:36.59

須山に修正してもらおう

2019/06/10(月) 06:12:15.29

>>685
それ間違い

>>686
意味不明

2019/06/10(月) 06:13:50.37

>>687
それも間違い

2019/06/10(月) 06:14:37.92

>>688
こんなところで
聞いても無駄