【統計分析】機械学習・データマイニング19

2018/03/09(金) 18:09:45.75

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング17
http://mevius.5ch.net/test/read.cgi/tech/1502032926/
【統計分析】機械学習・データマイニング18
http://mevius.5ch.net/test/read.cgi/tech/1507807291/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/05/14(月) 20:34:25.65

PRML

2018/05/15(火) 05:50:54.83

むつかしそう

2018/05/15(火) 08:52:57.44

NICでも作ればいいんじゃない？
仕組み単純だし、GPUないときついけど

2018/05/15(火) 22:09:10.95

自然言語処理でコーパスって言葉が出てくるのですがこれはテキストデータの集合体を指すのかテキストデータを加工して名詞に分けたりしたものの集合体を指すのかどちらなのでしょうか？

2018/05/15(火) 22:51:41.53

ひみつ❤

2018/05/16(水) 06:52:30.65

>>256
国民年金そんなに高くないぞ。

2018/05/16(水) 06:55:19.15

>>257
自営は必要経費を計上できるだろう。

2018/05/18(金) 01:32:54.21

>>260
回帰系・自然言語系なら、詳解ディープラーニング
TFとKerasのコードが載っていて分かり易かった

2018/05/18(金) 14:35:00.11

kaggleで実績積んで転職したいよおおおお

2018/05/18(金) 15:13:55.64

すれば、するとき、した

2018/05/19(土) 09:45:29.51

誤差逆伝播法わかんない幼卒

2018/05/19(土) 11:32:51.52

BP法は25年ぐらい前の流行じゃないか？

2018/05/19(土) 12:00:25.74

>>272
今流行ってるのはなんですか？
なぜゼロから作るDeepLearningに紹介されているにですか？

2018/05/19(土) 12:18:32.06

DLニダー

2018/05/19(土) 12:35:55.50

BP法もいいけど他の方法も知っとけ

2018/05/20(日) 02:06:49.93

原理が難しいアルゴリズムは研究が進まないからどうせ流行らん

2018/05/20(日) 11:20:48.01

流行るか流行らないかの問題じゃないだろ

2018/05/20(日) 12:21:50.26

DLは簡単か、なるほど

2018/05/20(日) 13:16:33.25

非常に簡単な方法

2018/05/20(日) 15:05:52.83

流行る・流行らないは結果が全て
機械学習で言えばより簡単により正確な結果が得られるなら流行るし、そうでないなら流行らない
どうせ流行る・流行らないを決める側の人は原理など理解していないので難しいかどうかは重要ではない

2018/05/20(日) 16:26:38.82

流行はDARPAが発信源

2018/05/20(日) 18:43:45.68

流行関係無く研究させてくれるならコホーネンをやるですよ。

2018/05/20(日) 21:14:36.29

連想記憶か、進んでるのかな。

2018/05/20(日) 23:14:23.39

今回の流行は、素人でも統計解析のライブラリを呼び出すコードを
つなげればなんかAI、機械学習！の研究が(手軽に)出来るじゃん
見たいな幻想が根底にあったと思うので
簡単さは流行の一要因だったと思う

2018/05/21(月) 09:19:36.98

アホ

2018/05/21(月) 10:17:21.17

底辺裾野は金だけ運んでくればええよ

2018/05/21(月) 14:56:12.74

初心者ですで頭おかしいこと言ってるかもしれませんが質問に答えて下さい
損失関数の極小解を出すためのアルゴリズムに確率的勾配降下法などがありましが、今主流なのはなんでしょうか？ライブラリはTensorFlowを使う予定です

2018/05/21(月) 14:58:22.70

勉強しろよ

2018/05/21(月) 14:59:23.02

>>288
答えて下さいよ
勉強足りないのは自覚しています

2018/05/21(月) 15:20:47.96

>>289
DL

2018/05/21(月) 16:05:18.16

フレンド関数かな

2018/05/21(月) 16:55:24.11

フレンドシップ結合か、なるほど

2018/05/22(火) 00:49:40.28

>>287
SGDは損失関数（loss func）じゃなくて最適化関数（optimizer）な
数式ちゃんと理解しないと学習率の調整が出来ないから、全部ちゃんと調べる様に

2018/05/22(火) 02:04:56.30

結局、バックボーンとなる数学的な理論を理解しないと何もできないんだよな。
ライブラリーはあるけど、使うだけなら、パラメータをチューニングするだけなら、
Excel使いと同じレベルだし、技術者でも何でも無い。

AI技術者とかいって客に高い単金を要求しているが、
普通のJavaとかphpのプログラマ未満の技術力しかない。

2018/05/22(火) 09:13:54.83

そりゃインパクトファクターの多い論文は基礎の理論を展開しているけど
大半の論文は学習方法や既存のネットワークの最適化だよ

2018/05/22(火) 19:31:14.19

理論が重要なのはわかるけど、ほとんどの人にとって知りたいのは導出過程よりも結論だけだろうしなあ。
そのうち理論なんか誰も見向きもしなくなったりしないかな？

2018/05/22(火) 19:56:54.31

一部の人のものになるだけ
vbaみたいに

2018/05/22(火) 20:21:00.71

理論が分かる人が新しい技術を生み出し搾取する側になれる
理論が分からず結果を利用するだけの人はいつまで経っても操られ搾取される側でしかない

2018/05/22(火) 20:42:40.12

>>296
>理論が重要なのはわかるけど、ほとんどの人にとって知りたいのは導出過程よりも結論だけだろうしなあ

こういう言い訳する人は多いが、導出過程を知ることが大切なのではなくて、
導出過程を通じて考え方を学ぶことが大切なんだよ。
そういう考え方を通じて正しい使い方は分かるのはもちろん、新しい発想が生まれる。

2018/05/22(火) 22:51:50.97

道具として使って結果が欲しいか、道具から新しい世界を発展させたいか。
車を使って移動したいか、車を使って新しい社会の仕組みを作りたいか。

目的に敵ってりゃどっちでもいいんでね？
全員が新しい発想しないといけないってこともあるまい、一般に利用しやすくなったのは素晴らしい事じゃないかね。

2018/05/23(水) 00:50:21.31

利用しやすくなるのは、技術者だけじゃなくてユーザーもそうだから。
「なんだ！これじゃ～、AI技術者ｗｗに頼まなくても、俺たちでやれるわ」
で仕事がなくなるだけ。

昔、静的なwebサイト作るのにも、一式30万円も50万円も取られた時代があったが、
今じゃ、その程度の奴はユーザー自身が本見て作るし、ランサーズで1万円も出せば、そこそこの奴作ってくれる。

2018/05/23(水) 01:01:13.63

中米の論文数に焦ってるやつが前にいたけどなんか落ち着いてるね

2018/05/23(水) 04:29:51.77

>>301
AIエンジンができれば誰でもできるようになるね。

2018/05/23(水) 10:50:08.54

AIエンジンで自動運転が実現できる

2018/05/23(水) 12:40:40.83

>>299
車にガソリン入れるときにライターで口を照らすような人が減るのは良いね

2018/05/23(水) 13:49:44.61

AI作ったはｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ

2018/05/23(水) 14:03:58.96

AIエンジンで自動草刈機作ろう

2018/05/23(水) 21:39:36.62

　　　_, ._
　　（　・ω・）んも～
　　○=｛=｝〇,
　　|:::::::::＼, ', ´
､､､､し､､､((（.＠）ｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ

2018/05/23(水) 22:01:41.02

使うためには原理を理解するのが必要なんだよ。
株予測してみた、みたいのは数値予測させるのに画像分類のサンプルコードをそのまま当てはめて
上がるか下がるかで分類させてるひどいのもある

2018/05/24(木) 00:37:23.56

それならサイコロ振るのと変わらないな

2018/05/24(木) 01:35:34.80

株や為替予測AIを作っている人は酷いモデルが多いね
自然言語AIまで勉強してないから、LSTMちゃんと使いこなせてない

2018/05/24(木) 01:37:41.22

ここにも来てないか

2018/05/24(木) 05:41:37.07

>>311
どうせチャートとファンダメンタルズだけ組み込んで要人の発言とか新商品とか新技術の材料は組み込めない。

2018/05/24(木) 06:41:32.60

>>313
>要人の発言とか新商品とか新技術の材料は組み込めない
そういうのは技術的にAIに学習させたとしても無意味。

発表前に既に株価に織り込み済みだから。ちょっと株価を研究した奴なら分かる。
情報戦で勝とうとしても、上には上が居て厳然たる情報の非対称性もあって勝ち目なし。

2018/05/24(木) 08:09:47.36

一番確実なのは、明地文男の3点チャージ投資法。
公式サイトにも載っている

それか、サザエさんの視聴率。
株価は半年先の予測だけど、サザエさんは、さらに早い

日曜夕方の視聴率が下がったら、仕事か外食してるから、景気が良くなる

アノマリーもある。
たいてい同じ月に、上下する

ゴールデンウイークには旅行して、秋には東京ゲームショウ、冬には花粉症とか、
株が上がる月が、決まっているから

2018/05/24(木) 09:47:23.24

まぁ、そういう気づきが大事だね。
従来の発想をそのままAIに持ち込んで、自動化とかいう発想じゃなくて。

俺も色々と発想を膨らませて予測している。

2018/05/24(木) 09:51:00.29

新商品や新技術の発表日時を予測できればいいのに

2018/05/24(木) 10:02:54.45

>>315
サザゑさん連動良く分かったありがとう

2018/05/24(木) 10:04:41.93

>>317
Rubyじゃないけど発表はクリスマス前とかボーナス前やろ

2018/05/24(木) 17:10:29.23

scikit-learnとTensorFlowによる実践機械学習っていう本買った
ゼロから作る奴との橋渡しになればいいなぁ

2018/05/25(金) 01:19:04.82

自然言語処理AIの勉強が必要なのは、別に「要人の発言を組み込め」っていう意味じゃなくて
Seq2SecとかAttentionとかの言語モデルの使い方をちゃんと理解してからLSTMで波形分析しようって意味なんだけど…

2018/05/26(土) 16:32:35.95

０年後CPUの性能が飛躍的アップしたらまた合おう

2018/05/27(日) 12:32:48.17

キズナアイが人工知能と聞いたんですが、ほんとですか

2018/05/27(日) 15:01:58.82

中の人いるやん

2018/05/27(日) 15:48:12.03

愛(Ai)ちゃん

2018/05/27(日) 17:06:39.17

人工知能＝人工的に作られた、知能を持っているように見えるもの
なので基本的に受け手側の考え方次第で何でも人工知能になり得る

2018/05/30(水) 19:43:16.79

ライブラリを利用できるだけのプログラマーの間でも
特徴抽出のセンスだけで腕に相当の差がつきそうなもんだけど
そういう組み込み系のエンジニアの年収はどのあたりの幅に収まるもんなんだろう

2018/05/31(木) 08:16:28.31

画像分類のテストやろう

2018/05/31(木) 08:22:24.22

報酬は国際標準ぐらいはいただけるのでしょうか？

2018/05/31(木) 10:24:25.80

特徴抽出のセンスってデータの前処理の話？
そのデータを長年扱ってて背景知識あるかどうかだよ

2018/05/31(木) 11:09:07.45

そっか、自分いま機械学習の勉強を進めてて
数学・統計学まわりから先にがっつり勉強したから機械学習本体の
学習がまだ進んでないような段階なんだけど、この先どの程度の年収の職に就けるのか
不安を感じている。これは世間で言われているほど美味しくないんじゃないか

2018/05/31(木) 11:13:27.46

残念ながら日本では作文能力が高い方が収入が高い

2018/05/31(木) 11:15:22.59

>>331
お前にとって美味しいかは知らないが実力があれば今と今後、最も稼げるのはほぼそうだろ。
プロ野球とか芸能人とかも年収差はある。

2018/05/31(木) 11:52:32.15

>>331
>>246
君には輝ける未来が待っている（適当）

2018/05/31(木) 18:06:38.24

日本で一生過ごす前提なら結局スペック高かろうが低かろうが大して収入なんて変わらない

2018/05/31(木) 18:12:08.73

情処を取ったほうがよさげ

◆QZaw55cn4c (ﾜｯﾁｮｲ da60-667V) · 2018/05/31(木) 18:49:44.60

>>336
それは最低限の素養では？

2018/05/31(木) 19:14:21.74

>>331
正解

2018/05/31(木) 21:09:27.65

職に就かずに稼ぐ方向で頑張れ

2018/06/01(金) 02:33:22.26

特殊スキル持っても一般では理解されず、学歴で見られる
漏れも出来るなら職に就かず稼ぐ方を進める

2018/06/01(金) 11:24:42.12

日本である程度稼いだら東南アジアに引っ越してダラダラと暮らしたい

2018/06/01(金) 15:46:05.19

年収600万くらいかねえ。1エンジニアで1000万とかまず超えない

2018/06/01(金) 17:57:35.25

日本では文系職でも理系職でも皆同じようにしか昇給しないからな
表向きは成果主義導入してても成果による差はごくわずか
公平感を保つためと言うがやる気のある人からすればむしろ不公平感しかない

2018/06/01(金) 18:07:29.88

どうせもらう側に行けないから気にすんな

2018/06/01(金) 18:48:27.48

現時点でAIデータサイエンティストとして院卒レベルの人材じゃないとノーチャンだよな
冷静に考えて足りないのは、機械学習の上辺を理解してる営業だけ
技術職のキャパはすでに上限ギリギリいっぱいな気がするわ
英語がネイティブレベルならまだ話は別かもだが

自分で事業起こすにしても
凄まじい計算資源がないとまともな事業展開は無理だから、超大手の研究や投資に依存せざるを得ない
量子コンピュータの機械学習への組み込みに成功したらなおさらそれが加速する
割と今ってディストピアまっしぐらじゃね？

2018/06/01(金) 19:15:13.52

普通のＰＣで動くものじゃないと普及しないよ

2018/06/01(金) 19:37:15.51

んなこたーない

2018/06/01(金) 20:01:42.58

データサイエンティストって職業成り立ってない。
雑用ばかり

2018/06/01(金) 21:27:49.03

8割雑用らしいね

2018/06/01(金) 21:30:58.41

雑用に追われない仕事なんか無いよ。

2018/06/02(土) 00:42:10.32

確かに

2018/06/02(土) 02:32:28.13

問題はデータサイエンティストとしての知識を披露したいのに、結局凡人が理解出来る範囲しかデータを提供出来ないということ。

分かりやすくするためにいろいろ削った結果、言いたいことがほとんど残らない。
とりあえずクライエントが望みそうな方向に誘導するのが一番無難。

2018/06/02(土) 09:15:49.36

そういうのは論文か本かブログで発表するといいと思いう

2018/06/02(土) 13:08:37.80

いやだからお客様のデータを論文で披露するわけないやん

2018/06/02(土) 14:06:37.67

>>352
なるほど

2018/06/02(土) 14:07:23.05

>>354
まともなAI(ω)なら会社変われって結論を出すと思うが
おまいは従えるか？

2018/06/02(土) 14:44:07.82

DSの仕事は日本にはそうそうないらしい
面接や就職説明会ではどの会社もいい部分ばかりみせるけど
優秀なDSを本当に活用できる企業はほんの一握りで、ほとんどのDSはアナリストのよう
な雑務をこなしながら、いつか良い職に就ける日を夢見て独学で頑張ってるようだ
でも英語を勉強すれば外資にいけるし、英語が出来なくても本当に優秀なDSなら、学歴か実績があれば最近はいろいろといい求人があるんじゃないかな

2018/06/02(土) 15:23:42.42

機械メーカーの研究開発職であちこちセンサー付けた自社製品の機械をひたすら動かしてデータ収集して
種々の解析して異常発生の兆候を見るための手法の開発してるけどこれはデータサイエンティスト？
そうだとしたらほとんどの研究職はデータサイエンティストだろうけど

2018/06/02(土) 16:56:45.27

客のデータで重要な知見が得られたならそれは当然客が競争優位に立つために重要なので詳細を公表できるわけがない
自分の成果を第三者にアピールするなら自力でデータ集めからやるか、個別案件に依存しない新たなアルゴリズムの開発、公の機関との共同研究ぐらいしかないだろう

2018/06/02(土) 18:02:19.41

>>349
というかもうすぐ失業者が出るとか？