【統計分析】機械学習・データマイニング20

2018/08/07(火) 18:56:37.59

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/08/31(金) 20:35:34.13

ランダムフォレストは不純度の減少に関係ある特徴量を重要度でピックアップしてくれるだけだから
故障の原因を調べるなら、むしろ関係のない特徴量を削ったり、選択したりする方に
機械学習を使うべきだと思うんだ
ロジスティック回帰とか、KNNにSBSを適用するとか
いきなりランダムフォレストでがばっとやってるなら雑過ぎると思う

あと装置について何も知らないなら
分析結果を提出して仕事完了以外に何も出来ない気がするんだけど

2018/09/02(日) 16:06:18.87

>>225 です
レスくれた人ほんとにありがとう

一応自分では>>240で出した結果から重要度が高いものに対して>>238を出すところまではやってみた
ただ特徴量の選択だったり、自分で特徴量を増やしたりする必要がある可能性があったけどその辺が不十分だから正常時と不良時の変化は捉えきれなかった
急ぎの案件ではないから装置に詳しい人にもっと詳細に聞いてから見直してみる

2018/09/02(日) 16:10:25.31

>>242
自分なりに考えて削ったところ残ったのは半分くらいだった…選定が不十分だとは思うけど…

>>241
そんな多いんだ…
まだ素人だからその規模扱った事ないけど、データ数が少ないと使い物にならないのかな

>>244
特徴量の選択に機械学習を使うのか…
やったことないし考えたこともなかった
ロジスティック回帰は確率的に予測するモデルだっけ
KNNにSBSとか全然知らないからもっと勉強しないと…

今更だけどレス遅くなってすいません
やっぱ知識的な勉強もしなきゃだし、もっとkaggleみたいなので色々経験踏んだ方が良いのかな…

2018/09/02(日) 16:13:35.40

>>238
この図って下三角は無駄やね

2018/09/02(日) 18:09:35.27

特徴200の例1万で正解ラベル付き、それでなんらかの故障の原因を
少数の特徴から説明をする必要性があるなら
PCAかけてからSVMでいいんじゃね？
ラベルないなら、明らかに異常時の正解ラベルを少数でも集めてから
アノマリーディテクション

それ以外になにかやりようがあるような案件に思えない

2018/09/02(日) 22:15:22.45

ランダムフォレストって入門書で機械学習の勉強をしたら一番最後に習うジャンルじゃないか
理論的にはかなり難しい分類に入るはずなんだけど、最初にやったんかい
入門的な範囲に関していえば、NNなんかよりよほど複雑だよな

2018/09/02(日) 23:37:09.90

そうか？

2018/09/03(月) 06:46:02.23

決定木好き
boostingも好き

2018/09/03(月) 08:17:31.91

自分も>>230の通り装置自体の理解が先だと思う

つーかkaggleしかやったことのない新卒を現場に出すと
大抵 >>225 みたいになるので笑える

225は素直だしやる気もありそうだから大成すんじゃない？

2018/09/03(月) 08:23:54.20

新人なんだったら上司としては笑ってる前にとっとと装置持ってくるか設置場所に連れて行って触らせろよ

2018/09/03(月) 15:29:21.33

割り振られた仕事が酷いだけな気がするんだけど
不良品検知なら機械学習は有用だけど、トラブルの原因の特定とか厳し過ぎるだろ
俺が同じ仕事を課されても出来ない自信がある
まだ今後の仕事に繋がるスキルなら学ぶ気にもなるけど
一回限りの仕事でこれだったら職場を変えたくなるなｗ

2018/09/03(月) 16:17:20.76

>>254
確かにｗ

トラブルの原因とか、装置メーカーの仕事だろｗ

2018/09/03(月) 16:19:13.14

作った人間呼ばないと分からないからね

2018/09/03(月) 17:45:38.06

>>254
トラブルの原因特定が目的として
機械学習を手段として用いるのは何故？
そう言う指示なのかな

2018/09/03(月) 21:12:36.40

機械学習でなんかやってくれ
Iotでなんかやってくれ
AIでなんかやってくれ

2018/09/04(火) 10:56:36.92

機械学習エンジニアとして数学を理解しておきたい！ベクトルや行列を扱う線形代数学を学び直すために
https://codezine.jp/article/detail/11023

2018/09/05(水) 12:59:13.40

機械学習の勉強やめるわ
物体検出が目標だったけど難しそうだからやめる

2018/09/05(水) 14:05:00.69

素人がこの分野に来るな！
二度と戻ってくるな

2018/09/05(水) 14:29:43.54

>>261
お前は物体検出できんの？

2018/09/05(水) 14:30:57.14

やめた人はバイバイ
さようなら

2018/09/05(水) 17:36:23.04

何気ない挨拶に隠れてるありがとう

2018/09/05(水) 19:44:56.33

courseraやってたらいきなり「カクテルパーティーは行ったことありますよね？」とかいわれた

2018/09/05(水) 20:10:38.61

コーセラの機械学習コースムズいね。副読本が欲しい

2018/09/05(水) 21:19:39.48

つ 2ch

2018/09/05(水) 22:15:23.53

>>264
馬渡

2018/09/06(木) 08:25:46.34

ケーセラ、ケーセラ、なるようになるさ、ケーセラ、セラ♭

2018/09/06(木) 09:37:35.55

>>266
なんとか３週目まで終わったわ！

英語だとなんとなく理解がぼやけて苦労してる

2018/09/06(木) 11:38:29.38

courseraは動画は日本語字幕付いてるが問題やテキストは当然英語なので英語のリーディング能力によって速度が全然違ってくる

2018/09/06(木) 11:53:54.00

octaveがムツカシイぞ

2018/09/06(木) 12:48:10.39

ここの奴ってministの延長しかできないんでしょ
物体検出できる奴いないの？

2018/09/06(木) 12:48:43.28

スペルミスったわｗｗｗｗｗｗｗｗｗｗｗｗｗ

2018/09/06(木) 12:55:47.21

数カ月待てばワイがなるやで

2018/09/06(木) 12:56:40.60

>>275
一ヶ月俺がやってmnist理解したから数ヶ月じゃ無理じゃね？

2018/09/06(木) 12:57:02.77

やっぱいけるかもな
効率よくやれば

2018/09/06(木) 13:23:00.99

高精度のモデル作るだけでお金もらえる仕事ないかな～

2018/09/06(木) 13:47:17.51

>>278
kaggle

2018/09/06(木) 16:12:49.44

kaggleの一番の問題点は、計算資源は自前調達なこと

2018/09/06(木) 16:49:43.44

普通のPCでカグりたい。svmもこれから勉強（汗

2018/09/06(木) 17:46:24.65

個人で10万円台のPCでkaggleコンペの賞金圏内って狙えるものなの？

2018/09/06(木) 18:22:05.64

仮想通貨の採掘みたいになってくるんか。

2018/09/06(木) 18:33:14.28

初めまして失礼します
最近tensorflowにて機械学習を始めました。参考にしている下記サイトのソースコードを読んでいるのですが
http://docs.fabo.io/tensorflow/model_sequence/rnn_basic.html

このサンプルコード中のどの変数に最終的なテストデータの実行結果が格納されているのでしょうか？
親切に [0,1,2,0,・・・,0,1]のように格納されているのか、はたまた評価関数がsoftmaxなのでargmaxを使って取得するのか・・・分かる方ご教授いただけるとありがたいです。

2018/09/06(木) 19:06:23.57

>>284
loss_test_ と acc_test_

2018/09/06(木) 19:34:02.13

>>281
コホーネンこそ至高(嘘)

2018/09/06(木) 19:52:27.22

>>284 追記です
ソースコード中のtf.argmax(pred,1)に実行結果が格納されているのは分かったのですが、
これをどう取得すればいいのかがわかりません
print(pred)やprint(tf.argmax(pred,1))等をsess.close()(ソースコード内の最後の行)の前後に入れてみたりしましたが
Tensor("ArgMax_2:0", shape=(?,), dtype=int64)このような出力がされるだけでした

2018/09/06(木) 19:53:40.60

>>285
書き込んでいるうちに返答が・・・argmaxの方じゃないのか・・・試してみます

2018/09/06(木) 19:59:15.30

acc_test_は精度の％表示の方がでてきました。
取得したいのはモデル学習後にテストデータを通した際の出力結果で
文章が足りなかったみたいです、すみません
お分かりになればご教授ください

2018/09/06(木) 20:04:09.83

>>289
多分 tf の理解不足、テストデータを与えた出力は >>285 さんので合ってる

2018/09/06(木) 21:06:50.37

>>290
外出中につきID変わりまして失礼します
acc_test_をそのままprintするのではなく何かを追記すると出力層の結果もでるのでしょうか？

2018/09/06(木) 21:30:30.68

eval()使わないとテンソルの内部は見られないねえ
print(pred.eval())
みたいに書くといいよ

2018/09/06(木) 21:30:42.99

>>280
Google Colaboratoryだかって使えないの？

2018/09/06(木) 21:56:39.64

>>292
ありがとうございます
帰宅したら試してみます

2018/09/06(木) 23:13:24.87

教師なし学習の部分勉強し始めたけどこれまた難しい
主成分分析とかめっちゃややこしい…
詰まりすぎて参考書進まない

2018/09/07(金) 02:43:59.86

mfccを特徴量にして深層学習をしようと思ったけどあまり学習しない・・・
たぶんmfccをそのまま使うと値の差が大きすぎるからだろうけどこういう場合の正規化って何が一般的なんだろう？

2018/09/07(金) 03:39:19.22

音声処理は専門外だけど、
信号処理の一般論として多重に関数通すほど精度低下するからよくないぞ

2018/09/07(金) 22:28:06.25

Courseraのカーネル法の説明、あれで分かる奴おるんか？

2018/09/07(金) 23:54:38.38

コーセラ化粧品歌謡ベストテン

2018/09/08(土) 12:29:52.26

カーネル法はカーネル法の項目で分けるべきだと思うんだけどな
応用先はサポートベクトルマシンだけでない。
主成分分析、巡回セールスマン問題など多種多様

2018/09/08(土) 13:55:28.59

カーネル三打数

2018/09/08(土) 15:15:07.20

何週間かしたら追いつくからちょっと待っててね♡

2018/09/08(土) 22:11:42.69

そんなあなたにRANSAC

2018/09/09(日) 08:25:27.74

最初Octave覚えるのうぜえ、とか思ってたけど、
Octaveに慣れると、numpyの行列表現が面倒くさくてたまらなくなるね

2018/09/09(日) 09:02:42.81

ex2のcost関数はiでforループ回してsumしてくしかないのかなあ。octaveなら全データまとめてベクトル演算出来ないかと期待してたんだけど

2018/09/09(日) 10:04:24.64

numrubyとかまだですか？

2018/09/09(日) 11:24:58.51

>>305
forループなしで行けるよ

2018/09/09(日) 11:37:36.75

AIってなんで言語の意味が理解出来ないの？

2018/09/09(日) 11:40:09.66

言語に意味が無いからかも知れないね

2018/09/09(日) 11:40:19.63

>>308
プログラミング言語理解してるじゃん

2018/09/09(日) 13:02:46.43

>>307
どうしてもJの値が期待値の3倍になっちゃうので完全ベクトル化は諦めたよ

2018/09/09(日) 15:07:04.37

courseraの2週目まで来てやっとプログラミング課題始めたけどこれ英語ダメダメな人には結構無駄に時間かかりそうだな
自分はある程度読めるからいいけど英語アレルギーの人には15ページの英文テキストとかハードル高すぎだろう

2018/09/09(日) 15:30:17.72

突然の英語自慢

2018/09/09(日) 17:05:22.17

あの程度の英文が読めるというだけのことが自慢と感じてしまう人って・・・

2018/09/09(日) 17:10:44.73

チラシは日記の裏に

2018/09/09(日) 17:11:54.64

いや、大学で論文書いてるし講座受けたことないから知らん

2018/09/09(日) 17:20:40.89

会話が成立していない・・・

2018/09/09(日) 17:44:28.00

まず自身が学習する知能すらないﾔﾂﾗが
機械学習とかいってるのがな

2018/09/09(日) 17:53:25.90

機械を使って能力を補完するのは
誰にでもありそうな要求じゃないのか

2018/09/09(日) 17:55:20.90

機械学習という強化学習は体罰と同じだからな
つまり体罰は科学的に正しい

2018/09/09(日) 17:58:41.37

ﾏｳｽはｻｯｶﾘﾝが大好き

ｴｻ箱にｻｯｶﾘﾝおくと
ﾏｳｽはひたすらｻｯｶﾘﾝをなめる

そんなﾏｳｽに
ｻｯｶﾘﾝなめると高圧電流を与える
それを繰り返す

するとな
ﾏｳｽはｻｯｶﾘﾝなめなくなる

しばっきんぐを伴う学習は
ものすごく適切な科学的教育ﾒｿｯﾄﾞといえる

2018/09/09(日) 18:04:27.61

それは単純作業をひたすら行うだけのための教育には最適だろうが自分で考える高度な仕事をできるようになるための教育としては全く機能しない
餌食べると電流来るから餌食べない、ではなく電流を止めるかそんな実験してる者を殴りに行くことが本当は求められる

2018/09/09(日) 18:05:59.59

>>320
本当に教育目的ならね
でも実際は自分の言うことを聞かないなどの感情任せで叩いたり
現実の教師には幼稚な人間が多いから体罰を許可するのは難しい
AIによる教育が普及したら体罰の導入もあるかもねw

2018/09/09(日) 18:19:48.08

人間も刺激を受けて
微弱な電流の電気信号を脳に伝えて（ｺﾚが入力）
NNにちかいものを脳みそで構成しながら（ｺﾚが処理）
反応してるだけなのは（ｺﾚが出力）
ほぼ間違いないからな

ｷﾐﾗはその中でもかなりできそこないの肉塊なﾜｹ
ｷﾐﾗはまずその自覚がないといけない

2018/09/10(月) 09:12:54.23

何かに例える奴って本質の部分をずらして解釈させようとするから好きじゃない。

2018/09/10(月) 09:33:18.80

DLは沈みかけた船である

2018/09/10(月) 09:40:32.89

>>326
今勉強中なのに～

2018/09/10(月) 10:12:27.17

>>325
同意ですね。
特にこの分野はそうゆう説明をする人が多すぎる気がします。

2018/09/10(月) 11:29:39.10

ていうかわかってないんだよ
ワイアードの機械学習関係の記事もめちゃくちゃだし。記者も理解してない。

2018/09/10(月) 11:45:38.06

ただの多項式近似じゃだめなんですか

**デフォルトの名無しさん** (JP 0Haf-A9RE) · 2018/09/10(月) 12:57:17.68

いい場合もある

2018/09/10(月) 14:59:32.62

>>324
化学物質とか細胞とかも関係している
どの程度の影響かは知らないけど

2018/09/10(月) 16:07:18.13

海外IT大手勤めかPFNか東大松尾研関連の人のTwitterやスライドは参考になる
あとarxivで論文読んでレビューしてる人達(一次)も参考になる
それに海外にさきがけて論文内容を実装してる人とそのgithub
QiitaでCNN,RNN,LSTM,GANなどのモデルの基礎を詳細に解説してる記事は初心者～中級者には参考になる

でも日本の情報は大体ここまでだね
日本で画期的なモデル作り出してsota達成してる人なんていないし
業務応用の事例は基本的に社外秘だから表に出てこない

2018/09/10(月) 19:24:21.95

>>333
そもそも日本人が書いたもんとか読むだけ時間の無駄。元ネタ読むほうがわかりやすい

2018/09/10(月) 19:28:41.58

海外論文のほとんどは、既存の方法のマイナーチェンジですね。

論文の数で劣っても焦るべきはそこではない

2018/09/10(月) 19:42:40.10

マイナーチェンジでない新手法の開発数で比較した上でそれを言うならいいけどどうせそんなの調べてないんだろ

2018/09/10(月) 19:52:04.55

日本なんか遅れまくってるんだから
先進国のペーパー読んだほうがそりゃマシだろw

2018/09/10(月) 20:20:02.48

まつおけんてそんなにいい？
御用達なだけじゃん

2018/09/10(月) 20:46:12.02

低学歴知恵遅れは
NNﾓﾃﾞﾙは半世紀以上前からあるﾓﾃﾞﾙの焼き直しなのすらわかってないからな

低学歴知恵遅れに限って基礎も分からずにﾑﾀﾞにいきってるﾜｹ

2018/09/10(月) 20:48:45.69

NNﾓﾃﾞﾙなんかｳﾝｺみたいなｴｷｽﾊﾟｰﾄｼｽﾃﾑがはやってた頃からすでに存在する
ｺﾚもきっとな同じ道を歩むことになる
予言するわ

2018/09/10(月) 20:57:12.65

予言（笑）

2018/09/10(月) 21:02:22.48

ｴｷｽﾊﾟｰﾄｼｽﾃﾑみたいな山盛りのｳﾝｺができると
予言してるﾜｹ

2018/09/10(月) 21:08:06.77

20年前エキスパートシステムやってた大学の先生がAIメチャメチャdisってたな。講義で学生相手に悲観的なことばっか言ってな。今どうしてんだろ。ヒャッハー?

2018/09/10(月) 21:18:31.46

物体認識も人工知能（NNでない奴）だったね