【統計分析】機械学習・データマイニング20
■ このスレッドは過去ログ倉庫に格納されています
機械学習とデータマイニングについて何でもいいので語れ若人
※ワッチョイだよん
次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured >>231
>特徴量200って少ないのか…
いや、変数200に対してデータ数10000は、
データのほうが少ないのではないか、と
>>ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも
>これってどういう意味かな…
ヒステリシスを持つ可能性があるため、パラメータは上げる方向と下げる方向、両方測定する
っていう実験物理の基本は知ってるよな？
パラメータ上がる方向と下がる方向は別の変数にしないと区別できないんじゃないか、と ID:Aa6QMEJ0p
特定した。
お前には期待してたのだが、5chでアドバイスを貰おうとは見損なったぞ。
今後の査定を真摯に受け止めるが良い。 >234
マジモンのチームメイトなら少しはサポートしてやれよ。
仮に上司だとして結果が出せない部下を放置って、今の時代ならパワハラ案件だろ。
まぁブラフだろうが。 >>232
ぐ…よく分からん…ごめん
調べてみる…何かつかめるように頑張るよ
>>235
出来が悪い俺がダメだと思うよ
質問するにも何が分からないかすら分からない自分があまりにも無力…！
明日は何か少しでも前進出来るように頑張るよ これで5%返せるとか脳死こいてるバカがまだまだ多いんだな 効いてる特徴量見たいだけだったら、ランダムフォレスト かxgboostでモデル作ってFeature Importance見ればいいんでない？
なぜ効いてるかについては別途考察が必要になるけど 一万レコードは流石に少なすぎる…
うちだと特徴量30前後レコード数50万ちょっとでランダムフォレストしてやっと実用に足るレベル 特徴量200だと相関関係にある特徴量同士や結果にまったく影響しない特徴量が多そうだな
そういうのを絞らないとメモリを食うだけで確実な結果が出ないと思う >>225
装置の故障に関係のある特徴量を調べたいだけなら
ランダムフォレストではなく、もっと別の識別器を使った方がいいんじゃないか ランダムフォレストは不純度の減少に関係ある特徴量を重要度でピックアップしてくれるだけだから
故障の原因を調べるなら、むしろ関係のない特徴量を削ったり、選択したりする方に
機械学習を使うべきだと思うんだ
ロジスティック回帰とか、KNNにSBSを適用するとか
いきなりランダムフォレストでがばっとやってるなら雑過ぎると思う
あと装置について何も知らないなら
分析結果を提出して仕事完了以外に何も出来ない気がするんだけど >>225 です
レスくれた人ほんとにありがとう
一応自分では>>240で出した結果から重要度が高いものに対して>>238を出すところまではやってみた
ただ特徴量の選択だったり、自分で特徴量を増やしたりする必要がある可能性があったけどその辺が不十分だから正常時と不良時の変化は捉えきれなかった
急ぎの案件ではないから装置に詳しい人にもっと詳細に聞いてから見直してみる >>242
自分なりに考えて削ったところ残ったのは半分くらいだった…選定が不十分だとは思うけど…
>>241
そんな多いんだ…
まだ素人だからその規模扱った事ないけど、データ数が少ないと使い物にならないのかな
>>244
特徴量の選択に機械学習を使うのか…
やったことないし考えたこともなかった
ロジスティック回帰は確率的に予測するモデルだっけ
KNNにSBSとか全然知らないからもっと勉強しないと…
今更だけどレス遅くなってすいません
やっぱ知識的な勉強もしなきゃだし、もっとkaggleみたいなので色々経験踏んだ方が良いのかな… 特徴200の例1万で正解ラベル付き、それでなんらかの故障の原因を
少数の特徴から説明をする必要性があるなら
PCAかけてからSVMでいいんじゃね？
ラベルないなら、明らかに異常時の正解ラベルを少数でも集めてから
アノマリーディテクション
それ以外になにかやりようがあるような案件に思えない ランダムフォレストって入門書で機械学習の勉強をしたら一番最後に習うジャンルじゃないか
理論的にはかなり難しい分類に入るはずなんだけど、最初にやったんかい
入門的な範囲に関していえば、NNなんかよりよほど複雑だよな 自分も>>230の通り装置自体の理解が先だと思う
つーかkaggleしかやったことのない新卒を現場に出すと
大抵 >>225 みたいになるので笑える
225は素直だしやる気もありそうだから大成すんじゃない？ 新人なんだったら上司としては笑ってる前にとっとと装置持ってくるか設置場所に連れて行って触らせろよ 割り振られた仕事が酷いだけな気がするんだけど
不良品検知なら機械学習は有用だけど、トラブルの原因の特定とか厳し過ぎるだろ
俺が同じ仕事を課されても出来ない自信がある
まだ今後の仕事に繋がるスキルなら学ぶ気にもなるけど
一回限りの仕事でこれだったら職場を変えたくなるなｗ >>254
確かにｗ
トラブルの原因とか、装置メーカーの仕事だろｗ >>254
トラブルの原因特定が目的として
機械学習を手段として用いるのは何故？
そう言う指示なのかな 機械学習でなんかやってくれ
Iotでなんかやってくれ
AIでなんかやってくれ 機械学習エンジニアとして数学を理解しておきたい！ベクトルや行列を扱う線形代数学を学び直すために
https://codezine.jp/article/detail/11023 機械学習の勉強やめるわ
物体検出が目標だったけど難しそうだからやめる courseraやってたらいきなり「カクテルパーティーは行ったことありますよね？」とかいわれた ケーセラ、ケーセラ、なるようになるさ、ケーセラ、セラ♭ >>266
なんとか３週目まで終わったわ！
英語だとなんとなく理解がぼやけて苦労してる courseraは動画は日本語字幕付いてるが問題やテキストは当然英語なので英語のリーディング能力によって速度が全然違ってくる ここの奴ってministの延長しかできないんでしょ
物体検出できる奴いないの？ >>275
一ヶ月俺がやってmnist理解したから数ヶ月じゃ無理じゃね？ 高精度のモデル作るだけでお金もらえる仕事ないかな〜 kaggleの一番の問題点は、計算資源は自前調達なこと 個人で10万円台のPCでkaggleコンペの賞金圏内って狙えるものなの？ 初めまして失礼します
最近tensorflowにて機械学習を始めました。参考にしている下記サイトのソースコードを読んでいるのですが
http://docs.fabo.io/tensorflow/model_sequence/rnn_basic.html
このサンプルコード中のどの変数に最終的なテストデータの実行結果が格納されているのでしょうか？
親切に [0,1,2,0,・・・,0,1]のように格納されているのか、はたまた評価関数がsoftmaxなのでargmaxを使って取得するのか・・・分かる方ご教授いただけるとありがたいです。 >>284
loss_test_ と acc_test_ >>284 追記です
ソースコード中のtf.argmax(pred,1)に実行結果が格納されているのは分かったのですが、
これをどう取得すればいいのかがわかりません
print(pred)やprint(tf.argmax(pred,1))等をsess.close()(ソースコード内の最後の行)の前後に入れてみたりしましたが
Tensor("ArgMax_2:0", shape=(?,), dtype=int64)このような出力がされるだけでした >>285
書き込んでいるうちに返答が・・・argmaxの方じゃないのか・・・試してみます acc_test_は精度の％表示の方がでてきました。
取得したいのはモデル学習後にテストデータを通した際の出力結果で
文章が足りなかったみたいです、すみません
お分かりになればご教授ください >>289
多分 tf の理解不足、テストデータを与えた出力は >>285 さんので合ってる >>290
外出中につきID変わりまして失礼します
acc_test_をそのままprintするのではなく何かを追記すると出力層の結果もでるのでしょうか？ eval()使わないとテンソルの内部は見られないねえ
print(pred.eval())
みたいに書くといいよ >>280
Google Colaboratoryだかって使えないの？ >>292
ありがとうございます
帰宅したら試してみます 教師なし学習の部分勉強し始めたけどこれまた難しい
主成分分析とかめっちゃややこしい…
詰まりすぎて参考書進まない mfccを特徴量にして深層学習をしようと思ったけどあまり学習しない・・・
たぶんmfccをそのまま使うと値の差が大きすぎるからだろうけどこういう場合の正規化って何が一般的なんだろう？ 音声処理は専門外だけど、
信号処理の一般論として多重に関数通すほど精度低下するからよくないぞ Courseraのカーネル法の説明、あれで分かる奴おるんか？ カーネル法はカーネル法の項目で分けるべきだと思うんだけどな
応用先はサポートベクトルマシンだけでない。
主成分分析、巡回セールスマン問題など多種多様 最初Octave覚えるのうぜえ、とか思ってたけど、
Octaveに慣れると、numpyの行列表現が面倒くさくてたまらなくなるね ex2のcost関数はiでforループ回してsumしてくしかないのかなあ。octaveなら全データまとめてベクトル演算出来ないかと期待してたんだけど >>307
どうしてもJの値が期待値の3倍になっちゃうので完全ベクトル化は諦めたよ courseraの2週目まで来てやっとプログラミング課題始めたけどこれ英語ダメダメな人には結構無駄に時間かかりそうだな
自分はある程度読めるからいいけど英語アレルギーの人には15ページの英文テキストとかハードル高すぎだろう あの程度の英文が読めるというだけのことが自慢と感じてしまう人って・・・ いや、大学で論文書いてるし講座受けたことないから知らん まず自身が学習する知能すらないﾔﾂﾗが
機械学習とかいってるのがな 機械を使って能力を補完するのは
誰にでもありそうな要求じゃないのか 機械学習という強化学習は体罰と同じだからな
つまり体罰は科学的に正しい ﾏｳｽはｻｯｶﾘﾝが大好き
ｴｻ箱にｻｯｶﾘﾝおくと
ﾏｳｽはひたすらｻｯｶﾘﾝをなめる
そんなﾏｳｽに
ｻｯｶﾘﾝなめると高圧電流を与える
それを繰り返す
するとな
ﾏｳｽはｻｯｶﾘﾝなめなくなる
しばっきんぐを伴う学習は
ものすごく適切な科学的教育ﾒｿｯﾄﾞといえる それは単純作業をひたすら行うだけのための教育には最適だろうが自分で考える高度な仕事をできるようになるための教育としては全く機能しない
餌食べると電流来るから餌食べない、ではなく電流を止めるかそんな実験してる者を殴りに行くことが本当は求められる >>320
本当に教育目的ならね
でも実際は自分の言うことを聞かないなどの感情任せで叩いたり
現実の教師には幼稚な人間が多いから体罰を許可するのは難しい
AIによる教育が普及したら体罰の導入もあるかもねw 人間も刺激を受けて
微弱な電流の電気信号を脳に伝えて（ｺﾚが入力）
NNにちかいものを脳みそで構成しながら（ｺﾚが処理）
反応してるだけなのは（ｺﾚが出力）
ほぼ間違いないからな
ｷﾐﾗはその中でもかなりできそこないの肉塊なﾜｹ
ｷﾐﾗはまずその自覚がないといけない 何かに例える奴って本質の部分をずらして解釈させようとするから好きじゃない。 >>325
同意ですね。
特にこの分野はそうゆう説明をする人が多すぎる気がします。 ていうかわかってないんだよ
ワイアードの機械学習関係の記事もめちゃくちゃだし。記者も理解してない。 ■ このスレッドは過去ログ倉庫に格納されています
