【統計分析】機械学習・データマイニング22

2019/01/13(日) 09:13:37.19

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2019/01/25(金) 21:49:25.32

なんかネコに小判のような気がするが・・・・・
そこの大学ってランクどのくらい？

2019/01/25(金) 23:22:35.40

金沢工業大のpdfには学部時代よく助けられてた。

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/25(金) 23:35:34.87

>>278
どんまい

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/25(金) 23:37:45.81

>>282
脳モデルが～

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/25(金) 23:37:59.62

って説明すんだろね

2019/01/26(土) 00:37:27.23

しかしすごいブームだね。Excel
以外のPC用途が増えて嬉しいわ

2019/01/26(土) 01:26:17.53

バカがAIという言葉だけで騙されるし、最低限のリテラシーを身につけるという意味では良いのではないの

2019/01/26(土) 02:45:46.63

一部の技術領域ではすでに基盤技術化してるんだから間違いじゃあない
人口ボリュームゾーンのおっさんたちは新技術学ぶ気力ないんだし若者の出番よ

2019/01/26(土) 03:05:52.31

金沢工大は昔から他行に先駆けていろいろやる学校みたい
もう何十年も前から、そういった面で有名だそうだ。
特に、ITに絡む分野ではそうなんだって。

2019/01/26(土) 05:05:21.58

いちいち報道しないだけでＡＩを概論的に講義してるのは他の大学でもやってると思う

2019/01/26(土) 07:21:01.22

>>291
金沢工大は銀行か？

2019/01/26(土) 09:36:57.40

>>293
なんで？

2019/01/26(土) 09:49:30.83

>>294
「行」は銀行だね

2019/01/26(土) 09:50:47.13

情報系　偏差値 37.5～42.5 優秀な大学だな

2019/01/26(土) 10:14:43.22

>>295
そこかｗ

2019/01/26(土) 10:42:40.19

学科も増えてるけど、足りてないのは統計や分析が出来る奴じゃないんだな

2019/01/26(土) 10:53:10.40

統計処理使う学問は機械学習概論の必修化はいいんじゃないかな

2019/01/26(土) 13:21:07.37

統計学を学ぶのに機械学習を学ぶ必要などない

2019/01/26(土) 13:33:00.37

もちろん機械学習で全てを解決するわけじゃないだろうけど、
そろそろ必須の知識にはなってきていると思う

2019/01/26(土) 13:51:29.36

ツールの知識だからもう必須でしょう

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/26(土) 14:20:17.54

AIを実際に導入されたシステムはくそ高く設定されていること、実際にはそんなに流行ってないこと、万能でないことを世に知ってほしい。
特に役に立たない大学にいったせいで人生棒に降りたくないだろ？

2019/01/26(土) 14:58:53.56

>>278
不正して加工されたデータだと意味無いよね

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/26(土) 16:11:13.90

AIなんて人生のメインにおくべきものじゃないよ。
あくまでも道具だよ道具。
AIに比重おくなら>>120はよく頭に入れておくべきだよ

2019/01/26(土) 16:39:19.02

ID変えて自演とか

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/26(土) 16:43:11.88

自演疑われた。わらわら
こて付け忘れたけど
>>ﾜｯﾁｮｲ 6eda-MylL＝ｽｯｯﾌﾟ Sd62-MylL＝ﾜｯﾁｮｲ 6bda-HVwkだよ

2019/01/26(土) 17:09:18.43

>>120は知らなくてもいいな
一部の変人が人生を犠牲にして論じればいい
素数を知らなくても重要な定理を導くことができる
帰納と演繹の概念を知らなくても機械学習はできる
何が重要と思うかは人それぞれだが、AIやるなら帰納と演繹を覚えておけなどという奴は信用ならない

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/26(土) 17:21:20.77

>>308はあくまで経験則に基づく持論に過ぎない
客観的な反論を求めます

2019/01/26(土) 17:23:31.21

なんだ自演か

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/26(土) 17:24:14.55

自演おーつ
で終わらせるパターンですね

2019/01/26(土) 20:01:40.19

終わるならとてもありがたい

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/26(土) 20:04:52.62

>>191

2019/01/26(土) 20:10:54.53

>>296
偏差値37.5ってどうやったら取れるのか想像もつかない・・・・

2019/01/26(土) 20:27:50.24

BS朝日の癌治療最前線すごいわりとまじですごい

2019/01/26(土) 21:05:33.25

>>314
うちの娘もっと悪いわ
テレビドラマとか嵐とか楽しそうに見てるけど何にも考えていない
勉強できないし頭悪い
かわいそうだけど

◆QZaw55cn4c (ﾜｯﾁｮｲ 2247-78uA) · 2019/01/26(土) 21:08:23.10

>>315
PDT(光線力学的治療法）が画期的で、進行癌にも有用ということですね、癌撲滅も可能かもしれませんね

2019/01/26(土) 21:29:05.75

低い偏差値取るのって結構難しくないか？

2019/01/26(土) 21:31:23.39

白紙で提出すれば楽勝よ

2019/01/26(土) 21:39:21.68

>>314
他人と同じじゃいけない！
他人ができないことをやる！

たしかにそうなんだけど・・・

2019/01/26(土) 21:43:16.16

>>316
場合によると、娘が考えていることが
理解できないだけかも。

お父さんの、その世界のラーニング不足かもしれんよ

2019/01/27(日) 06:14:36.13

テレビを見ると馬鹿になる相関のR2いくつ？

2019/01/27(日) 09:27:16.37

>>316
馬鹿でも楽しそうにしてるなら、別に問題無し
帰納と演繹の概念を知らなくても人生には何ら影響を与えない。

2019/01/27(日) 10:29:53.68

rubyで機械学習って、現実的には難しい？

2019/01/27(日) 10:48:23.52

馬鹿は死すべし　アルキメデス

2019/01/27(日) 11:19:07.79

>>324
pandas,numpy相当のものがないとデータ扱いにくいのと、C++実装の機械学習のライブラリ呼べるかでしょね

2019/01/27(日) 11:20:40.92

>>326
ありがとうございます
無理そうですね、pythonにします

2019/01/27(日) 13:23:42.64

pandas、先月使ってみてすごい便利って分かったけど、昨日使おうとしたらもう書きかた忘れてる

2019/01/27(日) 20:05:24.84

ディープラーニングは、なぜ、こんな簡単な画像認識もできないのか？
https://robomind.co.jp/deeplearninghanazegazouninsikidekinai/#comment-401

どう思いますか？

2019/01/27(日) 20:22:18.75

宣伝か

2019/01/27(日) 22:36:24.72

>>324
たぶん、Ruby のC-binding を書く人が少ないのだろう

基本的に、XML とか、すべての言語で同じ、C のライブラリを使っているけど、
C-binding を書く人数による

NArray はあるから、数値計算の速度は、Octave にも匹敵するけど、
機械学習の周辺ライブラリ一式すべての、C-binding があるかどうか

例えば「お姉さん問題」で有名な、
北大の湊教授が作った、ZDD には、Ruby-binding もある

**331** (ﾜｯﾁｮｲ 2e2c-/4Fh) · 2019/01/27(日) 22:41:16.95

世界的なRuby 企業である、Cook Pad とか、

逆引きレシピ本の著者、マネーフォワードなどが、リソースを割いて、作るしかない！

2019/01/28(月) 01:34:50.44

http://masagutti.hatenablog.com/entry/bitcoin_raspberrypi

2019/01/28(月) 02:23:41.29

>>329
学習の工程が人間とディープラーニングとでやはり違うのだろう
人間は入力に対して並列に異なる学習機が走っていてそれらを結合するのが上手い
人間のラーニングはディープではなくマルチと言うべきかもね

2019/01/28(月) 06:15:50.38

>>327 >>326 >> 324
Juliaにしなさい。pythonは遅い。

2019/01/28(月) 07:39:35.68

自分はglue言語としてしか使わないからpython で間に合っちゃう(汗)

2019/01/28(月) 09:09:24.08

ジュリアそんなにいい？

2019/01/28(月) 10:00:21.87

キラーアプリまだなさそう

**デフォルトの名無しさん** (ｽﾌｯ Sd62-nRFi) · 2019/01/28(月) 10:08:02.06

人間の脳って
中間層は何層くらいありますか？

2019/01/28(月) 10:42:31.06

一層

2019/01/28(月) 10:49:10.93

複雑に繋がりあって層状にはなってないんじゃ無いかな

2019/01/28(月) 12:46:17.29

>>329
最近テレビでAI取り上げてたけど
津波で逃げる人を映した一枚の写真から
「ビーチで遊ぶ大人数名」
という判定結果が出たとか問題提起してた
番組は何だったか忘れた

2019/01/28(月) 12:48:14.83

>>331
底辺ライブラリーに見えた

2019/01/28(月) 12:49:15.64

>>337
そうでもない
色々がっかり

2019/01/28(月) 13:52:21.47

ルパン三世にも出てきた、ＡＩとシンギュラリティ

2019/01/28(月) 15:34:25.74

>>342
津波から人が逃げる場面なんて学習してないだろうから、学習した中で一番近いものが出力されたけなのに何が問題なんだろうな
人間だって津波を知らなければそう判定するかもしれない

2019/01/28(月) 15:48:01.83

>>342
全然問題ないじゃん。
単に答え方問題であって。
「青地に描いた絵」とか「テーブルと人形」とか認識されたら全然使えないけど
「波」「砂浜」「人」が認識できてたんだろ？
すごいじゃん。

2019/01/28(月) 19:23:49.64

>>347
使い方の問題じゃないかな

例えばテレビで津波被害の画像に自動でキャプション入れたいとした場合に海岸で遊ぶみたいなキャプションは入って欲しくない
いわゆる不謹慎のようなTPOが判断できないってことを言いたいんじゃないかなぁ

写真だけなら顔判定して感情分析してってやり方はあるんだろうけどもね

2019/01/28(月) 19:29:01.40

>>337
ライブラリが全然足らないから一から書ける人向けかなぁ

なぜかJuliaからPythonのライブラリを呼び出す事は出来るので困らないっちゃあ困らないが時期尚早だね
列指向なのとインデックスが1スタートなのでpythonコードを移植しようとすると色々ハマる

2019/01/28(月) 20:16:01.42

まあpythonでいいよ
CとかJavaとかC#やってた身からすると
PerlとかPHPより読みやすいし書きやすい
PHPなんかどんどんpythonにリプレースされると思う

2019/01/28(月) 23:00:04.87

コネクショニズムと記号主義。
どっちが正しいの？

2019/01/29(火) 01:36:26.77

Pytorchを使っているのですが、学習したモデルの可視化みたいなことって簡単には出来ないんですかね？
ここにこういう特徴があるならAと推定みたいなのをヒートマップの様に表示したいです

2019/01/29(火) 01:58:12.10

https://github.com/utkuozbulak/pytorch-cnn-visualizations
こんなのがあったので使ってみようと思って

pretrained_model = models.vgg16(pretrained=True).features
のモデルの代わりに自分で学習させたモデルを使おうとして

pretrained_model = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(pretrained_model.parameters(), lr=0.01, momentum=0.3)
pretrained_model.load_state_dict(torch.load(PATH))
でモデルを読み込もうとしたのですが、
TypeError: 'Net' object does not support indexing.
というエラーが出ます
どなたか分かりませんかね？

2019/01/29(火) 06:58:03.49

「python typeerror 'net' object does not support indexing」で検索！

2019/01/29(火) 08:13:22.16

>>352
現在のAIの世界は大雑把に、作る人とヘビーユーザー、一般ユーザーの
垣根でいえば、作る人と一般ユーザはわかれているが、作る人とヘビーユーザーの
垣根ができていない。要はヘビーユーザー向けのちゃんとしたツールが存在して
いない。
だから言語の話に終始してしまう。

遠からず、この辺りは分かれてくることになると思う。
その時、作る人（これもレベル複数あるが）はPythonなどいろいろ使われるだろう。
ヘビーユーザーは、もっと目的志向のツールを使うことになるだろう。それがPythonで出来ているかもしれないが、実際は裏は関係ない。

今は利用環境という面では、発展途上というより、まだ始まったばかりで、
その面でまともなツールは、非常に少ない（あるいは無い）と言ってもいい状況が
今日現在。

2019/01/29(火) 13:28:27.93

AVから全裸画像抜き出そうと思ったら気が狂いそうなぐらいめんどくさい
棒立ちかそれに類する画像が大量にあるサイトってないかな・・・
もう後ろ向き画像やおっさんのケツ画像をひたすら削除する作業に疲れた・・・しにたい・・・

2019/01/29(火) 13:29:17.61

GUIで学習させるツールがちらほらあるけど、まだ実用には程遠いよね

2019/01/29(火) 13:35:59.92

昔からぼちぼち出てるけどまったく流行らん

2019/01/29(火) 13:44:00.12

次のAIブームに期待しましょう

2019/01/29(火) 14:19:41.32

理論知ってるよりデータの集め方の上手い人のが活用してる印象。
クローラで上手いこと画像集めてくるのに慣れてる人だったり。

2019/01/29(火) 14:21:18.93

皆dmm好きだな

2019/01/29(火) 14:24:12.40

>>360
無料のデータセットとか色々あるしね
エロは以外とむずかすぃ・・・

2019/01/29(火) 15:07:54.30

>>361
名前が変わったよ

2019/01/29(火) 20:20:53.46

>>359
＞　次のAIブームに期待しましょう

次のAIブームは100年後ですよ？
つまり脳の構造が全てわかったときです。

2019/01/29(火) 20:30:50.97

初心者で素朴な疑問なのですがsvmでrbfカーネルより線形カーネルの方が性能いいっていうパターンはありますか？

2019/01/29(火) 20:45:51.93

>>365
性能がいい=事象を正しく説明する
という意味なら線形な事象は線形カーネルのがいい

性能がいい=誤差が小さい
という意味なら残念ながらない

2019/01/29(火) 21:10:12.31

別の言い方で書くかな

性能がいい=予測誤差が小さい
なら、線形な現象は線形カーネルのがいい場合もある

性能がいい=フィッティング誤差が小さい
なら、残念ながらない

RBFカーネルは柔らかいのでカーブフィッティングしやすい

2019/01/29(火) 21:33:30.39

>>356
BBSpinkの「正面全裸写真」スレ

2019/01/29(火) 22:26:02.72

>>368
神！グロ画像いっぱいと思ったら>>48が至高だったわありがとう！

2019/01/29(火) 22:35:22.97

戦後最長の経済回復ωωω

2019/01/29(火) 23:13:49.13

>>365
線形カーネルだと線形判別しか出来ないのでは

2019/01/30(水) 00:16:44.87

タスクマネージャーのcompure_1ってなんでしょうか？
https://i.imgur.com/QNnDZS4.png

2019/01/30(水) 17:57:23.54

>>367
例えば回帰問題であれば訓練データに一致させるようなフィッティングはrbfカーネルが絶対に勝つ。けど
分類問題で線形な問題ならaccuracyが線形カーネルの場合の方がいいということもあるということですか？

2019/01/30(水) 20:43:28.89

>>373
回帰問題であっても分類問題であっても、訓練はRBFカーネルがaccuracyは高い
けれどもそれをテストデータに適用しても、RBFが勝つとは限らない

2019/01/31(木) 08:45:36.99

単に、背景にある関数が線形に近いなら線形カーネルの方が成績が良くなるってことだよな
無駄にカーネルの表現力が高いとノイズに影響されやすくなる

関係ないが、多項式カーネルは次元を高くするほどフィッティングの成績は良くなると思ってたんだが
高くしすぎると悪化することもあるのを見て驚いた
サポートベクトルや素性の数に比べて次元を高くしすぎると逆に制約になるってことかね

2019/01/31(木) 10:56:31.70

制約というよりオーバーフィッティングでは

2019/01/31(木) 11:01:19.54

フィッティングの成績だから学習時の話だと思うが

2019/01/31(木) 12:26:27.71

フィッティングの成績が各点の二乗誤差の和とかなら多項式だと次数上げれば上げるほど誤差は減って、
データ点数以上の次数なら全ての点を通る曲線が作れるから誤差はゼロになるんじゃないか？

2019/01/31(木) 14:12:11.17

SVMはサポートベクターとの内積(=カーネル)をとってその一次合成でスコア出してるのは知ってる？
多項式で項数が増えてもそれぞれに自由に係数を指定できるわけではないから、
サポートベクターが都合の悪い配置だと次数の多さが制約になることはあるかも

2019/01/31(木) 14:12:40.10

話変わるんだけど
例えば5次元のデータでsvm学習しました。accuracy、A%でした。
そのデータのうちの3変数使って3次元のデータを作ってsvm学習しました。accuracy、B%でした。
AよりBの方が高くなっちゃうってケースが起きてるのですが、たぶんAとBは同じくらいになるのがsvmの性質上普通になると思うのですがなぜなのですかね。

2019/01/31(木) 14:23:54.00

ソフトマージンSVMは境界面近くのうまく分類できないサンプルを無視する
その数がそのまま学習データでaccuracy測ったときの残差となる
たぶん3次元で見たときの方が境界面近くのノイズが多かったんだろう

2019/01/31(木) 14:57:55.14

>>381
すあません、もう少しわかりやすくお願いします
不勉強で申し訳ないのですが