【統計分析】機械学習・データマイニング22

2019/01/13(日) 09:13:37.19

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2019/01/26(土) 20:01:40.19

終わるならとてもありがたい

**数おたさらり** (ﾜｯﾁｮｲ 6eda-MylL) · 2019/01/26(土) 20:04:52.62

>>191

2019/01/26(土) 20:10:54.53

>>296
偏差値37.5ってどうやったら取れるのか想像もつかない・・・・

2019/01/26(土) 20:27:50.24

BS朝日の癌治療最前線すごいわりとまじですごい

2019/01/26(土) 21:05:33.25

>>314
うちの娘もっと悪いわ
テレビドラマとか嵐とか楽しそうに見てるけど何にも考えていない
勉強できないし頭悪い
かわいそうだけど

◆QZaw55cn4c (ﾜｯﾁｮｲ 2247-78uA) · 2019/01/26(土) 21:08:23.10

>>315
PDT(光線力学的治療法）が画期的で、進行癌にも有用ということですね、癌撲滅も可能かもしれませんね

2019/01/26(土) 21:29:05.75

低い偏差値取るのって結構難しくないか？

2019/01/26(土) 21:31:23.39

白紙で提出すれば楽勝よ

2019/01/26(土) 21:39:21.68

>>314
他人と同じじゃいけない！
他人ができないことをやる！

たしかにそうなんだけど・・・

2019/01/26(土) 21:43:16.16

>>316
場合によると、娘が考えていることが
理解できないだけかも。

お父さんの、その世界のラーニング不足かもしれんよ

2019/01/27(日) 06:14:36.13

テレビを見ると馬鹿になる相関のR2いくつ？

2019/01/27(日) 09:27:16.37

>>316
馬鹿でも楽しそうにしてるなら、別に問題無し
帰納と演繹の概念を知らなくても人生には何ら影響を与えない。

2019/01/27(日) 10:29:53.68

rubyで機械学習って、現実的には難しい？

2019/01/27(日) 10:48:23.52

馬鹿は死すべし　アルキメデス

2019/01/27(日) 11:19:07.79

>>324
pandas,numpy相当のものがないとデータ扱いにくいのと、C++実装の機械学習のライブラリ呼べるかでしょね

2019/01/27(日) 11:20:40.92

>>326
ありがとうございます
無理そうですね、pythonにします

2019/01/27(日) 13:23:42.64

pandas、先月使ってみてすごい便利って分かったけど、昨日使おうとしたらもう書きかた忘れてる

2019/01/27(日) 20:05:24.84

ディープラーニングは、なぜ、こんな簡単な画像認識もできないのか？
https://robomind.co.jp/deeplearninghanazegazouninsikidekinai/#comment-401

どう思いますか？

2019/01/27(日) 20:22:18.75

宣伝か

2019/01/27(日) 22:36:24.72

>>324
たぶん、Ruby のC-binding を書く人が少ないのだろう

基本的に、XML とか、すべての言語で同じ、C のライブラリを使っているけど、
C-binding を書く人数による

NArray はあるから、数値計算の速度は、Octave にも匹敵するけど、
機械学習の周辺ライブラリ一式すべての、C-binding があるかどうか

例えば「お姉さん問題」で有名な、
北大の湊教授が作った、ZDD には、Ruby-binding もある

**331** (ﾜｯﾁｮｲ 2e2c-/4Fh) · 2019/01/27(日) 22:41:16.95

世界的なRuby 企業である、Cook Pad とか、

逆引きレシピ本の著者、マネーフォワードなどが、リソースを割いて、作るしかない！

2019/01/28(月) 01:34:50.44

http://masagutti.hatenablog.com/entry/bitcoin_raspberrypi

2019/01/28(月) 02:23:41.29

>>329
学習の工程が人間とディープラーニングとでやはり違うのだろう
人間は入力に対して並列に異なる学習機が走っていてそれらを結合するのが上手い
人間のラーニングはディープではなくマルチと言うべきかもね

2019/01/28(月) 06:15:50.38

>>327 >>326 >> 324
Juliaにしなさい。pythonは遅い。

2019/01/28(月) 07:39:35.68

自分はglue言語としてしか使わないからpython で間に合っちゃう(汗)

2019/01/28(月) 09:09:24.08

ジュリアそんなにいい？

2019/01/28(月) 10:00:21.87

キラーアプリまだなさそう

**デフォルトの名無しさん** (ｽﾌｯ Sd62-nRFi) · 2019/01/28(月) 10:08:02.06

人間の脳って
中間層は何層くらいありますか？

2019/01/28(月) 10:42:31.06

一層

2019/01/28(月) 10:49:10.93

複雑に繋がりあって層状にはなってないんじゃ無いかな

2019/01/28(月) 12:46:17.29

>>329
最近テレビでAI取り上げてたけど
津波で逃げる人を映した一枚の写真から
「ビーチで遊ぶ大人数名」
という判定結果が出たとか問題提起してた
番組は何だったか忘れた

2019/01/28(月) 12:48:14.83

>>331
底辺ライブラリーに見えた

2019/01/28(月) 12:49:15.64

>>337
そうでもない
色々がっかり

2019/01/28(月) 13:52:21.47

ルパン三世にも出てきた、ＡＩとシンギュラリティ

2019/01/28(月) 15:34:25.74

>>342
津波から人が逃げる場面なんて学習してないだろうから、学習した中で一番近いものが出力されたけなのに何が問題なんだろうな
人間だって津波を知らなければそう判定するかもしれない

2019/01/28(月) 15:48:01.83

>>342
全然問題ないじゃん。
単に答え方問題であって。
「青地に描いた絵」とか「テーブルと人形」とか認識されたら全然使えないけど
「波」「砂浜」「人」が認識できてたんだろ？
すごいじゃん。

2019/01/28(月) 19:23:49.64

>>347
使い方の問題じゃないかな

例えばテレビで津波被害の画像に自動でキャプション入れたいとした場合に海岸で遊ぶみたいなキャプションは入って欲しくない
いわゆる不謹慎のようなTPOが判断できないってことを言いたいんじゃないかなぁ

写真だけなら顔判定して感情分析してってやり方はあるんだろうけどもね

2019/01/28(月) 19:29:01.40

>>337
ライブラリが全然足らないから一から書ける人向けかなぁ

なぜかJuliaからPythonのライブラリを呼び出す事は出来るので困らないっちゃあ困らないが時期尚早だね
列指向なのとインデックスが1スタートなのでpythonコードを移植しようとすると色々ハマる

2019/01/28(月) 20:16:01.42

まあpythonでいいよ
CとかJavaとかC#やってた身からすると
PerlとかPHPより読みやすいし書きやすい
PHPなんかどんどんpythonにリプレースされると思う

2019/01/28(月) 23:00:04.87

コネクショニズムと記号主義。
どっちが正しいの？

2019/01/29(火) 01:36:26.77

Pytorchを使っているのですが、学習したモデルの可視化みたいなことって簡単には出来ないんですかね？
ここにこういう特徴があるならAと推定みたいなのをヒートマップの様に表示したいです

2019/01/29(火) 01:58:12.10

https://github.com/utkuozbulak/pytorch-cnn-visualizations
こんなのがあったので使ってみようと思って

pretrained_model = models.vgg16(pretrained=True).features
のモデルの代わりに自分で学習させたモデルを使おうとして

pretrained_model = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(pretrained_model.parameters(), lr=0.01, momentum=0.3)
pretrained_model.load_state_dict(torch.load(PATH))
でモデルを読み込もうとしたのですが、
TypeError: 'Net' object does not support indexing.
というエラーが出ます
どなたか分かりませんかね？

2019/01/29(火) 06:58:03.49

「python typeerror 'net' object does not support indexing」で検索！

2019/01/29(火) 08:13:22.16

>>352
現在のAIの世界は大雑把に、作る人とヘビーユーザー、一般ユーザーの
垣根でいえば、作る人と一般ユーザはわかれているが、作る人とヘビーユーザーの
垣根ができていない。要はヘビーユーザー向けのちゃんとしたツールが存在して
いない。
だから言語の話に終始してしまう。

遠からず、この辺りは分かれてくることになると思う。
その時、作る人（これもレベル複数あるが）はPythonなどいろいろ使われるだろう。
ヘビーユーザーは、もっと目的志向のツールを使うことになるだろう。それがPythonで出来ているかもしれないが、実際は裏は関係ない。

今は利用環境という面では、発展途上というより、まだ始まったばかりで、
その面でまともなツールは、非常に少ない（あるいは無い）と言ってもいい状況が
今日現在。

2019/01/29(火) 13:28:27.93

AVから全裸画像抜き出そうと思ったら気が狂いそうなぐらいめんどくさい
棒立ちかそれに類する画像が大量にあるサイトってないかな・・・
もう後ろ向き画像やおっさんのケツ画像をひたすら削除する作業に疲れた・・・しにたい・・・

2019/01/29(火) 13:29:17.61

GUIで学習させるツールがちらほらあるけど、まだ実用には程遠いよね

2019/01/29(火) 13:35:59.92

昔からぼちぼち出てるけどまったく流行らん

2019/01/29(火) 13:44:00.12

次のAIブームに期待しましょう

2019/01/29(火) 14:19:41.32

理論知ってるよりデータの集め方の上手い人のが活用してる印象。
クローラで上手いこと画像集めてくるのに慣れてる人だったり。

2019/01/29(火) 14:21:18.93

皆dmm好きだな

2019/01/29(火) 14:24:12.40

>>360
無料のデータセットとか色々あるしね
エロは以外とむずかすぃ・・・

2019/01/29(火) 15:07:54.30

>>361
名前が変わったよ

2019/01/29(火) 20:20:53.46

>>359
＞　次のAIブームに期待しましょう

次のAIブームは100年後ですよ？
つまり脳の構造が全てわかったときです。

2019/01/29(火) 20:30:50.97

初心者で素朴な疑問なのですがsvmでrbfカーネルより線形カーネルの方が性能いいっていうパターンはありますか？

2019/01/29(火) 20:45:51.93

>>365
性能がいい=事象を正しく説明する
という意味なら線形な事象は線形カーネルのがいい

性能がいい=誤差が小さい
という意味なら残念ながらない

2019/01/29(火) 21:10:12.31

別の言い方で書くかな

性能がいい=予測誤差が小さい
なら、線形な現象は線形カーネルのがいい場合もある

性能がいい=フィッティング誤差が小さい
なら、残念ながらない

RBFカーネルは柔らかいのでカーブフィッティングしやすい

2019/01/29(火) 21:33:30.39

>>356
BBSpinkの「正面全裸写真」スレ

2019/01/29(火) 22:26:02.72

>>368
神！グロ画像いっぱいと思ったら>>48が至高だったわありがとう！

2019/01/29(火) 22:35:22.97

戦後最長の経済回復ωωω

2019/01/29(火) 23:13:49.13

>>365
線形カーネルだと線形判別しか出来ないのでは

2019/01/30(水) 00:16:44.87

タスクマネージャーのcompure_1ってなんでしょうか？
https://i.imgur.com/QNnDZS4.png

2019/01/30(水) 17:57:23.54

>>367
例えば回帰問題であれば訓練データに一致させるようなフィッティングはrbfカーネルが絶対に勝つ。けど
分類問題で線形な問題ならaccuracyが線形カーネルの場合の方がいいということもあるということですか？

2019/01/30(水) 20:43:28.89

>>373
回帰問題であっても分類問題であっても、訓練はRBFカーネルがaccuracyは高い
けれどもそれをテストデータに適用しても、RBFが勝つとは限らない

2019/01/31(木) 08:45:36.99

単に、背景にある関数が線形に近いなら線形カーネルの方が成績が良くなるってことだよな
無駄にカーネルの表現力が高いとノイズに影響されやすくなる

関係ないが、多項式カーネルは次元を高くするほどフィッティングの成績は良くなると思ってたんだが
高くしすぎると悪化することもあるのを見て驚いた
サポートベクトルや素性の数に比べて次元を高くしすぎると逆に制約になるってことかね

2019/01/31(木) 10:56:31.70

制約というよりオーバーフィッティングでは

2019/01/31(木) 11:01:19.54

フィッティングの成績だから学習時の話だと思うが

2019/01/31(木) 12:26:27.71

フィッティングの成績が各点の二乗誤差の和とかなら多項式だと次数上げれば上げるほど誤差は減って、
データ点数以上の次数なら全ての点を通る曲線が作れるから誤差はゼロになるんじゃないか？

2019/01/31(木) 14:12:11.17

SVMはサポートベクターとの内積(=カーネル)をとってその一次合成でスコア出してるのは知ってる？
多項式で項数が増えてもそれぞれに自由に係数を指定できるわけではないから、
サポートベクターが都合の悪い配置だと次数の多さが制約になることはあるかも

2019/01/31(木) 14:12:40.10

話変わるんだけど
例えば5次元のデータでsvm学習しました。accuracy、A%でした。
そのデータのうちの3変数使って3次元のデータを作ってsvm学習しました。accuracy、B%でした。
AよりBの方が高くなっちゃうってケースが起きてるのですが、たぶんAとBは同じくらいになるのがsvmの性質上普通になると思うのですがなぜなのですかね。

2019/01/31(木) 14:23:54.00

ソフトマージンSVMは境界面近くのうまく分類できないサンプルを無視する
その数がそのまま学習データでaccuracy測ったときの残差となる
たぶん3次元で見たときの方が境界面近くのノイズが多かったんだろう

2019/01/31(木) 14:57:55.14

>>381
すあません、もう少しわかりやすくお願いします
不勉強で申し訳ないのですが

2019/01/31(木) 15:09:15.35

>>381 は想像なんであってるかわからんがw

SVMはなるべく二つのクラスの距離(マージン)を広く取れるような境界を選ぶ性質がある
ソフトSVMは多少誤差があってもマージンを広く取る方を優先する
5次元の場合、SVMは誤差が大きい代わりにマージンが広い境界を見つけることができたのではないかということ
5次元モデルの方が汎化性能は高いかもよ
誤差とマージンのバランスはパラメータCで調整できる

2019/01/31(木) 17:39:00.02

>>383
訓練精度も汎化性能もどっちも3次元の方が良かったんですよね…

2019/01/31(木) 17:50:37.95

まあマージンが広くても上手く行くとは限らないしね
Cを大きくしてみ、100倍とか
5次元の方が3次元より学習時の誤差は小さくなるはず

なんにせよ結果を信じるなら残りの2次元が余計だったって話になると思う

2019/01/31(木) 17:54:19.80

実はデータ数が多過ぎて学習回数が全然違うとか

**数おたさらり** (ﾜｯﾁｮｲ ffda-bL3o) · 2019/02/01(金) 00:31:59.27

2019/02/01(金) 01:01:45.93

>>375-379
曖昧ですまん。そう、SVMで学習に使ったデータをそのまま分類したときの精度の話だ。

多項式カーネルでdimension=2 → 5までは順調に精度が上がったんだ
でもそれ以上次元を上げても精度は98%のまま上がらなくなった
ぐっと上げたら100%になるかなと思ってdimension=100にしてみたら50%に下がったんで意外だったって話
オーバーフィッティングさせようと思ったのに逆の結果になってしまった

**sage** (ｻｻｸｯﾃﾛﾙ Spb3-9Pyw) · 2019/02/01(金) 06:38:29.24

>>388
データの量がパラメータの個数と比べて少ないからじゃね
連立方程式で方程式の個数が未知数の個数より少ない感じ

2019/02/01(金) 08:32:41.57

>>375 で「サポートベクトルや素性の数に比べて次元を高くしすぎると逆に制約になる」と
書いてるからそれはわかってるんだろう

なんつーか、機械学習って仕組みをよくわかってないと陥る罠が多いよな

2019/02/02(土) 12:22:14.52

脱衣をcycleganで学習させようとしたが、着衣ができるようになったが脱衣は崩壊した
道は長い・・・

着せた
https://i.imgur.com/FrioFmb.png
https://i.imgur.com/DqnT0NT.png
https://i.imgur.com/8VLUQU9.png
https://i.imgur.com/rxHFpgZ.png

脱がせた（グロ）
https://i.imgur.com/5uGCIHh.png
https://i.imgur.com/yOovTQs.png

2019/02/02(土) 12:25:07.36

>>391
すごいじゃん！
脱衣はDeep Dream状態だなww

2019/02/02(土) 12:36:34.43

ほんまDeep Dreamやで・・・
特に顔がぐちゃぐちゃになるからオカズとして使うのは難易度高すぎる
4日も回したのにorz

2019/02/02(土) 13:21:50.35

>>391
もしかして
https://asahi.5ch.net/test/read.cgi/newsplus/1548736729/344
これもDLなん？
違和感あったんだけどDLだったら納得

2019/02/02(土) 13:24:55.62

過疎スレだからって無茶な遊びしてると官憲に捕まっても知らんぞ

2019/02/02(土) 13:27:00.00

>>394
これ人形じゃないの？

2019/02/02(土) 13:30:17.89

>>394
画像検索したらすぐに出てきた
【画像あり】アマゾンで10万円するラブドールを御覧ください・・・・
で検索して上から二番目。欲しい。

2019/02/02(土) 13:37:43.18

なんか違う
https://i.imgur.com/LiCHLPv.png
https://i.imgur.com/Z87M6Wz.png
疲れた
https://i.imgur.com/SE0Hlo1.png
https://i.imgur.com/DMArxVu.png

やっぱり自分でコード掛けるようにならないとダメかなぁ

2019/02/02(土) 13:48:23.86

>>391
教師なしの分データを大量に用意するか姿勢やアングルを統一するかしないと難しいかも知れんな

2019/02/02(土) 15:58:44.14

>>398
教師データとモデルとチューニングだね
どれがかけてもイマイチな結果になる

2019/02/02(土) 16:40:42.94

難しいなw

2019/02/02(土) 16:54:12.75

>>399
裸と着衣を6000枚ずつ、正面のみ抜き出したんだ
解像度や色合いなども合わせないとダメなのかもしれないね
正直、あの作業を二階やる気力がない

2019/02/02(土) 19:59:00.46

ふーん、進化するとモザイクを消すことも可能になりそうだな。
それ以前の標準的な画像に興味があるけど。

2019/02/02(土) 20:15:32.27

>>391
4枚めの顔のオカルト臭がはんぱないｗ

2019/02/02(土) 20:41:10.93

肌色のナゾ生物が沢山

2019/02/02(土) 21:04:35.36

>https://i.imgur.com/DMArxVu.png
微小領域の構造が見えてるな
プーリングの悪影響？

2019/02/03(日) 05:59:58.23

お前らせっかく現代の最新技術を碌な事に使わんなｗ

2019/02/03(日) 12:31:54.55

エロは軍事と並ぶ人間の原動力だからな

2019/02/03(日) 12:56:06.72

>>403
ビデオだったら、ほぼ１００％に近く除去可能じゃないかな。
学習に十分でしょう。

消したところで、学習したかったのは何かという問題はある。

2019/02/03(日) 12:59:00.30

>>407-408
ほんそれ

2019/02/03(日) 13:23:54.48

昔々
VHSやBetaのビデオデッキが広まったのが
エロビデオのおかげだった