【統計分析】機械学習・データマイニング20

2018/08/07(火) 18:56:37.59

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/09/10(月) 21:02:22.48

ｴｷｽﾊﾟｰﾄｼｽﾃﾑみたいな山盛りのｳﾝｺができると
予言してるﾜｹ

2018/09/10(月) 21:08:06.77

20年前エキスパートシステムやってた大学の先生がAIメチャメチャdisってたな。講義で学生相手に悲観的なことばっか言ってな。今どうしてんだろ。ヒャッハー?

2018/09/10(月) 21:18:31.46

物体認識も人工知能（NNでない奴）だったね

2018/09/10(月) 21:54:13.12

>>336
比較した上で一点だそ

2018/09/10(月) 21:59:29.51

まあ、一人でよいから飛び抜けた天才がいればよい話

2018/09/11(火) 00:27:02.76

なんだ俺のことか…

2018/09/11(火) 01:13:57.47

中級者向けの記事なんて書いても利益にならんからな
初心者向けなら宣伝になって仕事の依頼がくることも期待できるが

2018/09/11(火) 08:52:46.82

もう少しきれいな言葉で語りませんか？

2018/09/11(火) 10:11:02.09

確かにお前ら中華スマホスレ以下

2018/09/11(火) 12:14:16.02

割れ鍋に綴じ蓋

2018/09/11(火) 12:30:05.64

技術記事自体で利益出そうと考えること自体が技術者としての本来の在り方から乖離してるけどね

2018/09/11(火) 12:34:15.31

技術がカネにならない日本はおかしい。シリコンバレーの後追いしかしてないフリーライダー。

2018/09/11(火) 13:25:38.94

技術がないだけの話

2018/09/11(火) 14:33:28.09

この本おすすめですか？
https://www.amazon.co.jp/dp/4862464181

2018/09/11(火) 15:52:06.10

いいえ

2018/09/11(火) 18:00:10.08

クラス分類できへんねやったら回帰分析しかないんですか？

2018/09/11(火) 23:32:24.35

1層のNNは回帰分析と同じだからな

2018/09/12(水) 07:04:31.28

人間の脳のように学習するって誇大広告じゃね？

中身はロジスティック回帰を何層もやってるだけじゃん

2018/09/12(水) 08:09:25.15

>>359
そう思うなら一つのロジスティック回帰を再帰的に使って同じ結果を出せるか実験してみたらいいのでは？

2018/09/12(水) 08:13:40.79

一つのロジスティック回帰では無理だろ
>>359 はそんな事言ってないし

2018/09/12(水) 12:09:21.11

人間の脳も所詮ロジスチック回帰ってこと。。。

2018/09/12(水) 16:05:15.80

クラス外のデータの排除に効率的な方法は何ですか？
例えば、0～9の数字10クラスのネットワークに「b」の文字を入力する場合を考えた時に
理想的には全クラス10%くらいの確率ラベルを持ってくれたらいいのですが
恐らく結果は6が高確率で帰ってくる気がします。
適当に数字以外の文字を詰め込んで11個目のunknownクラスを作ることは効果があるのですか？

2018/09/12(水) 19:36:37.61

>>363
こっちが専門じゃないだけかもしれないけど、おそろしく何を言ってるのか分からない
deep learningのような分類器で、画像データを10のクラスに仕分けたいけど、
特定のクラスに偏りが生まれるからどうすれば良いかということか

一般論として、deep learningならば、ノイズを混ぜるのは場合によりけりだけど有効だろ
新しいクラスを作るのは、ちょっとわからんなあ

2018/09/12(水) 19:40:44.82

データを多く仕分けられるクラスに、データが仕分けられにくくなるように
損失関数に、データ量に比例して増えるペナルティーを追加すればいいんじゃないか

2018/09/12(水) 19:47:03.20

一回限りの分析なら、手入力で特定のクラスの損失関数に
手入力でペナルティーを追加して、そのクラスに分類されにくくするのも手だと思うんですよ？
そんなやり方でも、いちおう分析結果は平らにはなるよね。たぶん。わからんけど

2018/09/12(水) 19:54:51.80

>>364
(自分なりに)もう少し分かりやすく書き下しますと、

この世のありとあらゆる果物が成ってる木があるとして、
この木の画像の中から、リンゴとミカンとブドウを見つけて自動収穫したいタスクがあるとします。
リンゴとミカンとブドウの画像を学習させて分類器を作ったのですが、青リンゴやデコポンやマスカットが学習させた果物と誤認識されて収穫されてしまいます。
学習せた3つの果物以外は収穫したくないので、認識して欲しくないのですがどうすれば良いですか？ということです。
(分かりにくかったらすみません。)

2018/09/12(水) 20:00:27.22

わかりにくくなったよ

2018/09/12(水) 20:02:57.63

>>363が言いたいのは数字画像を読み込んで数値を出力したい、ただし入力が数字でない画像だったら数字でないと出力させたいってことだろう

2018/09/12(水) 20:36:27.66

数字以外の画像を適当に[0.1..0.1]のベクトルになる教師データとして流し込めば
そういう分類器ができるんじゃないの

2018/09/12(水) 20:50:09.10

数字以外の想定し得るあらゆる文字のデータを学習させる必要があるから非現実的だろうね
数字にだけ共通する特徴があるなら最初に数字か数字でないかだけの分類をすればいいけどそんな特徴ないだろうし難しい

2018/09/12(水) 21:07:10.31

認知機能が低いこのｽﾚいるような低学歴知恵遅れが写真をみると
ｺﾚは心霊写真だという

ｺﾚは俗に言うｼﾐｭﾗｸﾗ現象になる

ｳﾝｺAIに顔認識をさせると
ｺﾚと同じような現象が発生してもなにもおかしくない

ｺﾚは出力結果としてものすごいおかしいとはいえない
特徴どおりだからな

2018/09/12(水) 21:13:35.69

文字だけの識別なら数量化I類で十分
数量化I類でもかなりの精度になる

2018/09/12(水) 23:04:27.74

ひとつの分類器でふたつのことを同時にやらなければいいんじゃね？

①一個の数字画像を、10個のクラスに仕分ける
②その画像が本当に仕分けられた数字と同じか否かを判定する

このふたつの段階に分けれて、別々の分類器を用意すれば、そんなに難しいことしなくても簡単に組めそう。
①のためのニュートラルネットワークの分類値と、②のためのクラスごとの分類器を10個用意する必要があるけど、
②の分類器はたぶん同じようなアルゴリズムで動くから書くの簡単だろ

ただの思いつきだけど、どうだ？

2018/09/12(水) 23:12:15.60

ぜんぜんわかってないわ
特徴抽出をするのが先だからな

特徴抽出されたﾃﾞｰﾀを学習させない限り
いつまでたっても学習効果なんかない

2018/09/12(水) 23:42:58.48

>>363
まず数字かそれ以外かを分類してみるとか
で数字のものについて0-9のどのクラスに属するか判別する

2018/09/13(木) 00:17:45.77

数字かそれ以外かで分類しようとしたら結局bは6と判定されるだろうけどね

2018/09/13(木) 00:18:27.43

正確には、6と扱われることでbは数字に分類されるだろうけどね

**363** (ｱｳｰｲﾓ MM1b-P3CU) · 2018/09/13(木) 02:39:06.40

>>369
これがほぼ正解に近いですが、>>371にある通りやはり難しいのですかね。

>>376
数字は例えだったので・・
より実際に近い例えですと、一般物体を「犬、桜、車」の3クラスで認識し、
猫や梅や船のような他の物体なら、3クラスのどれでもないと返して欲しい、というような感じです。
未知の入力の中から、学習させた特定の対象だけを認識することは難しいのでしょうか・・
未知の入力パターンをリジェクトしてくれるような仕組みがないものかなぁと思い質問しました。

2018/09/13(木) 07:39:33.36

確率で判断してみるとか

2018/09/13(木) 08:04:53.73

>>379
それも対象となる幾つかとそれ以外に分類してみたらいいのでは？

それか6とbを判別するような判別を後からかけるとか

人間の感覚だと6とbの判別は上側のコーナーの位置と左側の上の交点の位置関係を見ているように思う

それを入力に追加するか学習で獲得させるか

2018/09/13(木) 08:07:38.47

>>377
それは教師信号とか学習方法とかでも違う結果になるんじゃないの？
厳しすぎて6を検出しなくなるかもしれないけど
それはそれで後から判別する用途に使えるかも知れない

2018/09/13(木) 08:10:20.78

>>361
一つとカウントするものの認識が違うようだ
ロジスティック回帰を特徴づけるパラメータを引数とする関数を一つと表現している
その関数を再起的に使うことを想定している

2018/09/13(木) 08:52:40.16

>>379
犬とそれ以外の2値分類器、桜とそれ以外の2値分類器、車とそれ以外の2値分類器を作って、1番スコアが高いものを答えとする。もし3つのスコア全てが一定の閾値以下であれば該当なしとする。うまくやれば1つのNNでできるかな?

2018/09/13(木) 10:22:19.93

>>379
未知と言っても実際はデータに偏りがあるから
その他クラスをつくって全部いれたら実用精度いくこともあるかも
ていうかこの程度のこと聞く前にやってみ

2018/09/13(木) 11:25:57.39

>>381
初めから6とbが似ているという情報があればそれでもいいのですが・・
どんなものが(特徴量レベルで)6に似ているか分からない時にどうしたらいいでしょうか。
上の例だと、例えばアマゾンの奥地に私達が名前も知らないような犬に似た動物(人が見たら似ているけど犬ではないときちんと判別はできる)がいたとして、それがたまたま入力された時にちゃんとリジェクト出来ればと思うのですが。

>>384
2値分類器にすれば学習データ以外に対するリジェクト率は高くなるのですか？
少し検討してみます。

>>385
はい、もちろんそのつもりではあります。
ただ、あわよくばその他クラスの入力として有効だと知られているデータセットとかないかなと思いまして。
もっと確立された方法があるかと思ったのですが、
意外とあまり一般的な話ではないのかも知れないですね。

2018/09/13(木) 11:28:11.38

>>386
訂正
×その他クラスの入力
○その他クラスの学習

2018/09/13(木) 12:02:33.48

シグモイド関数以外で判定すればいいんじゃね?具体的には知らんけど

2018/09/13(木) 13:46:19.92

>>386
犬に似た動物か犬かは人間も見た目だけでは判別できないのでは？
DNAとかをみて分類するのであればそれを入力として判別するように学習するんだと思う

あくまでも既知の物に近い物の中でどれに近いかを判別するのだと思う

人間も例えば人の名前を聞いた時に
自分が知っている人の中から思い浮かべるはず

名前の文字列から同姓同名の知らない人かどうかは判別できない

2018/09/13(木) 13:52:05.24

つまり似ているけど違うものを正しく判別出来ないときは
判別手法が適切でない可能性だけでなく
入力情報が不足している可能性も考える必要がある

当たり前のことだけど

逆に判別手法は同じでも入力情報を変える事で目的を達成できるかもしれない

2018/09/13(木) 13:52:25.76

まず大前提として、バイアスが高いとかでなけりゃ
データ数が機械学習のすべて
DNNなら基本的にバイアスが高い状態は無視できるんだから
人が見て判別できる特徴を学習できるほどデータが足りないから誤判別するんだよ
そのデータ数を補い学習を促進させるのがGAN

ｱｳｰｲﾓ MM1b-P3CUの問いに対する今最も適当な答えは、GANを組み込めって事だ

もう組み込んでるなら、CNNの前にattentionをぶっ込んで
attention順のtimestepやpositionを特徴に付加した上でCNNで畳み込むモデルを作ったりしろ
ここは先端研究分野だから論文読んで勉強して自分で試せとしか言えない

2018/09/13(木) 13:56:03.92

>>386
もしかして、教師あり機械学習において、訓練データとして正例だけで(負例は与えずに)判定器を作れるか、という話なのかな？

もしそうであるなら、教師あり学習では出来ないと思うけど。

2018/09/13(木) 14:02:20.97

6とbの例だと
数字を入力する欄に書かれている場合は6の可能性が高い
前後が数字だったらとか文脈情報を付加する事で
正解率を上げることはできると思う

人間も無意識に探索空間を限定していると思うよ
6はアラビア数字空間で見たら6だけど
ローマ数字空間でみたら該当なしが正解

2018/09/13(木) 14:10:38.03

>>386
で、もし負例を集めるのが大変だという事であれば、学習済みの重みを使って転移学習できるかどうかを検討してみたらどうかな？画像系や言語系なら色々あると思うけど。

2018/09/13(木) 15:36:31.62

NVIDIA、AI学習モデルの推論処理に特化した「Tesla T4」
～Pascal比で12倍の性能
https://pc.watch.impress.co.jp/docs/news/1142896.html

これって学習にも使えるの？
使えたとして個人で買える価格なのかな

2018/09/13(木) 15:51:01.39

inferenceに特化してるとしか書いてないな
学習に使えたとしても大した性能でないんじゃないかな

2018/09/13(木) 15:56:28.84

パスカル比ｗ

2018/09/13(木) 18:28:06.03

あらいぐまパスカル

2018/09/13(木) 18:46:20.90

GANで300x300ピクセル以上の自然なフルカラーRGBを24時間以内に生成するには、
幾らぐらいのGPUを買えば良いですか？

2018/09/13(木) 19:00:02.47

300万円

2018/09/13(木) 19:03:22.94

>>398
書こうと思って思い留まった

2018/09/13(木) 19:26:37.35

アライグマ12匹ぶんの性能！

2018/09/13(木) 19:58:05.51

>>395
Teslaって時点で、個人で買うものじゃないだろ

2018/09/13(木) 20:31:45.95

>>395
FP16が速いようだけど、FP16で学習を安定化させるためには少し工夫が必要
できればおそらく学習も速くできる

2018/09/13(木) 20:41:17.04

>>404
去年のGTC JAPAN の資料
ttps://www.nvidia.com/content/apac/gtc/ja/pdf/2017/1055.pdf

論文も出てる

2018/09/13(木) 22:00:22.48

たぶんTITAN V買った方が幸せになれる
値段もそんなに変わらないだろうし

2018/09/13(木) 22:05:14.73

くそ～おまいらの会話が分からないぜ。プレモル読んでくるﾉｼ

2018/09/14(金) 04:17:16.85

w>>407
そっちの方がわからんやんけ！w

2018/09/14(金) 10:52:49.98

参考書見ながら勉強してて、教師あり学習はなんとなくイメージ湧くんだけど教師なし学習の部分に入ってから急に難しくて理解しにくい…
主成分分析とか特にややこしいんだけどこういう技術はやっぱり頻繁に使われるのかな？

2018/09/14(金) 10:59:03.56

やっぱり頻繁に使われる

2018/09/14(金) 12:40:46.79

めちゃ使う

2018/09/14(金) 12:41:56.63

一般企業で

2018/09/14(金) 14:37:37.68

PCAはできなきゃ可視化できねーから必須だろう

2018/09/14(金) 17:30:08.67

PCA会計はお手頃な価格

2018/09/14(金) 22:05:30.13

低学歴超初心者のゴミの俺が機械学習の勉強して5ヶ月
今更だけど統計の知識って避けて通れない気がしてきた
ここの人達はそういう知識も持ってるのかな…
機械学習でいっぱいいっぱいだけどやれるか俺…

2018/09/14(金) 22:36:41.30

>>415
無理だ、諦めろ。

2018/09/14(金) 23:11:14.48

機械学習に統計学の知識なんて必要ないよ
統計学は応用数学として高度な数学を必要とするが
機械学習に数学はいらない

2018/09/14(金) 23:16:28.78

機械学習でﾋﾞｯｸﾞﾃﾞｰﾀを扱うなら
最低でも正方行列でない行列を扱う対応分析や
疎な行列を計算機で扱うための知識が必要

2018/09/14(金) 23:25:54.63

PCAは機械学習の基礎技術と考えてよい

2018/09/14(金) 23:29:42.46

10～1000個ぐらいのパラメータを2～3軸ぐらいで見るためには必須です。

2018/09/14(金) 23:33:40.19

方法の一つとしてはそうだけど、基礎技術って言われると、んー？って思う。基礎的な技術だけど。

2018/09/15(土) 00:34:19.96

>>409 です
PCAを使うのはあくまで可視化がメインなの？
特徴量抽出とかも書いてあってこんがらがってる
例えば20個の特徴量がある100点のデータがあって、それを2次元にしたい場合20個の特徴量からなる各データ(100点)から分散が大きい線？保持する
ってイメージなんだけど、2次元にした時点で色んなデータが削ぎ落とされて、20個の特徴量をぜんぶ引っくるめたデータの主成分だけが残って素の特徴量の概念は消えてると思うんだけどそこから特徴量を抽出って？？？？ってなってる
日本語おかしくてごめん
自分の理解が完全に間違ってたり的外れな事言ってるのは十分理解してます…

2018/09/15(土) 00:47:14.50

統計検定2級レベルぐらいは機械学習に限らず解析とかするのに使えるから勉強しておくといい

2018/09/15(土) 01:49:47.53

情報系の学科でプログラムはそこそこ勉強してて
機械学習ライブラリを全く使ったことないんですがちょっと勉強したくて
機械学習入門ライブラリって何がおすすめですか

うまくいくかどうかは別にして
株とかFSみたいな時系列グラフの予測したり
将棋や囲碁みたいなゲームAIを作ってみたいです

2018/09/15(土) 01:59:22.37

このスレは素人しかいないのかよw

2018/09/15(土) 02:40:30.25

>>421
それはなぜそう思う？
PCAの結果って、数学的にニューラルネットのオートエンコーダの結果と一致する。
機械学習の本にそう書いてあるだろ？

2018/09/15(土) 03:55:20.45

ニューラルネットから入門すればPCA に言及してるとは限らんだろ。そんなことも分からんのかｗ

2018/09/15(土) 06:24:54.03

測定を概論として知ってるといいよ
測定知らないと数理工学の理解が浅くなると思う

2018/09/15(土) 10:30:45.02

測定ってはじめてきいたかも
回帰分析とか線形代数は最低限はわかると思います

2018/09/15(土) 12:29:12.79

>>428
測定ってmeasure(測度)のこと？

2018/09/15(土) 12:42:28.61

たとえば時系列データの配列があったとして
なんてライブラリにどういう設定で実行すればいいかっていうのがわからない

どういうことをやるかっていうアルゴリズムの概論説明ばかりで
プログライミングの入門サイトみたいなのがあんまりなくて
何をインストールしてどうかけばいいかのプログラムサンプルを出してくれるサイトがあんまり見つからない

2018/09/15(土) 12:43:32.90

計測工学、誤差論とかだよ

2018/09/15(土) 13:20:09.75

>>431
分類ならIrisとかベンチマークで使われるデータセットがあるので具体的な使い方も分かると思う。
君のやりたい事が何のアルゴリズムで実現できるかは、自分で概論一通り勉強しないと決まらないと思うのよね。

2018/09/15(土) 14:02:42.28

>>433
ありがとうございます

irisていうの使ってみます

機械学習って行列から結果ベクトルを生成する関数をつくるもので
教師データとして入力出力ペアを与えたらそれに近い答えを出す関数が作られて
未知のデータを流し込んでもそれなりに答えが出るみたいなイメージだったから
ライブラリでやることってたいした違いはないのかと思ってた

**CRFs** (ﾜｯﾁｮｲ 9780-9b2l) · 2018/09/15(土) 15:42:38.45

TensorFlow使ったほうがいい
くさるほどｻﾝﾌﾟﾙがある

2018/09/15(土) 15:47:56.06

CRFもTensorFlow使えばきっと余裕でできるﾊｽﾞ

2018/09/15(土) 16:08:00.97

>>433
Iris　機械学習　で検索してブログ２，３よんでみたけど
これってあやめの画像を認識するだけにしか使えないの？

画像認識はいまのとこ興味なくて

時系列データ予測（株とかよりはシーズン途中でのペナントレースの優勝予測とか）
ゲームAIとか
ツイッター上で知識獲得や自動応答
とかそのへんをやってみたいんだけど

>>435,436
TensorFlowはきいたことあるかも
次はそれ調べてみます
ありがとうございます

2018/09/15(土) 16:10:06.41

自由度、将来性、普及率考えればtensorflow一択
日本語資料多めで取っつきやすいのはchainer
とりあえず動かしてみたいkeras
最近の論文の実装例多めでやや将来性ありpytorch

2018/09/15(土) 16:12:35.37

>>437
やりたいことが明確なのはいいけどそこからアーキテクチャを勉強せずに実装に移るのは無理がある

2018/09/15(土) 16:14:19.13

>>439
そうなんですね

まずはプログラムを動かしてから
パラメータをかえていって使い方を覚えるみたいな感じで勉強してきたので…
とりあえず動かしてみたかったんですけど

2018/09/15(土) 16:54:50.74

決まったレスポンスが期待出来るWebやOSのAPI呼んで行く従来のプログラミングとは違いますな