【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/27(木) 14:18:15.80

>>644
さすがにないだろ……聞いたことない
海外から無修正画像をスクレイピングしてきて自分でモザイク修正してデータセット作るしか

2018/12/27(木) 15:30:31.87

まず、自動でモザイクかけるAIを作るのかｗ

2018/12/27(木) 15:37:30.88

データセットが洋モノに偏ってあそこだけ洋っぽくなりそう

2018/12/27(木) 16:19:30.67

たしかにモザイクから復元するのに利用してる先行研究はあったはず

2018/12/27(木) 16:29:25.56

データセット無いかー。今考えてる方法は
1.洋物無修正動画をVottでマンコチンコトレーニングデータを作る。
2.yoloとかで自動モザイク装置作ってモザイクを入力としたDCGANでトレーニング
3.モザイク認識ソフトを作ってモザイクを切り抜き、切抜き箇所を2.にかけて出力を元画像と合成

GLCICは学習コストが凄そうなのでできれば回避したい。他に良いアイデアあったら教えて

2018/12/27(木) 16:41:22.77

>>644
アニメ系ならあるけど
https://github.com/deeppomf/DeepCreamPy

2018/12/27(木) 17:01:13.23

>>650
サンクス、Partial Convolutionsというのがあるのね。
これだと複数のモザイク箇所にも対応できそうだね。

2018/12/27(木) 17:11:03.99

もしかして、マンコチンコトレーニングしなくても無修正画像をPartial Convolutionsでトレーニングすれば良いだけだったりするか？
光が見えてきた気がする

2018/12/27(木) 17:21:24.33

マ●コが見えてきた気がする

2018/12/27(木) 17:24:50.95

機械に頼るな
心の目で見るんだ

2018/12/27(木) 17:25:28.71

https://gigazine.net/news/20170208-pixel-recursive-super-resolution/
https://gigazine.net/news/20171101-algorithm-low-resolution-images/
8*8ピクセルから復元出来る

2018/12/27(木) 17:35:48.30

モザイクの復元か

2018/12/27(木) 17:42:47.76

jpg時代のDejavu。エロは偉大なモチベだw

2018/12/27(木) 21:44:15.51

GANだと出来上がるのは機械の想像物にならんか？

2018/12/27(木) 23:00:37.63

>>658
人間の想像といい勝負
真実は誰も分からないのだから

2018/12/27(木) 23:20:01.45

>>658
モザイクの向こう側にある真実を探求するつもりはないよ。違和感なくモザイクが消えればそれで良いと思ってる。
極端な話、機械が妄想して全員綺麗なマンコになってもいいと思う。

2018/12/27(木) 23:57:27.63

>>658
モザイクかけた時点で情報は失われているから元通りに復元するのは不可能
想像でそれらしく補うしか無い

2018/12/28(金) 00:24:40.64

荒くなってはいるが黒塗りとかじゃないんだし完全に情報失われてるわけじゃないでしょ

2018/12/28(金) 03:00:23.93

エロAIはよ

2018/12/28(金) 03:23:06.50

本物そっくりのCGでもわいせつ物扱いになったし
そのうちモザイクも違法になるかもしれんね

画像から欠けた部分を補完する技術はあるし
どうせそう遠くない未来に、動画の欠けた部分を
補完する技術も一般的になるでしょ？

「欠けた部分」を「モザイクパターンになってる部分」に置き換えるのも
そう難しいことじゃないだろうし、モザイクの部分を本物そっくりのCGに
リアルタイムに置き換える。その時に色情報を使用すればよりリアルになる

結局の所補完した画像はCGなのだが、CGがわいせつ物扱いになるしなぁ
より本物に近いCGを作れるモザイクから違法になって、
最後には黒塗りもアウトになるかもな。

ん？その流れで行くと、水着や下着もアウトかもしれん
今の技術で裸に見える画像（水玉コラ）を補完したらどうなるんだろうか？
流石に誰かやってるよな？

2018/12/28(金) 03:30:13.25

よりリアルな補完画像画像（よーするにコラだなｗ）が
誰でも簡単に作れるようになったら、誰でもわいせつ物が作れると同時に
逆にリベンジポルノ流出とかでもあれはコラだって
言い張れるようになるかもしれないな
写真（そのうち動画）がなんの証拠にもならない時代

2018/12/28(金) 03:43:57.02

>>655
モザイクから元の顔に戻せるように見えてるけど
似顔絵捜査員とどちらがすごいんだろうかね

情報量自体は被害者の記憶を言葉にしたほうが少ないと思う
たったあれだけで、それなりの精度をだせるなら
訓練すればモザイクから元の顔を書く
モザイク捜査員が生まれるかもしれない！

2018/12/28(金) 07:24:47.70

>>665
暗号化しなくても、モザイクでアップしておいて
あとは利用者が勝手にどうぞ。

なんてのが出来ちゃうわけだ。

2018/12/28(金) 07:40:23.31

機械学習とはもう無関係なくなってきたが、モザイクどころかなにもないところから
コンピュータが人工知能で作り出した本物そっくりなCGはわいせつ物になるんだろうか？

2018/12/28(金) 07:42:55.28

猥褻物判別AIが判断しそう

2018/12/28(金) 07:47:16.82

猥褻物判別AIは、生成されたCGに対して反応するわけだから
そのCGを生成するための元データ（＝モザイク画像）を配布したら・・・？

未来もまだまだ、法律の抜け道と無理やりな法解釈のイタチごっこが続きそうだな

2018/12/28(金) 08:24:37.00

>>668
本物そっくりだから、本物と区別できない
だから、本物かもしれない
よってわいせつ物

かな～

2018/12/28(金) 09:52:24.03

>>658
著作権上は機械学習は人間の道具として扱われる
でも機械学習のコードを丸パクリした場合はほとんど定義されていない
この辺りしっかり決めておかないと非常にマズイ事になる気がする

2018/12/28(金) 09:55:24.02

漫画だってわいせつ物になりえるんだからＣＧもものによってはなるでしょう。

2018/12/28(金) 10:45:47.06

わいせつの３要件

徒に性欲を刺激・興奮させること
普通人の正常な性的羞恥心を害すること
善良な性的道義観念に反すること

2018/12/28(金) 10:55:29.66

ワイ動画見ただけじゃ興奮しないんだが。猥褻物なぞ無いｷﾘ

2018/12/28(金) 11:28:32.32

児ポだって大多数の人は興奮しないから猥褻物に該当するかどうかみたいな議論あるしな

2018/12/28(金) 11:35:03.92

猥褻物を描く機械じゃなくてモザイクを消す機械だから問題無いのでは？
消した画像を公開できる状態にしたら流石にダメだろうけど。

2018/12/28(金) 11:40:38.32

Winnyやマイニングスクリプトで検挙される国ですし

2018/12/28(金) 11:43:58.12

お前らエロの話題だと急に盛り上がるなw

2018/12/28(金) 12:06:41.23

winnyは開発者が捕まるのがありえなかったよなー
マイニングスクリプトはモバイルはマジでやめて欲しいぞ。電池無くなる
PCで一部リソース使うぐらいならいいけど

2018/12/28(金) 12:10:54.40

名前忘れたけど反転系モザイク解除ソフトも捕まってたな
あれもソフト作る側には問題無いのに

2018/12/28(金) 12:13:34.81

一般的なセキュリティの紹介記事書いただけでウイルス公開したことにされて有罪食らう国だし

2018/12/28(金) 12:25:06.68

海外の鯖に置けばいい

2018/12/28(金) 12:40:59.01

Winnyの件を考えると、モザイクを消す学習済みモデルを配布するだけで逮捕されそうだよね。
でもまあ学習前のソース配布は問題ない筈だから
(類似や同じネットワークモデルを利用した他のソフトも違法になるため)
学習用無修正画像を自前で用意できればなんとかなりそうではある。

2018/12/28(金) 12:50:57.52

何らかのサービスを提供する場合は海外鯖に置いていても運営元が日本にあると判例上アウトだよね

**デフォルトの名無しさん** (ｽﾌｯ Sdfa-JcBT) · 2018/12/28(金) 12:53:10.36

アルファ碁の深層学習の仕組みについて
わかりやすく教えて下さい。

従来のようにモンテカルロ木探索も使われているのはわかりますが
深層学習をどう利用しているのか、いまいちよくわかりません。
深層学習は、画像認識ならわかりますが
これをどう囲碁に利用しているのかイメージが出来ません。

この点をわかりやすく教えて下さい。
よろしくお願いします。

**デフォルトの名無しさん** (JP 0H7e-AIgs) · 2018/12/28(金) 13:46:50.39

kernel読んでたらデータの標準化って出てきたんだけどこれやってもいいもんなんですかね
たとえば[1, 2, 3, 4, 5]だと[-2, -1, 0, -1, -2] / √2になるそうで
でもこれだと例えば最後の要素が最初の要素より4大きいっていう情報は欠落するじゃないですか
データの絶対値って重要じゃないんですかね

2018/12/28(金) 14:05:02.53

2乗して足すから問題ないって感じか

2018/12/28(金) 14:08:52.59

>>685
DMMだかfc2の無修正エロサイトは日本語で紹介してるから日本扱いでautoって無茶な判例だった

2018/12/28(金) 14:09:37.53

それは標準化の仕方が間違ってる
[-2, -1, 0, 1, 2]/√2
が正しいから大小関係は残る

2018/12/28(金) 15:15:52.25

>>687
よくある標準化は学習データを平均＝0、分散＝1にしてその時に使った係数を残しておいてテストデータにも適用する
分散を変える以上は差の絶対値が変わるのは仕方ないが同じ係数をテストデータに使うのが重要で、結局同じ比率で調整されるので問題はない

2018/12/28(金) 15:43:33.87

>>680
> winnyは開発者が捕まるのがありえなかったよなー
winnyは開発者は、考え方が厨二だったからなぁ

この世界は腐っている。一度滅びなければいけない。
新世界を作るために、私は滅びの道具を作った。
だからな。

世界を良くする道具を作ればいいのに、
なぜか滅ぼす道具を作って「お前らあとは頑張れ」だもんなぁ。
あんなんだからWinnyは何も変えられなかった。

2018/12/28(金) 15:44:18.38

厨二っていうかサイコパスかな

2018/12/28(金) 16:06:37.31

まともな用途向けだと流行らなかったりして

2018/12/28(金) 17:31:39.09

生きてたら仮想通貨やってただろうな
まああれも結局マネロン用途だろうからまともではないか

2018/12/28(金) 17:38:25.10

ソフトイーサはいいところ攻めてるような。捕まらないような持って行き方は色々あったろうに

2018/12/28(金) 17:39:23.71

ソフトイーサは単なるVPNじゃん。OpenVPNと変わらない

2018/12/28(金) 18:19:41.45

このブログの人の勤め先ってNTTデータとかCTC？
http://biz-and-deep.hatenablog.com/entry/2018/03/01/001228

外資系じゃなそうだけど、
この頻度で新規AI案件を取ってきて回してる大企業って思い浮かばない

2018/12/28(金) 18:29:01.65

>>698
NTTデータじゃないと思う。こんな下流は回らない
にしても日本はIT関連の営業レベルが低すぎる。
*やばいエンジニア
以下は本気でヤバイ

2018/12/28(金) 18:47:51.76

ここに書いてある中で、一つだけ賛成できないのは
データ（分析対象になるデータ）の件。
それこそ、生の形でデータを受取り分析者側で加工から
やることが私は必要だと思っている。

そもそも顧客のデータを信じるところから始めてはいけない。
今は、ネットのデータだったり、データが集まりやすいし
さらにデータベース化されているケースが多い。

それに甘んじたまま分析に入ろうとする人が多いのは
私は疑問。

2018/12/28(金) 19:07:54.99

>>700
どれに対して言ってるのか知らないけど
機械学習はデータをコンピュータを使って高速に演算するものなんだから、
データが重要なのは当たり前だよ。

でも "機械学習" ではないけどね。俺が機械学習に興味が薄いのは
結局最後にはデータをどうするか？の話になってしまうのがわかってるから。
機械学習のアルゴリズムがーではなく、○○データを加えることで精度がー。とかいう流れになる

行き着く先は、データの売買ビジネスだよ。

今はデータが有るようで無いからね。
例えば売上データはあるが、あるのは売上データだけだ。コンビニとか
年齢層入力してる（してた？）が曖昧だし、ポイントカードで情報抜き取る必要があるが
全員抜き取れるわけじゃないし、別の店で買う場合もある（つまり売れるはずの商品がわからない）

精度をあげるためのデータがわかってる。だけどそれらを集めるには
他社と協力していろんなデータを集めて統合しなければいけない
個人情報の保護がある時点で難しいし、ライバル会社と協力なんかしないだろ？ｗ

となると第三者のデータ売買会社からデータを買うことになる。
その始まりの姿がTポイントカードだろう

2018/12/28(金) 19:13:51.37

>>700
> 今は、ネットのデータだったり、データが集まりやすいし
> さらにデータベース化されているケースが多い。

ぶっちゃけ無いよ。

データベースの用語風に言えば、今データベース化されてるのは
マスターデータ。機械学習で必要なのはトランザクションデータ
トランザクションデータはほとんどデータベース化されていない

せいぜい自社の過去のデータが、必要最小限だけ残ってる程度

大企業以外、統計的に役に立たない
（正確に言えば人間が予測した精度と大差ない）

2018/12/28(金) 19:17:04.43

＞年齢層入力
元コンビニバイトだけど、忙しいと全部「10-20代」を叩くのが当たり前。タバコと酒でエラー出るからな
忙し店は若者向けで入力してる可能性が高い、というか当たり前

2018/12/28(金) 19:22:49.32

>>701

そういう話をしたわけじゃないんだよね。
残念ながらデータは足りなくてあたりまえだから。

2018/12/28(金) 19:24:30.41

>>703
そうですね。
その問題はもう25年前から出てきている話題

2018/12/28(金) 19:26:13.36

>>703
そうそう。信用できる過去のデータは少ない。
そういう意味でも「今はデータが有るようで無い」

データが間違ってるんだから、そこから学習しても間違った答えになる
まあ結局は確率でしか答えが出ないんだから、
ある程度は正解するんだけどねｗ

で、精度をあげようとすると、データの質がーって話になって
正しいデータを入力するよう徹底してくださいとか、
修正できるなら修正してくださいとか（例えば明らかなタイポとかなら修正できる）
そういう話に行き着くので、つまらねぇなぁと

2018/12/28(金) 19:27:47.85

>>706
そうなんです。
それを知るためには、まず本当の生データを分析するところから
はじめないと、ならないんですよ。

2018/12/28(金) 19:31:46.09

>>702
＞大企業以外、統計的に役に立たない
＞（正確に言えば人間が予測した精度と大差ない）

それ自体の分析から始めないとあかんのよ
それを使えるようにしてゆくのが仕事

2018/12/28(金) 19:37:46.16

機械学習の有用性はラプラスの悪魔がだけが知っている

2018/12/28(金) 19:41:12.28

>>708
分析までは良いんだよ
これぐらいの精度でした。おしまい。
という仕事なら

実際には精度の向上が求められ、人間がやるよりもいい結果を
得られるようにするのが目的。
仕事でやる場合は、これぐらいの精度でした。
もっと精度をあげるにはどうすればいいですか？
と話が続く

つまらないのはそこからだね
重要で大変だけど、人海戦術でつまらない作業の始まり

2018/12/28(金) 19:45:06.57

AIが本当に人類を超えるなら、そのゴミデータもaiも捨ててくれるんだけど
それはもう・・・

2018/12/28(金) 20:02:54.72

>>710
＞分析までは良いんだよ
＞これぐらいの精度でした。おしまい。
＞という仕事なら

な、あほな

2018/12/28(金) 20:06:33.00

異常値を通常は起こりえない値として捨てるべきか、
それとも一回だけだが攻撃された形跡があるぞと重要視するか

2018/12/28(金) 20:07:34.16

>>712
だから、そこでおしまいじゃないから、
あとはつまらなくなるって言ってるんだよｗ

機械学習とは関係ない作業の始まり

2018/12/28(金) 20:13:44.32

どういう層やユニットをどこに幾つ追加すれば更に精度が上がるか、どんな特徴量を追加すればいいか、これらを考慮しながらアップデートしていくのは機械学習の本質だろ

2018/12/28(金) 20:19:14.42

データを変えないでそれをやるってこと？

パラメータ変えてやってみて、結果見るだけだし
特徴量っていうのは結局画像解析や音声解析の分野の話でしょう？

2018/12/28(金) 20:22:04.91

画像解析や音声解析の道具として機械学習を使うっていうのは別に良いんだよ？
本来やりたいのは「画像解析」であり「音声解析」だから

機械学習をテーマとして考えると、つまらない作業もしくは
関係ない作業の話になるなぁと

2018/12/28(金) 20:23:37.77

機械学習の素養のある人が一定の根拠に基づいてパラメータ変えるのと、お手軽ソフトでポチポチやって理解した気になった素人が錬金術的にパラメータ変えて一喜一憂するのは天と地ほど違う

2018/12/28(金) 20:23:55.04

＞実際には精度の向上が求められ、人間がやるよりもいい結果を
＞得られるようにするのが目的。
＞仕事でやる場合は、これぐらいの精度でした。

→精度がクソ
if(バイト){
上司に報告;
} else {}
＞もっと精度をあげるにはどうすればいいだろう？
＞と話が続く

2018/12/28(金) 20:28:04.33

>>718
そうなると、機械学習というよりパラメータ職人だよねw

で、そういう職人いらずにするのがディープラーニングでしょ？

人間がやるよりもコンピュータの膨大な計算能力を使って
富豪的に処理したほうがいい。

2018/12/28(金) 20:28:05.68

あーすまん途中で書き込みtiちゃった
バイト君・外注の場合は上司に報告して終わり
社員は結果を出す必要がある
俺は当時、バイトで外注だったから「あーどうしよもないっすｗ最小二乗法でも-1であらゆるでーたと関係ないっす」と答えたな
小売はマジであらゆる変数と関係なかった（災害やセール日は除外。巨大な災害の日は店自体閉じた扱い）
びっくりした

2018/12/28(金) 20:32:49.31

>>720
＞で、そういう職人いらずにするのがディープラーニングでしょ？
違う

データ職人いらずにするなら、今度は計算式職人になる
今の所は全く関係のないのないデータは除外しないと適切なデータは出せない
仮にデータをいじらずにだそうすると、莫大な費用がかかる。googleならだsルかもしれんが

仮に気温を含めた小売のデータを出すと、フィンランドでは常にマイナスになるだろうな

2018/12/28(金) 20:33:21.04

で、ディープラーニングにしろ、人間が膨大なパラメータの組み合わせで検証するにしろ
コンピュータの膨大な計算能力を使うにもコストがかかるわけで、

将来は（すでにそうなってるかもしれないけど）
目的を達成するために
　機械学習のコスト VS 機械学習を使わないコスト
というコスト対決の話になって、割にあわないぁと判断されることが多くなると思う

機械学習しなくても（現状でも）それなりの精度で予測できてるわけなんだから

2018/12/28(金) 20:33:59.62

>>722
おいおい、違うって言うなら、違う根拠を書いてくれよｗ

2018/12/28(金) 20:43:01.57

スレが伸びてると思ったら・・・

2018/12/28(金) 20:50:16.26

>>724
君はディープラーニングには職人不要だと確信しているんだからその根拠となる論文・書籍・記事などを示せば反対意見など一切封じられると思うけど

2018/12/28(金) 21:06:22.55

>>724
すまない、今売上に関する学習やってたのでｄ若干適当に書いた
用途によると結論付いた
教師ではなく報酬だろう

・報酬あり
alphagoがまさｎそれ
報酬ないと適当に置くだけ

・教師なし
ヒューまりティクスを使うしかないが、
これにしてもやはり報酬と言い換えるしか無いだおる

mnistにしても教師か報酬アリでないとなんだかよくわからない結果になる

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a60-I/qK) · 2018/12/28(金) 21:42:07.32

>>681
https://ja.wikipedia.org/wiki/FLMASK

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a60-I/qK) · 2018/12/28(金) 21:43:07.61

>>682
むしろ犯罪として認定されうるほどのプログラミング技術に憧れます、私も逮捕されたい…

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a60-I/qK) · 2018/12/28(金) 21:45:23.34

>>692
＞この世界は腐っている。一度滅びなければいけない。新世界を作るために、私は滅びの道具を作った。
名言にして至高ですね
世の流れに抗うことはほとんど不可能ですが、世の流れを加速させることはできる、偉人にしかできない技だとおもいますね

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a60-I/qK) · 2018/12/28(金) 21:46:44.60

>>693
サイコパスは自己の利害損得計算に優れているだけ（ただその手段は特異的ですが）で、それは winny とは違うでしょうね

2018/12/28(金) 21:55:21.09

コテハン居たのね

2018/12/28(金) 22:04:08.14

いや頭のおかしな荒らしだから。

2018/12/28(金) 22:44:59.93

ディープラーニングが上手くいくのは、上手くいくまで人間が地道にチューニングしてるからだ、みたいな論文あったよね

2018/12/29(土) 00:02:52.55

動きがあるとモザイクがチラチラするだろ？
それを時間積分するモザイクによる低解像度化画像から
と高精細化できるだろうに
あほどもが。

2018/12/29(土) 00:16:55.75

>>735
日本語が不自由な方ですか？

2018/12/29(土) 01:16:35.33

QZは読まずにスルーしてるからいいけど
それ以外のも糞だったわ

2018/12/29(土) 06:39:12.58

>>691
標準化するデータセットによって平均値や分散が変わる
から訓練データセットとテストデータセット
でも平均値や分散が変わるかも知れないけど
訓練データセットの平均値と分散を使って
テストデータやテストデータセットの標準化処理をする
って事だよね

2018/12/29(土) 06:45:15.50

>>701
ビジネスに直結する以外のデータ活用用途もあるけどな

2018/12/29(土) 06:52:08.41

>>706
データ採取にAIを使う様になる
無人店舗とか

顔判別→ID
年齢もAIで推定
今人間が推定しているのをAIで推定する
手間が省けるし漏れも少なくなるし分散も小さくなるだろう
同一企業グループ内なら顔IDで名寄せできる

他企業間とかの話になると法律とか変える必要があるかも

2018/12/29(土) 06:53:29.03

>>710
つまらない作業をAIとかでやる様にすれば良い

2018/12/29(土) 07:12:05.37

>>717
あなたが想定している機械学習のテーマは
SVMのアルゴリズムとか
BPとかAEとかの学習アルゴリズム
に限定したものなんじゃね

実際の社会に影響を及ぼすには
それだけだは不十分

昔のコンピュータだと今の機械学習も実現できていないだろう
将来量子コンピュータとか実現したら
また状況は変わるだろう
BPとか使わずに量子コンピュータで最適な結合荷重を見つけられるかも知れない

2018/12/29(土) 07:14:40.83

>>720
ディープラーニングも結合荷重を見つける
パラメータ職人だけど
それを比較的精度よく見つけるアルゴリズムを
開発できた

他の機械学習のパラメータを特定するアルゴリズムを
あなたが開発すれば良いだけ

2018/12/29(土) 07:20:36.66

>>723
そんな事は既に他のビジネス領域では起きている