【統計分析】機械学習・データマイニング21

2018/11/04(日) 14:34:36.02

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング20
https://mevius.5ch.net/test/read.cgi/tech/1533635797/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/28(金) 08:24:37.00

>>668
本物そっくりだから、本物と区別できない
だから、本物かもしれない
よってわいせつ物

かな～

2018/12/28(金) 09:52:24.03

>>658
著作権上は機械学習は人間の道具として扱われる
でも機械学習のコードを丸パクリした場合はほとんど定義されていない
この辺りしっかり決めておかないと非常にマズイ事になる気がする

2018/12/28(金) 09:55:24.02

漫画だってわいせつ物になりえるんだからＣＧもものによってはなるでしょう。

2018/12/28(金) 10:45:47.06

わいせつの３要件

徒に性欲を刺激・興奮させること
普通人の正常な性的羞恥心を害すること
善良な性的道義観念に反すること

2018/12/28(金) 10:55:29.66

ワイ動画見ただけじゃ興奮しないんだが。猥褻物なぞ無いｷﾘ

2018/12/28(金) 11:28:32.32

児ポだって大多数の人は興奮しないから猥褻物に該当するかどうかみたいな議論あるしな

2018/12/28(金) 11:35:03.92

猥褻物を描く機械じゃなくてモザイクを消す機械だから問題無いのでは？
消した画像を公開できる状態にしたら流石にダメだろうけど。

2018/12/28(金) 11:40:38.32

Winnyやマイニングスクリプトで検挙される国ですし

2018/12/28(金) 11:43:58.12

お前らエロの話題だと急に盛り上がるなw

2018/12/28(金) 12:06:41.23

winnyは開発者が捕まるのがありえなかったよなー
マイニングスクリプトはモバイルはマジでやめて欲しいぞ。電池無くなる
PCで一部リソース使うぐらいならいいけど

2018/12/28(金) 12:10:54.40

名前忘れたけど反転系モザイク解除ソフトも捕まってたな
あれもソフト作る側には問題無いのに

2018/12/28(金) 12:13:34.81

一般的なセキュリティの紹介記事書いただけでウイルス公開したことにされて有罪食らう国だし

2018/12/28(金) 12:25:06.68

海外の鯖に置けばいい

2018/12/28(金) 12:40:59.01

Winnyの件を考えると、モザイクを消す学習済みモデルを配布するだけで逮捕されそうだよね。
でもまあ学習前のソース配布は問題ない筈だから
(類似や同じネットワークモデルを利用した他のソフトも違法になるため)
学習用無修正画像を自前で用意できればなんとかなりそうではある。

2018/12/28(金) 12:50:57.52

何らかのサービスを提供する場合は海外鯖に置いていても運営元が日本にあると判例上アウトだよね

**デフォルトの名無しさん** (ｽﾌｯ Sdfa-JcBT) · 2018/12/28(金) 12:53:10.36

アルファ碁の深層学習の仕組みについて
わかりやすく教えて下さい。

従来のようにモンテカルロ木探索も使われているのはわかりますが
深層学習をどう利用しているのか、いまいちよくわかりません。
深層学習は、画像認識ならわかりますが
これをどう囲碁に利用しているのかイメージが出来ません。

この点をわかりやすく教えて下さい。
よろしくお願いします。

**デフォルトの名無しさん** (JP 0H7e-AIgs) · 2018/12/28(金) 13:46:50.39

kernel読んでたらデータの標準化って出てきたんだけどこれやってもいいもんなんですかね
たとえば[1, 2, 3, 4, 5]だと[-2, -1, 0, -1, -2] / √2になるそうで
でもこれだと例えば最後の要素が最初の要素より4大きいっていう情報は欠落するじゃないですか
データの絶対値って重要じゃないんですかね

2018/12/28(金) 14:05:02.53

2乗して足すから問題ないって感じか

2018/12/28(金) 14:08:52.59

>>685
DMMだかfc2の無修正エロサイトは日本語で紹介してるから日本扱いでautoって無茶な判例だった

2018/12/28(金) 14:09:37.53

それは標準化の仕方が間違ってる
[-2, -1, 0, 1, 2]/√2
が正しいから大小関係は残る

2018/12/28(金) 15:15:52.25

>>687
よくある標準化は学習データを平均＝0、分散＝1にしてその時に使った係数を残しておいてテストデータにも適用する
分散を変える以上は差の絶対値が変わるのは仕方ないが同じ係数をテストデータに使うのが重要で、結局同じ比率で調整されるので問題はない

2018/12/28(金) 15:43:33.87

>>680
> winnyは開発者が捕まるのがありえなかったよなー
winnyは開発者は、考え方が厨二だったからなぁ

この世界は腐っている。一度滅びなければいけない。
新世界を作るために、私は滅びの道具を作った。
だからな。

世界を良くする道具を作ればいいのに、
なぜか滅ぼす道具を作って「お前らあとは頑張れ」だもんなぁ。
あんなんだからWinnyは何も変えられなかった。

2018/12/28(金) 15:44:18.38

厨二っていうかサイコパスかな

2018/12/28(金) 16:06:37.31

まともな用途向けだと流行らなかったりして

2018/12/28(金) 17:31:39.09

生きてたら仮想通貨やってただろうな
まああれも結局マネロン用途だろうからまともではないか

2018/12/28(金) 17:38:25.10

ソフトイーサはいいところ攻めてるような。捕まらないような持って行き方は色々あったろうに

2018/12/28(金) 17:39:23.71

ソフトイーサは単なるVPNじゃん。OpenVPNと変わらない

2018/12/28(金) 18:19:41.45

このブログの人の勤め先ってNTTデータとかCTC？
http://biz-and-deep.hatenablog.com/entry/2018/03/01/001228

外資系じゃなそうだけど、
この頻度で新規AI案件を取ってきて回してる大企業って思い浮かばない

2018/12/28(金) 18:29:01.65

>>698
NTTデータじゃないと思う。こんな下流は回らない
にしても日本はIT関連の営業レベルが低すぎる。
*やばいエンジニア
以下は本気でヤバイ

2018/12/28(金) 18:47:51.76

ここに書いてある中で、一つだけ賛成できないのは
データ（分析対象になるデータ）の件。
それこそ、生の形でデータを受取り分析者側で加工から
やることが私は必要だと思っている。

そもそも顧客のデータを信じるところから始めてはいけない。
今は、ネットのデータだったり、データが集まりやすいし
さらにデータベース化されているケースが多い。

それに甘んじたまま分析に入ろうとする人が多いのは
私は疑問。

2018/12/28(金) 19:07:54.99

>>700
どれに対して言ってるのか知らないけど
機械学習はデータをコンピュータを使って高速に演算するものなんだから、
データが重要なのは当たり前だよ。

でも "機械学習" ではないけどね。俺が機械学習に興味が薄いのは
結局最後にはデータをどうするか？の話になってしまうのがわかってるから。
機械学習のアルゴリズムがーではなく、○○データを加えることで精度がー。とかいう流れになる

行き着く先は、データの売買ビジネスだよ。

今はデータが有るようで無いからね。
例えば売上データはあるが、あるのは売上データだけだ。コンビニとか
年齢層入力してる（してた？）が曖昧だし、ポイントカードで情報抜き取る必要があるが
全員抜き取れるわけじゃないし、別の店で買う場合もある（つまり売れるはずの商品がわからない）

精度をあげるためのデータがわかってる。だけどそれらを集めるには
他社と協力していろんなデータを集めて統合しなければいけない
個人情報の保護がある時点で難しいし、ライバル会社と協力なんかしないだろ？ｗ

となると第三者のデータ売買会社からデータを買うことになる。
その始まりの姿がTポイントカードだろう

2018/12/28(金) 19:13:51.37

>>700
> 今は、ネットのデータだったり、データが集まりやすいし
> さらにデータベース化されているケースが多い。

ぶっちゃけ無いよ。

データベースの用語風に言えば、今データベース化されてるのは
マスターデータ。機械学習で必要なのはトランザクションデータ
トランザクションデータはほとんどデータベース化されていない

せいぜい自社の過去のデータが、必要最小限だけ残ってる程度

大企業以外、統計的に役に立たない
（正確に言えば人間が予測した精度と大差ない）

2018/12/28(金) 19:17:04.43

＞年齢層入力
元コンビニバイトだけど、忙しいと全部「10-20代」を叩くのが当たり前。タバコと酒でエラー出るからな
忙し店は若者向けで入力してる可能性が高い、というか当たり前

2018/12/28(金) 19:22:49.32

>>701

そういう話をしたわけじゃないんだよね。
残念ながらデータは足りなくてあたりまえだから。

2018/12/28(金) 19:24:30.41

>>703
そうですね。
その問題はもう25年前から出てきている話題

2018/12/28(金) 19:26:13.36

>>703
そうそう。信用できる過去のデータは少ない。
そういう意味でも「今はデータが有るようで無い」

データが間違ってるんだから、そこから学習しても間違った答えになる
まあ結局は確率でしか答えが出ないんだから、
ある程度は正解するんだけどねｗ

で、精度をあげようとすると、データの質がーって話になって
正しいデータを入力するよう徹底してくださいとか、
修正できるなら修正してくださいとか（例えば明らかなタイポとかなら修正できる）
そういう話に行き着くので、つまらねぇなぁと

2018/12/28(金) 19:27:47.85

>>706
そうなんです。
それを知るためには、まず本当の生データを分析するところから
はじめないと、ならないんですよ。

2018/12/28(金) 19:31:46.09

>>702
＞大企業以外、統計的に役に立たない
＞（正確に言えば人間が予測した精度と大差ない）

それ自体の分析から始めないとあかんのよ
それを使えるようにしてゆくのが仕事

2018/12/28(金) 19:37:46.16

機械学習の有用性はラプラスの悪魔がだけが知っている

2018/12/28(金) 19:41:12.28

>>708
分析までは良いんだよ
これぐらいの精度でした。おしまい。
という仕事なら

実際には精度の向上が求められ、人間がやるよりもいい結果を
得られるようにするのが目的。
仕事でやる場合は、これぐらいの精度でした。
もっと精度をあげるにはどうすればいいですか？
と話が続く

つまらないのはそこからだね
重要で大変だけど、人海戦術でつまらない作業の始まり

2018/12/28(金) 19:45:06.57

AIが本当に人類を超えるなら、そのゴミデータもaiも捨ててくれるんだけど
それはもう・・・

2018/12/28(金) 20:02:54.72

>>710
＞分析までは良いんだよ
＞これぐらいの精度でした。おしまい。
＞という仕事なら

な、あほな

2018/12/28(金) 20:06:33.00

異常値を通常は起こりえない値として捨てるべきか、
それとも一回だけだが攻撃された形跡があるぞと重要視するか

2018/12/28(金) 20:07:34.16

>>712
だから、そこでおしまいじゃないから、
あとはつまらなくなるって言ってるんだよｗ

機械学習とは関係ない作業の始まり

2018/12/28(金) 20:13:44.32

どういう層やユニットをどこに幾つ追加すれば更に精度が上がるか、どんな特徴量を追加すればいいか、これらを考慮しながらアップデートしていくのは機械学習の本質だろ

2018/12/28(金) 20:19:14.42

データを変えないでそれをやるってこと？

パラメータ変えてやってみて、結果見るだけだし
特徴量っていうのは結局画像解析や音声解析の分野の話でしょう？

2018/12/28(金) 20:22:04.91

画像解析や音声解析の道具として機械学習を使うっていうのは別に良いんだよ？
本来やりたいのは「画像解析」であり「音声解析」だから

機械学習をテーマとして考えると、つまらない作業もしくは
関係ない作業の話になるなぁと

2018/12/28(金) 20:23:37.77

機械学習の素養のある人が一定の根拠に基づいてパラメータ変えるのと、お手軽ソフトでポチポチやって理解した気になった素人が錬金術的にパラメータ変えて一喜一憂するのは天と地ほど違う

2018/12/28(金) 20:23:55.04

＞実際には精度の向上が求められ、人間がやるよりもいい結果を
＞得られるようにするのが目的。
＞仕事でやる場合は、これぐらいの精度でした。

→精度がクソ
if(バイト){
上司に報告;
} else {}
＞もっと精度をあげるにはどうすればいいだろう？
＞と話が続く

2018/12/28(金) 20:28:04.33

>>718
そうなると、機械学習というよりパラメータ職人だよねw

で、そういう職人いらずにするのがディープラーニングでしょ？

人間がやるよりもコンピュータの膨大な計算能力を使って
富豪的に処理したほうがいい。

2018/12/28(金) 20:28:05.68

あーすまん途中で書き込みtiちゃった
バイト君・外注の場合は上司に報告して終わり
社員は結果を出す必要がある
俺は当時、バイトで外注だったから「あーどうしよもないっすｗ最小二乗法でも-1であらゆるでーたと関係ないっす」と答えたな
小売はマジであらゆる変数と関係なかった（災害やセール日は除外。巨大な災害の日は店自体閉じた扱い）
びっくりした

2018/12/28(金) 20:32:49.31

>>720
＞で、そういう職人いらずにするのがディープラーニングでしょ？
違う

データ職人いらずにするなら、今度は計算式職人になる
今の所は全く関係のないのないデータは除外しないと適切なデータは出せない
仮にデータをいじらずにだそうすると、莫大な費用がかかる。googleならだsルかもしれんが

仮に気温を含めた小売のデータを出すと、フィンランドでは常にマイナスになるだろうな

2018/12/28(金) 20:33:21.04

で、ディープラーニングにしろ、人間が膨大なパラメータの組み合わせで検証するにしろ
コンピュータの膨大な計算能力を使うにもコストがかかるわけで、

将来は（すでにそうなってるかもしれないけど）
目的を達成するために
　機械学習のコスト VS 機械学習を使わないコスト
というコスト対決の話になって、割にあわないぁと判断されることが多くなると思う

機械学習しなくても（現状でも）それなりの精度で予測できてるわけなんだから

2018/12/28(金) 20:33:59.62

>>722
おいおい、違うって言うなら、違う根拠を書いてくれよｗ

2018/12/28(金) 20:43:01.57

スレが伸びてると思ったら・・・

2018/12/28(金) 20:50:16.26

>>724
君はディープラーニングには職人不要だと確信しているんだからその根拠となる論文・書籍・記事などを示せば反対意見など一切封じられると思うけど

2018/12/28(金) 21:06:22.55

>>724
すまない、今売上に関する学習やってたのでｄ若干適当に書いた
用途によると結論付いた
教師ではなく報酬だろう

・報酬あり
alphagoがまさｎそれ
報酬ないと適当に置くだけ

・教師なし
ヒューまりティクスを使うしかないが、
これにしてもやはり報酬と言い換えるしか無いだおる

mnistにしても教師か報酬アリでないとなんだかよくわからない結果になる

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a60-I/qK) · 2018/12/28(金) 21:42:07.32

>>681
https://ja.wikipedia.org/wiki/FLMASK

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a60-I/qK) · 2018/12/28(金) 21:43:07.61

>>682
むしろ犯罪として認定されうるほどのプログラミング技術に憧れます、私も逮捕されたい…

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a60-I/qK) · 2018/12/28(金) 21:45:23.34

>>692
＞この世界は腐っている。一度滅びなければいけない。新世界を作るために、私は滅びの道具を作った。
名言にして至高ですね
世の流れに抗うことはほとんど不可能ですが、世の流れを加速させることはできる、偉人にしかできない技だとおもいますね

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a60-I/qK) · 2018/12/28(金) 21:46:44.60

>>693
サイコパスは自己の利害損得計算に優れているだけ（ただその手段は特異的ですが）で、それは winny とは違うでしょうね

2018/12/28(金) 21:55:21.09

コテハン居たのね

2018/12/28(金) 22:04:08.14

いや頭のおかしな荒らしだから。

2018/12/28(金) 22:44:59.93

ディープラーニングが上手くいくのは、上手くいくまで人間が地道にチューニングしてるからだ、みたいな論文あったよね

2018/12/29(土) 00:02:52.55

動きがあるとモザイクがチラチラするだろ？
それを時間積分するモザイクによる低解像度化画像から
と高精細化できるだろうに
あほどもが。

2018/12/29(土) 00:16:55.75

>>735
日本語が不自由な方ですか？

2018/12/29(土) 01:16:35.33

QZは読まずにスルーしてるからいいけど
それ以外のも糞だったわ

2018/12/29(土) 06:39:12.58

>>691
標準化するデータセットによって平均値や分散が変わる
から訓練データセットとテストデータセット
でも平均値や分散が変わるかも知れないけど
訓練データセットの平均値と分散を使って
テストデータやテストデータセットの標準化処理をする
って事だよね

2018/12/29(土) 06:45:15.50

>>701
ビジネスに直結する以外のデータ活用用途もあるけどな

2018/12/29(土) 06:52:08.41

>>706
データ採取にAIを使う様になる
無人店舗とか

顔判別→ID
年齢もAIで推定
今人間が推定しているのをAIで推定する
手間が省けるし漏れも少なくなるし分散も小さくなるだろう
同一企業グループ内なら顔IDで名寄せできる

他企業間とかの話になると法律とか変える必要があるかも

2018/12/29(土) 06:53:29.03

>>710
つまらない作業をAIとかでやる様にすれば良い

2018/12/29(土) 07:12:05.37

>>717
あなたが想定している機械学習のテーマは
SVMのアルゴリズムとか
BPとかAEとかの学習アルゴリズム
に限定したものなんじゃね

実際の社会に影響を及ぼすには
それだけだは不十分

昔のコンピュータだと今の機械学習も実現できていないだろう
将来量子コンピュータとか実現したら
また状況は変わるだろう
BPとか使わずに量子コンピュータで最適な結合荷重を見つけられるかも知れない

2018/12/29(土) 07:14:40.83

>>720
ディープラーニングも結合荷重を見つける
パラメータ職人だけど
それを比較的精度よく見つけるアルゴリズムを
開発できた

他の機械学習のパラメータを特定するアルゴリズムを
あなたが開発すれば良いだけ

2018/12/29(土) 07:20:36.66

>>723
そんな事は既に他のビジネス領域では起きている

2018/12/29(土) 08:27:23.10

>>740
なるというより
もうやってることだからね

一般化していないだけで

2018/12/29(土) 09:27:32.82

NGID:sgV6Tx1Ua　ですっきりした

2018/12/29(土) 10:40:46.28

今年も2つほど人の脳神経に新しい仕組みが発見されたから
そういうのをどんどん理論化して取り入れると
性能UPしそうだよね

脳の詳細な解明にはあと100年かかる
らしいから俺たちの5代あとぐらいには
面白い世界になっていそう。

ただ、それまで人類は生き残れないだろうと
言われてるけどね

2018/12/29(土) 11:06:15.59

>>746
見たくないものから目を背け
不満をつぶやいて自分は何も提供できないんだな

2018/12/29(土) 11:46:23.11

>>748
これでいいか、うるせーボケカス

2018/12/29(土) 12:52:56.29

幼稚園児が「あっちは●●電車～」「こっちが●●線に乗り換え～」とか
規制ラッシュの混雑の中で大声で叫んでてうるさかったが
親がえらいね～ωωωとか普段からあやしてるんだろうな
誰でも知ってることを大声で喚いても恥ずかしいだけなんだが

2018/12/29(土) 13:13:25.27

ブログに書きなよ
建設的な意見欲しいならそっちの方がいいだろ
そしてリンクを貼ってくれ

**数おたサラリー** (ﾜｯﾁｮｲ 6e8a-3HZJ) · 2018/12/30(日) 06:38:33.37

アホくさい

2018/12/30(日) 09:23:19.78

>>747
金井良太先生が死んでからか？

2018/12/30(日) 09:27:21.08

>>729 >>682
故金子勇氏みたいに？

2018/12/30(日) 11:51:48.78

金子はサイコパスだから逮捕された

◆QZaw55cn4c (ﾜｯﾁｮｲ 3a47-I/qK) · 2018/12/30(日) 12:41:23.99

>>755
金子うじのどんなところがサイコパス？

2018/12/30(日) 13:24:38.05

ＡＩつくってる会社は所詮はソフト屋だから儲からない
ＡＩ使ったサービスつくってる会社が儲かる

2018/12/30(日) 13:27:21.26

>>757
サービス会社がAI作成する会社を買収しまくってるの知らないの

2018/12/30(日) 14:21:54.06

>>758
ＡＩを専門とする会社は基本的に、いくつか残るだけでお
あとはどこかに買収されてゆくでしょう。

2018/12/30(日) 16:03:42.77

ＡＩがとまらない

2018/12/30(日) 16:17:57.28

美和子

2018/12/30(日) 16:18:01.75

こらんビルの灯りが消えて行くよ
もうすぐ始発が走り出す
さよならだね
君の肩を叩くことも出来ないまま
ドアの前に二つの段ボールケース
社員証は机の上

2018/12/30(日) 16:25:03.80

ＡＩゆえに人は苦しまねばならぬ！
ＡＩゆえに人は悲しまねばならぬ！

2018/12/30(日) 16:29:23.48

ｼﾞｮｲﾔｰ

2018/12/30(日) 16:30:51.39

機械学習難しい
mnistすら何やってるか分からんから、
チュートリアル動かしてるだけだ。小学生でも出来るわ
みんなどうやって覚えてるの？

2018/12/30(日) 16:38:23.62

使うだけならブラックボックスでええねんで

**デフォルトの名無しさん** (ｽﾌｯ Sdfa-5Ilo) · 2018/12/30(日) 16:38:40.59

ディープラーニングによる創作について。
多くの画像(顔など)データを入力→別人の顔を生成は出来るのに、なぜ
多くの文章データを入力→小説を創作は出来ないの？

2018/12/30(日) 16:40:15.68

顔に文法が無いから

2018/12/30(日) 16:45:41.36

>>766
俺は自動生成のエロを作りたいんや・・・AIにより無限に湧き出るエロ動画が作りたいんや・・・！

2018/12/30(日) 16:46:13.39

時間軸がある表現が難しいから。
現状の機械学習だと反射に近い事しかできない。

2018/12/30(日) 16:47:08.52

>>767
機械学習は時系列を覚えるのが苦手
あと、商業的にもあまり美味しくないってのもある