【統計分析】機械学習・データマイニング22

2019/01/13(日) 09:13:37.19

機械学習とデータマイニングについて語れ若人

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2019/02/16(土) 21:17:06.09

GANで生成された画像がホントにデータセットにない画像なのかって気になるよね
たまたまミッキーマウスが生成されて著作権侵害で訴えられたりもあり得るのかなって

2019/02/17(日) 07:55:42.82

そもそも教師データとしての画像の著作権とか結構グレイだと思う。

2019/02/17(日) 08:27:46.53

>>675
送信とかしなければ著作権を侵害していないと思うけどな

人間が著作物を見て学習するのは問題ないし

著作権のうちのどの権利を侵害している？

2019/02/17(日) 08:38:06.59

>>676
この辺の話かな。このページだと大丈夫という結論だけれど。
ttps://www.itmedia.co.jp/news/articles/1710/10/news040.html

2019/02/17(日) 10:17:29.43

>>677の法律のおかげで今年から日本国内で作業するなら勝手に著作物を使って学習データにしてOKとなった
対象は日本の著作物に限らないのでディズニーキャラを使ってもいい

2019/02/17(日) 11:39:56.46

>>675
ちいたん★みたいに著作者自身が著作権侵害で訴えられるケースもあるようです

2019/02/17(日) 11:43:10.54

歌手が自分の歌を自分で歌うと著作権違反になるとか何とかあったような
そういや音楽以外の著作権もJASRAC管理なのか？

2019/02/17(日) 12:10:50.76

教師データを売る商売が成り立ちそうだな

2019/02/17(日) 12:14:04.40

>>677の記事を見れば分かると思うけど「電子計算機による情報解析を行うことを目的とする場合には、必要と認められる限度において、記録媒体への記録又は翻案（これにより創作した二次的著作物の記録を含む。）を行うことができる。」
と用途が限定されているので、ゆるキャラの画像を学習してゆるキャラメーカーを作るのはOKだけどゆるキャラの元データそのものの着ぐるみで活動するのはNG、
楽曲データを使って○○風の楽曲メーカーを作るのはOKだけど勝手に楽曲の元データを歌ったりするのはNGということ

2019/02/17(日) 12:21:27.12

>>682
ありがとー！

2019/02/17(日) 12:34:36.08

じゃあどんな著作物も重み1で固定したネットワーク通せば著作権フリーになるのか

2019/02/17(日) 12:41:30.35

>>684
そういう事すると著作権自体が変わったり、裁判官が「どうみても一緒やろｗ」で一蹴されるからやめておくれ～

2019/02/17(日) 12:52:15.51

常識的に考えてアウトなものは著作権法違反になるよ

https://storialaw.jp/blog/4936
＞例外的に但書が適用されるケースとして、たとえば「●●風キャラクター生成モデル用学習用データセット」と銘打って
＞特定の作家の全漫画を単にデジタル化しただけのデータセットを販売するようなケースが考えられます。
＞このケースは確かに学習済みモデル生成用の学習用データセットとして使おうと思えば使える
＞（ただし自分でラベル付などは行わなければなりませんが）データセットですので、本文２号「情報解析」には該当しますが、
＞このデータは、そのまま視聴して楽しむことも十分に可能です。とすると、但書に該当することになると思われます。

2019/02/17(日) 13:17:46.81

画像などの著作権について「人が」ではなく「個人が」というところを
気を付けないとね。音楽も個人が自分で口ずさむのはOK.

2019/02/17(日) 13:28:56.92

>>680
楽曲の著作権者は作詞者と作曲家だし
権利を会社が買い取っているかもしれない
歌手は自分の歌だと認識違いをしていたんだろう

2019/02/17(日) 13:32:52.10

>>682
記録媒体への記録
ってことだとネットからダウンロードして保存しただけで
該当しそう

なんか解釈が適切でないような気がする
送信可能にした人が複製権も許諾してもらってないと
おかしいと思うな

2019/02/17(日) 14:37:15.02

アドバイスいただきたい初心者なんですが。
何からスタートさせればよいでしょうか。おもしろい実例などご紹介いただきたいです。
統計の基本はおさえてるつもりです。

2019/02/17(日) 14:43:22.00

元祖の囲碁

2019/02/17(日) 15:53:28.30

メジャーリーガーの格付け

2019/02/17(日) 16:31:26.38

みかんの分別

2019/02/17(日) 16:47:49.82

irisからが基本?

2019/02/17(日) 18:18:53.08

あの～、pythonを使えば、簡単に動画から自分の顔を認識できるものなの？
勿論粗くても良いし、お遊び程度で良いんどけど。

実験材料としては、簡単に作れるから質問したんだけど。
動画から静止画に切り出すのはなんか有るでしょ。

2019/02/17(日) 18:26:00.97

opencvにそういうのあるからすぐできると思うけど
すぐが１日なのか１週間なのか１か月なのか１年なのかは人による

2019/02/17(日) 18:34:22.83

>>696 有り難う。棺桶に入る前までには結果を見れそうで安心した。

2019/02/17(日) 19:04:22.96

葬式用の写真を自動生成するのは需要あるかもな

2019/02/17(日) 19:12:05.84

>>690
本気で学ぶつもりの人向けに本を3冊紹介しよう

1. Python機械データ学習プログラミング達人データサイエンティストによる理論と実装

2. 詳解ディープラーニング TensorFlow・Kerasによる時系列データ処理

3. パターン認識と機械学習上下巻

1は入門書として素晴らしい
scikit-learnの使い方をしっかり学べる
2はディープラーニングでGPU使って何かしたい場合にはオススメできる
3は機械学習の教科書的存在のPRMLの和訳
機械学習関係は日本語の良書が多くて正直驚いている
これがブームってヤツか

2019/02/17(日) 19:49:43.00

>>690
tensorflowでもchainerでも良いのでMNISTデータセットで学習してみたら？
んでもって自分で手書きした数字の画像に対して推論かけてみるとか。
こんなんでとりあえずツールの使い方の手順は覚えると思う。

2019/02/17(日) 21:22:15.79

MNISTって何の工夫もないRandomForestでも98%くらい行くよね
CNNだと99%もすぐ超えるけど、深層学習を使うには物足りない気がする

2019/02/17(日) 21:27:39.25

あれは環境設定の確認用みたいなもんじゃないか

2019/02/17(日) 21:29:12.95

だよね
データセットも検証も現実的じゃないし
やっぱり初学で便利なのはKaggleのカーネル読みあさるのがおすすめ

2019/02/17(日) 21:40:24.41

>>703
Kaggleのカーネルいいよね
EDAから始まって、前処理からコンテストに投稿するまでしっかりと書いてある

2019/02/17(日) 23:14:54.64

良い解説サイト見つけた。

ディープラーニングの株価予測で気を付けるべき3つの落とし穴
https://aizine.ai/ai-deep-0717/?amp=1

2019/02/17(日) 23:22:05.18

みなさん、いろいろご回答ありがとうございます。
まずは、irisのデータでいろいろやってみようとおもいます。
それでなれたら、ほかにも手を出していこうとおもいます。ありがとうございました。

2019/02/17(日) 23:44:28.52

株価予測でLSTMとかいつの時代の話してるんや

2019/02/17(日) 23:51:09.94

2018.07.17の記事だった
多分2,3年前からあるよね

2019/02/18(月) 00:35:47.18

株価の変化を株価から予測するモデルはだめでしょ。

2019/02/18(月) 00:46:53.00

昔々のショートショートSF に数学者が競馬の馬券を当てる話があったな。

2019/02/18(月) 01:25:55.75

>>666
ベッキーよりも上品な感じだな

2019/02/18(月) 06:09:55.47

>>707
なにがいいの
普通にcnn?

2019/02/18(月) 07:33:14.65

株価予測は自然言語の解析の方が重要
ネットの情報を見てどれだけポジティブ・ネガティブな情報が集まっているかで判断するってのを見たな
株価だけ見て次を予測とか普通に考えて無理だろ

2019/02/18(月) 07:41:11.96

株価は予想出来ん
法則が無いんだから

法則があれば誰かがそれを利用し、法則が消え去る

2019/02/18(月) 07:45:09.23

>>714 予想できなくてもついていくことはできる。
今の大半はコンピュータ取引だから、瞬時に大変動する。人手だと間に合わない。

2019/02/18(月) 10:19:32.76

取引と連動まではまだしてないけど、形態素分析やって感情辞書で数値化というのを試験的に
やってみてる。辞書は金融用に自分でカスタマイズが必要。結構面倒だ。
だが手段が目的になりつつあるほど楽しいよｗ

2019/02/18(月) 11:18:26.55

>>714
効率的市場仮説
市場にすぐに反映されるから
予測した時には遅いっていう仮説があるな

2019/02/18(月) 11:20:35.30

相場に付いてくだけでも役に立つの?

2019/02/18(月) 14:39:27.15

すごいデイトレーダーはチャートだけで売買してる人いるみたいよ

別に自然言語解析不要じゃないの?

2019/02/18(月) 14:40:55.30

cisってヤツだろ

2019/02/18(月) 15:19:15.78

失礼な雇用統計も参考にしていますよ

2019/02/18(月) 15:25:54.10

>>719 勿論ニュースとか、大きな統計情報の発表は予想に使いながら、どのマーケットのどんな銘柄が動くか予測して、その中でどれに投資するかはチャートを見ながらじゃないの？

大きな流れを無視した投資は成り立たない。

2019/02/18(月) 15:54:02.21

株にAIが有効だとすれば、アンサンブル学習。
唯一無二のアルゴリズムは無く、毎日チューニングの繰り返し

2019/02/18(月) 16:36:38.88

Colaboratoryで色々遊んでみているんだけど学習後にGPUメモリが開放されません。
del model とか del history とかやったあと
gc.collect() やってみたりしているのですが、
どのようにGPUメモリを解放すればいいのでしょうか？

2019/02/18(月) 17:09:41.03

計算資源があればニュースが出た瞬間の分析でもリターンは出る
チャートの動きも同じ

上に出てる感情分析は部分的には有効
でもCNN Indexの強化版みたいな役割しか無い

2019/02/18(月) 17:12:13.33

メディアの方のCNNよ

2019/02/18(月) 20:27:29.65

>>719
デイトレやスキャルのように取引間隔が短くなるほど判断材料がチャート寄りになる。
だけど利益効率は低くなる。スタイル次第だね。

2019/02/18(月) 23:00:23.07

経済指標というのは統計データにそこまで精度があるもんじゃないからね
統計改竄とか騒いでるけど今に始まったことじゃないし。
数年平均の変化率を取る程度でも意味があるかどうかギリギリ

2019/02/19(火) 00:40:50.23

>>724
再起動

2019/02/19(火) 07:37:55.24

>>729
えぇ…
放ったかしにできないじゃん・・・

2019/02/19(火) 11:05:24.76

delじゃreleaseせんやろ

2019/02/19(火) 15:19:07.20

まあ、改竄じゃないわな
大きなミスではあるが

2019/02/19(火) 20:06:33.80

統計基準の変更に伴ってなぜか下振れがないってのは
確率的に独立でないことを示していると思いますが。。

2019/02/19(火) 20:57:30.91

>>733
何と何が独立でない？
統計基準の変更って全数検査か抜取り調査かの違いじゃね？

2019/02/19(火) 22:43:20.01

機械学習とかデータマイニングを勉強すれば
高卒でも関連職に就けますか？

2019/02/19(火) 22:55:12.27

本人の向学心と心構え次第ですが、付けますよ。
手法を作る、あるいは、それを駆使するという方面ではなく
つねに分析を念頭にいれて業務を覚えていけば、
機械学習、データマイニングの技術者が何をすればいいかの指針
あるいはヒントをだすことができます。

現在（昔からですが）の一番の問題は、日本において産と学が遊離していたために
こういった研究者が何をやったらいいかの指針やヒントが、なかなかでなかった
ところにあると思っています。

だから、もし実業でヒントを出す側になるのは大変有用ですし、それは業務を
こういった技術川知識＋業務知識の両面を知らないとできないことですから。

金融機関などの分野によっては、もう20数年前から実用化されているものが
あるわけで、それはそういった人（内部にはいなかったが）からできたことです。

2019/02/19(火) 22:58:13.72

技術的に必要と感じたら、また大学で勉強することがいいと思います。
私の周辺にはそういった人がたくさんいます。

場合によると足りないのは、そういった人が少ないことかもしれない。
日本が、何十年もの間大学から、新しいことやヒントがまるきり生まれてこない
という時代は、そろそろ終わりにしないといけない。行き来が重要。

2019/02/19(火) 23:23:06.80

外国の方も見てるスレだったのね

2019/02/19(火) 23:50:57.59

？？？

2019/02/20(水) 00:10:03.61

業務知識を付けてから、業務に機械学習を活かす方向ならありそうね。

2019/02/20(水) 00:11:29.51

仕事が茄子の選別なら、それを機械にやらせてみるとか

2019/02/20(水) 00:14:39.09

たとえば、もう15年くらい前からATMでお金降ろしたり預金したりするとき
「あなたなら○○円までローンが可能です」みたいなのが
出る銀行あるけど、あれって適当にやっているとか
統計手法を使ってやっているとか思っているひとがいるんでない？

2019/02/20(水) 00:39:23.66

すくなくとも機械学習とは無縁な気がする。
単に年間取引量とか年数とか貯蓄額などなどでさくっとライン決めてるんじゃないかな。
自分は同じ銀行でも出る口座と出ない口座があるね。

2019/02/20(水) 00:44:11.71

>743
れっきとした機械学習ですよ

2019/02/20(水) 00:52:08.87

これは日本の話
おそらく、機械学習やられている人でも、多くのひとが知らないんだと思う
その昔は、統計手法によるスコアリングあるいはニューラルネットを使った
ものが主流だったが、こういった利用には適しておらず、機械学習が
1990年過ぎに消費者金融業界から使われだした。
その後、クレジット業界、銀行と広まって行き、当初はATMに直結しては
いなかったが、約15年ほど前から、事前に属性と取引状況から判別して
リコメンドをするような仕組みが出てきた。

どうやっているかの詳細は言えないが、完全に機械学習手法が用いられていて
データが足りない部分は統計手法などのアンサンブルが行われている。
これについては日本の方が海外より進んでいる。

2019/02/20(水) 00:58:29.39

大学などでは、この時代にそういった研究はほぼされていないので、完全に
民間手動、さらにこういった実データは大学などに提供されることは
一切ないので、学業の世界では、そういったことが行われていることすら
知ら無い方がほぼ100%近いままで来たというのが現状。

その後だいぶ遅れて、大学でもそういったことを専門にやる研究室や
学部もできたが、こういったデータは手に入らないため、ネットで集まる
データやposデータなどを研究対象にするしかないために、大学などの研究はそちらに偏った
モノとして進んできて今がある。それはそれで研究課題があるのでいいのだが
あたかも日本において流通やネットがマイニングや機械学習の主流として進んできたと
大きな勘違いをされている方がたくさんいる。

2019/02/20(水) 01:41:43.93

>>745
1,2年前から銀行が機械学習の事業やるとかちょくちょく発表してるのはなんなん？

2019/02/20(水) 01:56:42.90

>>747
あれは、またこの話とまるきり別な流れと考えていいともう
それこそ、この掲示板での話題と同じようなような流れのことをやるんでしょう。

やられる方も、まるきり別。
おそらく行内でもまるきり別セクションで、人のつながりもなく流行にのる
システム部門だったり営業的部門だったりの仕事としてやるんじゃないのかな？

私がいま話した内容の場合は、システム部門だとかはまるきりタッチすることのない
せかいなので。

2019/02/20(水) 02:00:18.43

>>745
ニューラルネットが流行ってるのはここ数年
古くから使われてるのは多重回帰とかそんなんでしょ

日本は機械学習よりも人の判断にゆだねられてきた部分が多いと思う

2019/02/20(水) 02:11:35.73

>>749
カードなどの、不正利用関連でのニューラルネット利用は80年代後半から実用化されて
ずっと使われてますし、主流です。

リスクに関しても同じく80年代後半から一部使われたりしてますが、これは別な
理由から国内ではほとんど使われていない。

また株式投資などでは、同じ時期から野村や大和が研究して予測につかったり
して、結果は悪くないのですが、理由がつけられないので商売にならないので
やめました。商品作っても、顧客はなぜそれがいいのかの理由を知りたいんですよ
顧客も金融機関だから、預かっているお金でしょ。だから、失敗したときの
エクスキューズができない。ようはこの分野は当時ブラックボックスでは
商売にならなかったという背景がある。

結構みなさん、思った以上に、このあたりご存知ないみたいですね。

2019/02/20(水) 02:15:35.35

ちなみに、株式投資などは上記の理由から、機械学習などはすたれて、
統計理論によるものが主流として今まで来ている。

ただし、自己資金で個人投資家がニューラルネットつかって
15年以上前から儲けているひとは実際にいますし、ネットでもずっと
取引結果公開してましたよ。300万円で初めて、いまはゆうに億を超してます。
あくまで個人で本業ではないですけど。

2019/02/20(水) 02:19:47.56

＞リスクに関しても同じく80年代後半から一部使われたりしてますが、これは別な
＞理由から国内ではほとんど使われていない。

誤解するといけないので補足しておきます田、この分野でニューラルネットワークが
使われていないという話で別な機械学習手法が最も使われている分野です。

ちなみに、ニューラルネットワークは、今から30年以上前に大変流行ったのよ。
もちろん、今のように洗練されてはいないですが。

2019/02/20(水) 02:36:50.96

>>749

＞日本は機械学習よりも人の判断にゆだねられてきた部分が多いと思う
マーケティングの世界は大変遅くて、いまでもそれが主流ですよね

株式については85年あたりを境に大きく変化し、大手中堅証券関係や少し遅れて銀行
などが運用や商品開発に関して、数理手法中心に変化した。ここでは統計手法と最適化
手法が中心（当初研究していたニューラルネットはここで消えた）。
それに遅れること10年近くになってやと大学で専門的なコースができ始めた。

リスクに関しては、95年を境に大きく機械学習手法導入に代わって行き、それに伴い
大手消費者金融などの店舗が無くなった（それまでは、店舗で顔を見ながら、人が
判断していたんですよ）。カード会社も同時期。遅れて銀行などなど・・・

2019/02/20(水) 02:39:35.89

>>753
>リスクに関しては、95年を境に大きく機械学習手法導入に代わって行き、それに伴い
大手消費者金融などの店舗が無くなった（それまでは、店舗で顔を見ながら、人が
判断していたんですよ）

無人くんってそういう意味だったのか・・・

2019/02/20(水) 02:50:53.53

そうなんですよね。
ある大手消費者金融のトップは、今後店舗は無くなってゆく、さらに過当競争もある、
またグレーゾーン金利どうなるか（要はあの過払いにつながる話）など見据えました
よ。これは９５～６年の頃。
銀行は、まだのほほんとしてましたけどね。
リスクに関しては機械学習手法で1０年以上会社ごとに個別にモデルを作って
いて、その蓄積から15年くらい前に、いまのATMでのリコメンドが行われるように
なったという流れです。
その少し前ころにブレインパッドとか会社ができたと思うんですが、専門会社と
しては大変後発です。

2019/02/20(水) 03:09:39.19

銀行は三大業務が儲からないんで国内金融業者の真似をするってこと繰り返してるだけだね

2019/02/20(水) 04:36:03.76

ずぶの素人がRapidminerをなんとなく色々弄って
データマイニングを触り始めたんだけど、
結局h2o Flowで直接やれば有料版買わなくても良いのかと思った

KNIMEとかwekaとか触ってる人居ます？
結局RStudioでちくちく頑張るのが最善なのかと思い始めてます

2019/02/20(水) 04:36:57.17

データはあっても論文にしないから存在感もないし給料も上がらんてことなのね。

2019/02/20(水) 05:00:06.54

>>758
この分や、特に大学が軽視していたのは、なかなか論文として認めてもらえなかったからというのがおそらく現実だと思う。
今は変わってきた（と思う）ので、一生懸命になってきた

2019/02/20(水) 09:58:33.03

銀行はもう用済みだってさ、金借りないもん

2019/02/20(水) 10:46:26.82

ホントなら武富士から論文が出るか見物だな

2019/02/20(水) 11:22:15.65

あんな程度のことまで機械学習使ってるんだ。
なんか無駄なような気がするけど。

2019/02/20(水) 12:21:21.00

単に適当に係数調整した線形の計算式が1つあれば事足りそう

2019/02/20(水) 13:58:54.20

>>761
まあ武富士は無縁だな。
そういうのは、消費者金融とか銀行じゃなく専門のコンサル企業が
やってんだよ。限られてるけどFEGとかMRIあるいはNRIとか。

2019/02/20(水) 15:22:40.81

あんちべとかあの辺の人がいそう

2019/02/20(水) 15:29:02.13

地銀とかにコンサル企業がくっついてるけど、あれはそういう仕事してるとこなのか

2019/02/20(水) 15:36:35.42

>>763
なるほど、無知と言われちゃいますよ

2019/02/20(水) 15:46:38.79

>>766
ただし外資（ボストンやマッキンゼーというコンサルや会計系のアクセンチュア
などなど）は、経営コンサルやITコンサルなんで、このあたりのことは
やってない。知識も別なんで。

2019/02/20(水) 15:53:53.55

>>735
俺も高卒
しかもアホ学校
プログラミング自体始めて1年くらいで機械学習や統計を勉強して今はディープラーニングの本やってるけど微分なんかやった事ないし分からん事は沢山あって苦しい部分もあるけど頑張ろうぜ

2019/02/20(水) 16:04:36.88

そんなに流行ってるんだ。すごいブームだな。

2019/02/20(水) 16:10:44.12

学歴や年齢（第2新卒以上）でハンデが有る場合は、
技術を磨くより英語を勉強して外資行くのが正解ルートなIT業界

2019/02/20(水) 16:12:55.93

外資のIT業界は修士以上しかとらないんじゃないの？

2019/02/20(水) 16:28:06.46

外資は国ごとに体質が出るから

2019/02/20(水) 16:53:08.80

>>770
AIがらみはね。
質がね～いろいろあるんよ問題が。