【統計分析】機械学習・データマイニング20

2018/08/07(火) 18:56:37.59

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/09/13(木) 11:28:11.38

>>386
訂正
×その他クラスの入力
○その他クラスの学習

2018/09/13(木) 12:02:33.48

シグモイド関数以外で判定すればいいんじゃね?具体的には知らんけど

2018/09/13(木) 13:46:19.92

>>386
犬に似た動物か犬かは人間も見た目だけでは判別できないのでは？
DNAとかをみて分類するのであればそれを入力として判別するように学習するんだと思う

あくまでも既知の物に近い物の中でどれに近いかを判別するのだと思う

人間も例えば人の名前を聞いた時に
自分が知っている人の中から思い浮かべるはず

名前の文字列から同姓同名の知らない人かどうかは判別できない

2018/09/13(木) 13:52:05.24

つまり似ているけど違うものを正しく判別出来ないときは
判別手法が適切でない可能性だけでなく
入力情報が不足している可能性も考える必要がある

当たり前のことだけど

逆に判別手法は同じでも入力情報を変える事で目的を達成できるかもしれない

2018/09/13(木) 13:52:25.76

まず大前提として、バイアスが高いとかでなけりゃ
データ数が機械学習のすべて
DNNなら基本的にバイアスが高い状態は無視できるんだから
人が見て判別できる特徴を学習できるほどデータが足りないから誤判別するんだよ
そのデータ数を補い学習を促進させるのがGAN

ｱｳｰｲﾓ MM1b-P3CUの問いに対する今最も適当な答えは、GANを組み込めって事だ

もう組み込んでるなら、CNNの前にattentionをぶっ込んで
attention順のtimestepやpositionを特徴に付加した上でCNNで畳み込むモデルを作ったりしろ
ここは先端研究分野だから論文読んで勉強して自分で試せとしか言えない

2018/09/13(木) 13:56:03.92

>>386
もしかして、教師あり機械学習において、訓練データとして正例だけで(負例は与えずに)判定器を作れるか、という話なのかな？

もしそうであるなら、教師あり学習では出来ないと思うけど。

2018/09/13(木) 14:02:20.97

6とbの例だと
数字を入力する欄に書かれている場合は6の可能性が高い
前後が数字だったらとか文脈情報を付加する事で
正解率を上げることはできると思う

人間も無意識に探索空間を限定していると思うよ
6はアラビア数字空間で見たら6だけど
ローマ数字空間でみたら該当なしが正解

2018/09/13(木) 14:10:38.03

>>386
で、もし負例を集めるのが大変だという事であれば、学習済みの重みを使って転移学習できるかどうかを検討してみたらどうかな？画像系や言語系なら色々あると思うけど。

2018/09/13(木) 15:36:31.62

NVIDIA、AI学習モデルの推論処理に特化した「Tesla T4」
～Pascal比で12倍の性能
https://pc.watch.impress.co.jp/docs/news/1142896.html

これって学習にも使えるの？
使えたとして個人で買える価格なのかな

2018/09/13(木) 15:51:01.39

inferenceに特化してるとしか書いてないな
学習に使えたとしても大した性能でないんじゃないかな

2018/09/13(木) 15:56:28.84

パスカル比ｗ

2018/09/13(木) 18:28:06.03

あらいぐまパスカル

2018/09/13(木) 18:46:20.90

GANで300x300ピクセル以上の自然なフルカラーRGBを24時間以内に生成するには、
幾らぐらいのGPUを買えば良いですか？

2018/09/13(木) 19:00:02.47

300万円

2018/09/13(木) 19:03:22.94

>>398
書こうと思って思い留まった

2018/09/13(木) 19:26:37.35

アライグマ12匹ぶんの性能！

2018/09/13(木) 19:58:05.51

>>395
Teslaって時点で、個人で買うものじゃないだろ

2018/09/13(木) 20:31:45.95

>>395
FP16が速いようだけど、FP16で学習を安定化させるためには少し工夫が必要
できればおそらく学習も速くできる

2018/09/13(木) 20:41:17.04

>>404
去年のGTC JAPAN の資料
ttps://www.nvidia.com/content/apac/gtc/ja/pdf/2017/1055.pdf

論文も出てる

2018/09/13(木) 22:00:22.48

たぶんTITAN V買った方が幸せになれる
値段もそんなに変わらないだろうし

2018/09/13(木) 22:05:14.73

くそ～おまいらの会話が分からないぜ。プレモル読んでくるﾉｼ

2018/09/14(金) 04:17:16.85

w>>407
そっちの方がわからんやんけ！w

2018/09/14(金) 10:52:49.98

参考書見ながら勉強してて、教師あり学習はなんとなくイメージ湧くんだけど教師なし学習の部分に入ってから急に難しくて理解しにくい…
主成分分析とか特にややこしいんだけどこういう技術はやっぱり頻繁に使われるのかな？

2018/09/14(金) 10:59:03.56

やっぱり頻繁に使われる

2018/09/14(金) 12:40:46.79

めちゃ使う

2018/09/14(金) 12:41:56.63

一般企業で

2018/09/14(金) 14:37:37.68

PCAはできなきゃ可視化できねーから必須だろう

2018/09/14(金) 17:30:08.67

PCA会計はお手頃な価格

2018/09/14(金) 22:05:30.13

低学歴超初心者のゴミの俺が機械学習の勉強して5ヶ月
今更だけど統計の知識って避けて通れない気がしてきた
ここの人達はそういう知識も持ってるのかな…
機械学習でいっぱいいっぱいだけどやれるか俺…

2018/09/14(金) 22:36:41.30

>>415
無理だ、諦めろ。

2018/09/14(金) 23:11:14.48

機械学習に統計学の知識なんて必要ないよ
統計学は応用数学として高度な数学を必要とするが
機械学習に数学はいらない

2018/09/14(金) 23:16:28.78

機械学習でﾋﾞｯｸﾞﾃﾞｰﾀを扱うなら
最低でも正方行列でない行列を扱う対応分析や
疎な行列を計算機で扱うための知識が必要

2018/09/14(金) 23:25:54.63

PCAは機械学習の基礎技術と考えてよい

2018/09/14(金) 23:29:42.46

10～1000個ぐらいのパラメータを2～3軸ぐらいで見るためには必須です。

2018/09/14(金) 23:33:40.19

方法の一つとしてはそうだけど、基礎技術って言われると、んー？って思う。基礎的な技術だけど。

2018/09/15(土) 00:34:19.96

>>409 です
PCAを使うのはあくまで可視化がメインなの？
特徴量抽出とかも書いてあってこんがらがってる
例えば20個の特徴量がある100点のデータがあって、それを2次元にしたい場合20個の特徴量からなる各データ(100点)から分散が大きい線？保持する
ってイメージなんだけど、2次元にした時点で色んなデータが削ぎ落とされて、20個の特徴量をぜんぶ引っくるめたデータの主成分だけが残って素の特徴量の概念は消えてると思うんだけどそこから特徴量を抽出って？？？？ってなってる
日本語おかしくてごめん
自分の理解が完全に間違ってたり的外れな事言ってるのは十分理解してます…

2018/09/15(土) 00:47:14.50

統計検定2級レベルぐらいは機械学習に限らず解析とかするのに使えるから勉強しておくといい

2018/09/15(土) 01:49:47.53

情報系の学科でプログラムはそこそこ勉強してて
機械学習ライブラリを全く使ったことないんですがちょっと勉強したくて
機械学習入門ライブラリって何がおすすめですか

うまくいくかどうかは別にして
株とかFSみたいな時系列グラフの予測したり
将棋や囲碁みたいなゲームAIを作ってみたいです

2018/09/15(土) 01:59:22.37

このスレは素人しかいないのかよw

2018/09/15(土) 02:40:30.25

>>421
それはなぜそう思う？
PCAの結果って、数学的にニューラルネットのオートエンコーダの結果と一致する。
機械学習の本にそう書いてあるだろ？

2018/09/15(土) 03:55:20.45

ニューラルネットから入門すればPCA に言及してるとは限らんだろ。そんなことも分からんのかｗ

2018/09/15(土) 06:24:54.03

測定を概論として知ってるといいよ
測定知らないと数理工学の理解が浅くなると思う

2018/09/15(土) 10:30:45.02

測定ってはじめてきいたかも
回帰分析とか線形代数は最低限はわかると思います

2018/09/15(土) 12:29:12.79

>>428
測定ってmeasure(測度)のこと？

2018/09/15(土) 12:42:28.61

たとえば時系列データの配列があったとして
なんてライブラリにどういう設定で実行すればいいかっていうのがわからない

どういうことをやるかっていうアルゴリズムの概論説明ばかりで
プログライミングの入門サイトみたいなのがあんまりなくて
何をインストールしてどうかけばいいかのプログラムサンプルを出してくれるサイトがあんまり見つからない

2018/09/15(土) 12:43:32.90

計測工学、誤差論とかだよ

2018/09/15(土) 13:20:09.75

>>431
分類ならIrisとかベンチマークで使われるデータセットがあるので具体的な使い方も分かると思う。
君のやりたい事が何のアルゴリズムで実現できるかは、自分で概論一通り勉強しないと決まらないと思うのよね。

2018/09/15(土) 14:02:42.28

>>433
ありがとうございます

irisていうの使ってみます

機械学習って行列から結果ベクトルを生成する関数をつくるもので
教師データとして入力出力ペアを与えたらそれに近い答えを出す関数が作られて
未知のデータを流し込んでもそれなりに答えが出るみたいなイメージだったから
ライブラリでやることってたいした違いはないのかと思ってた

**CRFs** (ﾜｯﾁｮｲ 9780-9b2l) · 2018/09/15(土) 15:42:38.45

TensorFlow使ったほうがいい
くさるほどｻﾝﾌﾟﾙがある

2018/09/15(土) 15:47:56.06

CRFもTensorFlow使えばきっと余裕でできるﾊｽﾞ

2018/09/15(土) 16:08:00.97

>>433
Iris　機械学習　で検索してブログ２，３よんでみたけど
これってあやめの画像を認識するだけにしか使えないの？

画像認識はいまのとこ興味なくて

時系列データ予測（株とかよりはシーズン途中でのペナントレースの優勝予測とか）
ゲームAIとか
ツイッター上で知識獲得や自動応答
とかそのへんをやってみたいんだけど

>>435,436
TensorFlowはきいたことあるかも
次はそれ調べてみます
ありがとうございます

2018/09/15(土) 16:10:06.41

自由度、将来性、普及率考えればtensorflow一択
日本語資料多めで取っつきやすいのはchainer
とりあえず動かしてみたいkeras
最近の論文の実装例多めでやや将来性ありpytorch

2018/09/15(土) 16:12:35.37

>>437
やりたいことが明確なのはいいけどそこからアーキテクチャを勉強せずに実装に移るのは無理がある

2018/09/15(土) 16:14:19.13

>>439
そうなんですね

まずはプログラムを動かしてから
パラメータをかえていって使い方を覚えるみたいな感じで勉強してきたので…
とりあえず動かしてみたかったんですけど

2018/09/15(土) 16:54:50.74

決まったレスポンスが期待出来るWebやOSのAPI呼んで行く従来のプログラミングとは違いますな

2018/09/15(土) 16:57:36.10

>>441
計算は確定的に同じ結果を得られるけど？

2018/09/15(土) 17:01:57.99

使うデータやモデル決めて実装するのも自分だもの。誰かが用意してくれた既存のAPI呼ぶプログラミングとは違うでしょ

2018/09/15(土) 17:10:33.80

>>443
既存のクラスとかライブラリを一切使わないってこと？

コレクションとか配列とかもいちいち自分で管理するの？
もし仮にそうだとしたらそれを扱うような機能や関数を自分で作ってそれを利用するけどね

そこら辺は既存のライブラリ使っても結果への影響はほとんど変わらない

2018/09/15(土) 17:12:19.17

あいかわらず頭悪いは
ﾓﾃﾞﾙというのはﾄﾞｶﾀが使うﾓﾃﾞﾙの話じゃないからな

2018/09/15(土) 17:13:35.25

ｺｺが低学歴知恵遅れの限界
うんよくわかる

2018/09/15(土) 17:16:25.26

>>445
既存のAPIってなんのことを言ってる？
従来のプログラムがその既存のAPIを使うだけで完成するっていう認識は正しいの？

2018/09/15(土) 17:16:46.36

>>444
ライブラリを使っても自分の実装範囲が広いから、簡単なチュートリアル中々ないよね。って言いたかったんだ

2018/09/15(土) 17:19:28.82

これでも何か行ってくるようなら４４６の人におまかせするわ

2018/09/15(土) 17:27:07.77

試行錯誤が必要って意味なら
そんなの当たり前の事じゃね

テレビのシステムとか
携帯電話の通信システムとか作るのに
試行錯誤が必要なかったとでも？

自動車や飛行機でも同様

2018/09/15(土) 17:30:38.30

数理ﾓﾃﾞﾙの話だからな

ｺｰﾃﾞｨﾝｸﾞの話なんかｺｺでは一切関係ない

まずやりたいことを
まずどういった数理ﾓﾃﾞﾙで実現するかという話になる

数理ﾓﾃﾞﾙでの実現方法をきめたら
次は、なにもわかってない低学歴底辺ﾄﾞｶﾀどもが作業するときに
どういった実装ﾓﾃﾞﾙにすれば一番ｺｽﾄを抑えることができるか
という話だからな

ぜんぜんかみあってないﾜｹ

わかった？

2018/09/15(土) 17:37:18.38

で、TensorFlowはその数理ﾓﾃﾞﾙを
組み立てるためのﾗｲﾌﾞﾗﾘが充実している

当然、数理ﾓﾃﾞﾙがわかってないと
そんなﾗｲﾌﾞﾗﾘは使いこなすことはできない

2018/09/15(土) 17:45:46.95

>>451

数理モデルの所が物理モデルだったりするけど
やってることは同じようなものだ

それは普通に行われて来たこと

2018/09/15(土) 17:52:05.55

>>451
で結局何を言いたいかって事だけど
期待した結果を得られなくて大変だ
と言いたいの？

まぁガンバレ

2018/09/15(土) 17:53:12.18

物理はちゃんと現在もっとも有力な仮説があるからな
その仮説にあてこむだけですむ

検証可能で検証可されてるｻｲｴﾝｽの成果をそのままﾃｸﾉﾛｼﾞｰに反映する土台ができあがってる
そういった成果は、ﾊﾞｶでもﾁｮﾝでも利用することができる

AIにはそういうもんがない
形而上学の世界だからな

低学歴知恵遅れにはこの意味がわかることはないと思うわ
車程度ならﾆｭｰﾄﾝ力学で十分だしな

2018/09/15(土) 18:01:04.76

>>455
それが実現できないことに対する言分かな

他の組織で実現できたら
その時はどんな言分を考えるのかな

まぁ大変だろうけどガンバレ

2018/09/15(土) 18:03:52.60

tfってそういうものなのね

2018/09/15(土) 18:04:21.99

このｽﾚの低学歴知恵遅れたちは
まず数学は文系であることを理解することが先

2018/09/15(土) 18:28:11.11

数学、プログラミングは論理学なのか？
少なくとも数学はそうかもね。プログラミングはハードの知識も必要だから工学の要素があるけど

2018/09/15(土) 18:35:36.27

スレチ

2018/09/15(土) 18:56:43.43

プログラム板なのにプログラムの話NGだったんですね
失礼しました

2018/09/15(土) 20:49:01.87

捨て台詞を吐いて、その程度で諦めるていどのモノなのか?

2018/09/15(土) 21:41:23.44

捨て台詞のつもりはないんですが…
自分のレスがきっかけでスレの流れがよくなかったのでやめたほうがいいのかなと思って
なんかすごく感じ悪く受け取られちゃってますね
ほんとに申し訳ないです

TensorFlowを教えてもらったので使い方ぐらいは自分で調べてみます
ほんとは使ってる人にききながらやったほうが絶対早いと思うんですが…

2018/09/15(土) 21:41:48.76

あほでも使えるAIの学習済みライブラリが、すぐに出てくるかと思ってたけど、出ないな

実用に達していないレベルなら有るけど
https://dev.smt.docomo.ne.jp/?p=docs.api.index

2018/09/15(土) 21:46:41.15

>>463
TensorFlowのラッパーのKerasがやさしい。
サンプルは幾らでもある。
まずMNISTでもやってみなさい。

2018/09/16(日) 08:48:23.30

いい夢見ろよ（笑）

2018/09/16(日) 09:32:05.41

株の予想とかペナントレースの予想とか、AIの使いみちが全然わかってないなｗ

2018/09/16(日) 09:58:15.93

ユー、タイムマシン作っちゃいなよ

2018/09/16(日) 10:08:57.97

>>467
じゃあAIの使い道って何？

2018/09/16(日) 10:24:42.93

クラスタリングとか

2018/09/16(日) 10:31:26.53

AIじゃなくて人間の知能だって未来の予測は難しいわw

2018/09/16(日) 11:27:04.34

夏休み終わったのに怒涛の教えて君爆誕

2018/09/16(日) 14:08:29.73

その教えて君を追い払う役目の自称高学歴有識者のお前らのコメントも、いかにもブラックボックスから出た答えを鵜呑みにしてそうな抽象的なものばかり。
類は友を呼ぶ。

2018/09/16(日) 14:27:29.53

>>473
では正解サンプルとしてお手本を示してください。

2018/09/16(日) 18:04:12.36

>>473
具体的なコメントまだぁ？

2018/09/16(日) 21:36:06.16

>>473
具体的で独自解釈な論文まだぁ

2018/09/17(月) 01:18:13.47

スロベニア製のオレンジ使ってる人いる？

2018/09/17(月) 13:40:23.85

今日は統計解析の勉強する

2018/09/17(月) 15:07:41.13

明日はどっちだ！

2018/09/18(火) 20:40:14.73

ubuntuにjupyterをインストールしようとしたけど、これもう無理だな
英語コミュニティでも、ちゃんとは内容を理解できないけど、みんなで無理だのなんだの言ってる感じ
pythonのパッケージを管理するためだけに
linuxについてをここ二週間ずっと勉強してきたのに初手でつまずいてしまった

2018/09/18(火) 20:42:18.85

あっ、condaを使ってしまえば話は別ね

2018/09/18(火) 20:49:20.88

どういうこと？Jupyter Notebookがブラウザで立ち上がるだけじゃダメなの？

2018/09/18(火) 20:52:03.60

時系列解析の自己回帰(AR)モデルについて教えてください
「AR(1) = Rt = μ + Φ1Rt-1 + εt」という式で
次数1の時「Rt: 今回の値」は「Rt-1: 1つ前の値」から推定される
という式ですが、この「1つ前の値」は実測値ですか?
それとも「Rt-2」を使って算出された予測値を説明変数と
するのでしょうか？
前者が正しいなら1つ前の実測値がないと予測できない事になりますが、
後者が正しいなら何時点か前の初期値1つだけで何時点も後の
値を予測可能だと思うんですが、どちらでしょうか？

2018/09/18(火) 21:40:22.66

>>487
何を分析するかに依るけど
一般的には実測値だと思う

2018/09/18(火) 21:54:26.20

>>484
ありがとう。株価だよ。
すげえ悩んでたから助かったよ。

2018/09/18(火) 21:56:59.45

>>484
ごめん、正確には収益率。