【統計分析】機械学習・データマイニング20

2018/08/07(火) 18:56:37.59

機械学習とデータマイニングについて何でもいいので語れ若人

※ワッチョイだよん

次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/09/14(金) 04:17:16.85

w>>407
そっちの方がわからんやんけ！w

2018/09/14(金) 10:52:49.98

参考書見ながら勉強してて、教師あり学習はなんとなくイメージ湧くんだけど教師なし学習の部分に入ってから急に難しくて理解しにくい…
主成分分析とか特にややこしいんだけどこういう技術はやっぱり頻繁に使われるのかな？

2018/09/14(金) 10:59:03.56

やっぱり頻繁に使われる

2018/09/14(金) 12:40:46.79

めちゃ使う

2018/09/14(金) 12:41:56.63

一般企業で

2018/09/14(金) 14:37:37.68

PCAはできなきゃ可視化できねーから必須だろう

2018/09/14(金) 17:30:08.67

PCA会計はお手頃な価格

2018/09/14(金) 22:05:30.13

低学歴超初心者のゴミの俺が機械学習の勉強して5ヶ月
今更だけど統計の知識って避けて通れない気がしてきた
ここの人達はそういう知識も持ってるのかな…
機械学習でいっぱいいっぱいだけどやれるか俺…

2018/09/14(金) 22:36:41.30

>>415
無理だ、諦めろ。

2018/09/14(金) 23:11:14.48

機械学習に統計学の知識なんて必要ないよ
統計学は応用数学として高度な数学を必要とするが
機械学習に数学はいらない

2018/09/14(金) 23:16:28.78

機械学習でﾋﾞｯｸﾞﾃﾞｰﾀを扱うなら
最低でも正方行列でない行列を扱う対応分析や
疎な行列を計算機で扱うための知識が必要

2018/09/14(金) 23:25:54.63

PCAは機械学習の基礎技術と考えてよい

2018/09/14(金) 23:29:42.46

10～1000個ぐらいのパラメータを2～3軸ぐらいで見るためには必須です。

2018/09/14(金) 23:33:40.19

方法の一つとしてはそうだけど、基礎技術って言われると、んー？って思う。基礎的な技術だけど。

2018/09/15(土) 00:34:19.96

>>409 です
PCAを使うのはあくまで可視化がメインなの？
特徴量抽出とかも書いてあってこんがらがってる
例えば20個の特徴量がある100点のデータがあって、それを2次元にしたい場合20個の特徴量からなる各データ(100点)から分散が大きい線？保持する
ってイメージなんだけど、2次元にした時点で色んなデータが削ぎ落とされて、20個の特徴量をぜんぶ引っくるめたデータの主成分だけが残って素の特徴量の概念は消えてると思うんだけどそこから特徴量を抽出って？？？？ってなってる
日本語おかしくてごめん
自分の理解が完全に間違ってたり的外れな事言ってるのは十分理解してます…

2018/09/15(土) 00:47:14.50

統計検定2級レベルぐらいは機械学習に限らず解析とかするのに使えるから勉強しておくといい

2018/09/15(土) 01:49:47.53

情報系の学科でプログラムはそこそこ勉強してて
機械学習ライブラリを全く使ったことないんですがちょっと勉強したくて
機械学習入門ライブラリって何がおすすめですか

うまくいくかどうかは別にして
株とかFSみたいな時系列グラフの予測したり
将棋や囲碁みたいなゲームAIを作ってみたいです

2018/09/15(土) 01:59:22.37

このスレは素人しかいないのかよw

2018/09/15(土) 02:40:30.25

>>421
それはなぜそう思う？
PCAの結果って、数学的にニューラルネットのオートエンコーダの結果と一致する。
機械学習の本にそう書いてあるだろ？

2018/09/15(土) 03:55:20.45

ニューラルネットから入門すればPCA に言及してるとは限らんだろ。そんなことも分からんのかｗ

2018/09/15(土) 06:24:54.03

測定を概論として知ってるといいよ
測定知らないと数理工学の理解が浅くなると思う

2018/09/15(土) 10:30:45.02

測定ってはじめてきいたかも
回帰分析とか線形代数は最低限はわかると思います

2018/09/15(土) 12:29:12.79

>>428
測定ってmeasure(測度)のこと？

2018/09/15(土) 12:42:28.61

たとえば時系列データの配列があったとして
なんてライブラリにどういう設定で実行すればいいかっていうのがわからない

どういうことをやるかっていうアルゴリズムの概論説明ばかりで
プログライミングの入門サイトみたいなのがあんまりなくて
何をインストールしてどうかけばいいかのプログラムサンプルを出してくれるサイトがあんまり見つからない

2018/09/15(土) 12:43:32.90

計測工学、誤差論とかだよ

2018/09/15(土) 13:20:09.75

>>431
分類ならIrisとかベンチマークで使われるデータセットがあるので具体的な使い方も分かると思う。
君のやりたい事が何のアルゴリズムで実現できるかは、自分で概論一通り勉強しないと決まらないと思うのよね。

2018/09/15(土) 14:02:42.28

>>433
ありがとうございます

irisていうの使ってみます

機械学習って行列から結果ベクトルを生成する関数をつくるもので
教師データとして入力出力ペアを与えたらそれに近い答えを出す関数が作られて
未知のデータを流し込んでもそれなりに答えが出るみたいなイメージだったから
ライブラリでやることってたいした違いはないのかと思ってた

**CRFs** (ﾜｯﾁｮｲ 9780-9b2l) · 2018/09/15(土) 15:42:38.45

TensorFlow使ったほうがいい
くさるほどｻﾝﾌﾟﾙがある

2018/09/15(土) 15:47:56.06

CRFもTensorFlow使えばきっと余裕でできるﾊｽﾞ

2018/09/15(土) 16:08:00.97

>>433
Iris　機械学習　で検索してブログ２，３よんでみたけど
これってあやめの画像を認識するだけにしか使えないの？

画像認識はいまのとこ興味なくて

時系列データ予測（株とかよりはシーズン途中でのペナントレースの優勝予測とか）
ゲームAIとか
ツイッター上で知識獲得や自動応答
とかそのへんをやってみたいんだけど

>>435,436
TensorFlowはきいたことあるかも
次はそれ調べてみます
ありがとうございます

2018/09/15(土) 16:10:06.41

自由度、将来性、普及率考えればtensorflow一択
日本語資料多めで取っつきやすいのはchainer
とりあえず動かしてみたいkeras
最近の論文の実装例多めでやや将来性ありpytorch

2018/09/15(土) 16:12:35.37

>>437
やりたいことが明確なのはいいけどそこからアーキテクチャを勉強せずに実装に移るのは無理がある

2018/09/15(土) 16:14:19.13

>>439
そうなんですね

まずはプログラムを動かしてから
パラメータをかえていって使い方を覚えるみたいな感じで勉強してきたので…
とりあえず動かしてみたかったんですけど

2018/09/15(土) 16:54:50.74

決まったレスポンスが期待出来るWebやOSのAPI呼んで行く従来のプログラミングとは違いますな

2018/09/15(土) 16:57:36.10

>>441
計算は確定的に同じ結果を得られるけど？

2018/09/15(土) 17:01:57.99

使うデータやモデル決めて実装するのも自分だもの。誰かが用意してくれた既存のAPI呼ぶプログラミングとは違うでしょ

2018/09/15(土) 17:10:33.80

>>443
既存のクラスとかライブラリを一切使わないってこと？

コレクションとか配列とかもいちいち自分で管理するの？
もし仮にそうだとしたらそれを扱うような機能や関数を自分で作ってそれを利用するけどね

そこら辺は既存のライブラリ使っても結果への影響はほとんど変わらない

2018/09/15(土) 17:12:19.17

あいかわらず頭悪いは
ﾓﾃﾞﾙというのはﾄﾞｶﾀが使うﾓﾃﾞﾙの話じゃないからな

2018/09/15(土) 17:13:35.25

ｺｺが低学歴知恵遅れの限界
うんよくわかる

2018/09/15(土) 17:16:25.26

>>445
既存のAPIってなんのことを言ってる？
従来のプログラムがその既存のAPIを使うだけで完成するっていう認識は正しいの？

2018/09/15(土) 17:16:46.36

>>444
ライブラリを使っても自分の実装範囲が広いから、簡単なチュートリアル中々ないよね。って言いたかったんだ

2018/09/15(土) 17:19:28.82

これでも何か行ってくるようなら４４６の人におまかせするわ

2018/09/15(土) 17:27:07.77

試行錯誤が必要って意味なら
そんなの当たり前の事じゃね

テレビのシステムとか
携帯電話の通信システムとか作るのに
試行錯誤が必要なかったとでも？

自動車や飛行機でも同様

2018/09/15(土) 17:30:38.30

数理ﾓﾃﾞﾙの話だからな

ｺｰﾃﾞｨﾝｸﾞの話なんかｺｺでは一切関係ない

まずやりたいことを
まずどういった数理ﾓﾃﾞﾙで実現するかという話になる

数理ﾓﾃﾞﾙでの実現方法をきめたら
次は、なにもわかってない低学歴底辺ﾄﾞｶﾀどもが作業するときに
どういった実装ﾓﾃﾞﾙにすれば一番ｺｽﾄを抑えることができるか
という話だからな

ぜんぜんかみあってないﾜｹ

わかった？

2018/09/15(土) 17:37:18.38

で、TensorFlowはその数理ﾓﾃﾞﾙを
組み立てるためのﾗｲﾌﾞﾗﾘが充実している

当然、数理ﾓﾃﾞﾙがわかってないと
そんなﾗｲﾌﾞﾗﾘは使いこなすことはできない

2018/09/15(土) 17:45:46.95

>>451

数理モデルの所が物理モデルだったりするけど
やってることは同じようなものだ

それは普通に行われて来たこと

2018/09/15(土) 17:52:05.55

>>451
で結局何を言いたいかって事だけど
期待した結果を得られなくて大変だ
と言いたいの？

まぁガンバレ

2018/09/15(土) 17:53:12.18

物理はちゃんと現在もっとも有力な仮説があるからな
その仮説にあてこむだけですむ

検証可能で検証可されてるｻｲｴﾝｽの成果をそのままﾃｸﾉﾛｼﾞｰに反映する土台ができあがってる
そういった成果は、ﾊﾞｶでもﾁｮﾝでも利用することができる

AIにはそういうもんがない
形而上学の世界だからな

低学歴知恵遅れにはこの意味がわかることはないと思うわ
車程度ならﾆｭｰﾄﾝ力学で十分だしな

2018/09/15(土) 18:01:04.76

>>455
それが実現できないことに対する言分かな

他の組織で実現できたら
その時はどんな言分を考えるのかな

まぁ大変だろうけどガンバレ

2018/09/15(土) 18:03:52.60

tfってそういうものなのね

2018/09/15(土) 18:04:21.99

このｽﾚの低学歴知恵遅れたちは
まず数学は文系であることを理解することが先

2018/09/15(土) 18:28:11.11

数学、プログラミングは論理学なのか？
少なくとも数学はそうかもね。プログラミングはハードの知識も必要だから工学の要素があるけど

2018/09/15(土) 18:35:36.27

スレチ

2018/09/15(土) 18:56:43.43

プログラム板なのにプログラムの話NGだったんですね
失礼しました

2018/09/15(土) 20:49:01.87

捨て台詞を吐いて、その程度で諦めるていどのモノなのか?

2018/09/15(土) 21:41:23.44

捨て台詞のつもりはないんですが…
自分のレスがきっかけでスレの流れがよくなかったのでやめたほうがいいのかなと思って
なんかすごく感じ悪く受け取られちゃってますね
ほんとに申し訳ないです

TensorFlowを教えてもらったので使い方ぐらいは自分で調べてみます
ほんとは使ってる人にききながらやったほうが絶対早いと思うんですが…

2018/09/15(土) 21:41:48.76

あほでも使えるAIの学習済みライブラリが、すぐに出てくるかと思ってたけど、出ないな

実用に達していないレベルなら有るけど
https://dev.smt.docomo.ne.jp/?p=docs.api.index

2018/09/15(土) 21:46:41.15

>>463
TensorFlowのラッパーのKerasがやさしい。
サンプルは幾らでもある。
まずMNISTでもやってみなさい。

2018/09/16(日) 08:48:23.30

いい夢見ろよ（笑）

2018/09/16(日) 09:32:05.41

株の予想とかペナントレースの予想とか、AIの使いみちが全然わかってないなｗ

2018/09/16(日) 09:58:15.93

ユー、タイムマシン作っちゃいなよ

2018/09/16(日) 10:08:57.97

>>467
じゃあAIの使い道って何？

2018/09/16(日) 10:24:42.93

クラスタリングとか

2018/09/16(日) 10:31:26.53

AIじゃなくて人間の知能だって未来の予測は難しいわw

2018/09/16(日) 11:27:04.34

夏休み終わったのに怒涛の教えて君爆誕

2018/09/16(日) 14:08:29.73

その教えて君を追い払う役目の自称高学歴有識者のお前らのコメントも、いかにもブラックボックスから出た答えを鵜呑みにしてそうな抽象的なものばかり。
類は友を呼ぶ。

2018/09/16(日) 14:27:29.53

>>473
では正解サンプルとしてお手本を示してください。

2018/09/16(日) 18:04:12.36

>>473
具体的なコメントまだぁ？

2018/09/16(日) 21:36:06.16

>>473
具体的で独自解釈な論文まだぁ

2018/09/17(月) 01:18:13.47

スロベニア製のオレンジ使ってる人いる？

2018/09/17(月) 13:40:23.85

今日は統計解析の勉強する

2018/09/17(月) 15:07:41.13

明日はどっちだ！

2018/09/18(火) 20:40:14.73

ubuntuにjupyterをインストールしようとしたけど、これもう無理だな
英語コミュニティでも、ちゃんとは内容を理解できないけど、みんなで無理だのなんだの言ってる感じ
pythonのパッケージを管理するためだけに
linuxについてをここ二週間ずっと勉強してきたのに初手でつまずいてしまった

2018/09/18(火) 20:42:18.85

あっ、condaを使ってしまえば話は別ね

2018/09/18(火) 20:49:20.88

どういうこと？Jupyter Notebookがブラウザで立ち上がるだけじゃダメなの？

2018/09/18(火) 20:52:03.60

時系列解析の自己回帰(AR)モデルについて教えてください
「AR(1) = Rt = μ + Φ1Rt-1 + εt」という式で
次数1の時「Rt: 今回の値」は「Rt-1: 1つ前の値」から推定される
という式ですが、この「1つ前の値」は実測値ですか?
それとも「Rt-2」を使って算出された予測値を説明変数と
するのでしょうか？
前者が正しいなら1つ前の実測値がないと予測できない事になりますが、
後者が正しいなら何時点か前の初期値1つだけで何時点も後の
値を予測可能だと思うんですが、どちらでしょうか？

2018/09/18(火) 21:40:22.66

>>487
何を分析するかに依るけど
一般的には実測値だと思う

2018/09/18(火) 21:54:26.20

>>484
ありがとう。株価だよ。
すげえ悩んでたから助かったよ。

2018/09/18(火) 21:56:59.45

>>484
ごめん、正確には収益率。

2018/09/18(火) 21:58:14.97

>>482
せっかくのLINUX環境なのに、CLIで起動できない実行環境なんて悲しすぎる

なんて思ったけど、jupyterlabなら簡単にインストールできた
コレ、次世代すぎて使いこなせる気がしないけど
今ぱっと動かした感じだとpycharmの更に上を行くほど更に凄いな
てか今年の春にjupyter notebookの使用方法をマスターしたのに
もう上位互換が出るのかよ。やってらんねーよ

2018/09/18(火) 22:20:56.79

株価って機械学習で予測できるの？
こないだ質問したら人間ができないことはできないっていってなかった？

2018/09/19(水) 00:03:09.71

単純なデイトレゲームと仮定した場合

株：できる、しかし実際には法律でアウトになるのでできない
見せ板を多用した相場誘導や短時間での注文&キャンセル処理でAPIに負荷かけた時点で
法律的にアウト

仮想通貨：できる
株ではできない見せ板を多用した相場誘導が基本的に無制限で法律で取り締まられてもいない
取引所に負荷かけすぎて怒られたりBANされることは多々あり
具体的には、板を出しているのが人間かそうでないかを見分けることで
肉入りから証拠金を巻き上げるような動きが可能になる

長期的嫌気判断として見た場合

株：できる
実際に行われているのは上場企業の役員のTwitterチェックなど
マイナスやトラブルを引き起こすような発言があったとシステムが判断した場合
(要するに異常検知の一種で炎上を検知している)
AIによって一斉に売られたりする
よくマイナス異常検知のターゲットになってるのはイーロン・マスクと関連企業
マイナスの異常でなくプラスの異常検知でも同じ
ニュースに対する反応なども見る

仮想通貨：できる
しかも風説の流布の取り締まりなどが行われていない為やりたい放題できる
大手仮想通貨メディアを裏で操る人々は、この手の手法で荒稼ぎしているだろう
直近で言えば、ゴールドマン・サックスの仮想通貨トレードデスク開設中止報道etc...

まぁちょっと勉強すれば誰でも思いつくよな
仮想通貨はこんな各国の法整備状況で、ビットコインETF承認なんてされたらある意味祭り

2018/09/19(水) 00:12:36.78

取引方法がはじめからわかってたら、高速なシステムトレードやるだけだろ。
株価じたいではなく、ニュースからデータ仕入れて、何に反応するかの部分のAI化ってことか。

2018/09/19(水) 07:51:57.58

見せ板してる時点で、予想できてないじゃんｗ

2018/09/19(水) 08:01:29.20

予想の値を出すことは可能
だけどそれで目標の利益を得られるかは別じゃね？
一度上手く利益を得られたとしても
トータルでは違う結果になるかもしれない

2018/09/19(水) 11:10:21.21

AI×株の話題は荒れるから、野菜の分類でもやってろ
https://tech.nikkeibp.co.jp/it/atclact/active/17/070300314/070400002/?n_cid=nbpnxta_mled_act

2018/09/19(水) 11:32:57.12

ステマ

2018/09/19(水) 12:36:23.68

判別難し過ぎワロタ
https://tech.nikkeibp.co.jp/it/atclact/active/17/070300314/070400002/010.jpg

2018/09/19(水) 12:56:40.73

荒れるっていうか実際やってる人達が他のやつもみんなやりだすと稼げないからな
仮想通貨のデイトレゲーは大資本ないと厳しい(ただし、手数料フリーの取引所は例外)
深層異常検知の自動取引なんてすごいお手軽にリスクを最小化できる

まぁこの程度はネタバレにすらならん
大手はみんなやってることだろ

2018/09/19(水) 13:07:48.03

震災後は地震になると猛烈に先物を売る地震アルゴとかあったけど、
全戦全敗で撤退した

2018/09/19(水) 13:36:19.39

>深層異常検知の自動取引なんてすごいお手軽にリスクを最小化できる
それってどうやって性能評価してんの？

2018/09/19(水) 14:27:41.75

今日休みだから勉強してたけど5時間で参考書4ページくらいしか進んでない…
時間かけたからって理解したわけじゃないし…
ビニングとか交互作用とか多項式とか概要はまだしもなんでこれをやる必要があるのか全然分からん

2018/09/19(水) 17:46:00.61

俺はもう一冊読破したよ
コツは実践しながら読むこと

2018/09/19(水) 18:05:00.19

>>489
でも野村證券とか大手はAPIに負荷かけまくりじゃん？
おかしいよね？

見せ板も出しまくりだよね？

2018/09/19(水) 18:32:49.69

JUPYTERLAB、まじで統合開発環境になっていやがるな
機能が一気に増えたけど、余計なことまで出来るようになるのは吉か凶か

DSモドキ、機械学習エンジニア(笑)たちの御用達ツールって感じじゃなくなったな
本当にIDEだ。pythonを使って、チームで本格的な開発を行う人たちの強力なプラットホームだわ

2018/09/19(水) 19:09:37.45

jupyterlabはvim拡張がnotebookと比べて貧弱だったから使ってなかったけど今は進化したかな？

2018/09/19(水) 19:48:23.18

>>500
一冊終えるのに何ヶ月もかかるわ
だからって完全に理解してるわけじゃないし時間かかった分どんどん忘れていくし…
実際コード書きながらやるんだけど参考書の説明が分からないと先に進めず考えこむんだけど分からなくても先にとりあえず進んだ方が良いのかなぁ

2018/09/19(水) 20:10:53.74

>>495
よーし、裏山に生えてたニラでも食うかー

2018/09/19(水) 21:33:48.11

>>495
実物見りゃすぐ分かるよ

2018/09/19(水) 21:40:24.46

>>504
いちいち立ち止まって考えるのも、無理やり先に進むのも、どっちも正解だろ
どういうやり方をしてもすぐに忘れるんだから
ただ、表面的な知識を忘れても、なにか身についているような状態にするのが理想なんじゃないかなとは思う

数学、統計学、機械学習の理論、情報科学の基本的な考え方
プログラマー的な物作りの直感や、WEB系なら文系的な能力などなど
そういうものが最も大切で、ライブラリやプログラムの文法、ツールの使い方なんかは
適当にそのつどそのつどで調べながら身につければOKなんじゃないか

最近、ツール関連は流行り廃りが激しいから、使い方をいっぱんに覚えるより
使い方がわからないツールを、英語ドキュメントを読みながら、なんとなく動かして
作業をちんたらちんたら進められる能力のほうが貴重な気がしてきた