【統計分析】機械学習・データマイニング20
■ このスレッドは過去ログ倉庫に格納されています
機械学習とデータマイニングについて何でもいいので語れ若人
※ワッチョイだよん
次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured Rはもう結構昔からもう終わりじゃね、と言われていたけど、むしろ最近書籍増えてるよね。
機械学習でも統計でも。
Mathematicaは本が激減したなあ。
その手の用途はだいたいPythonに移ったってことか？ intelのideepを試したいけど、これってインテルのCPU内のどのリソースを使っているの？ GPU? VLIW命令？
教えてください。 sympyで大体mathematicaの代わりとしては十分かと >>11
中学や高校でプログラムの授業やるみたいやけどpythonとsympyを数学の授業で教えといたら使えるようになるやろ。 学校で教えると全てのものが糞になる。
特に受験英語と受験数学。 読み書きに関しては日本の学校英語教育で十分だけどね
高校卒業まで真面目にやっていれば哲学書でもない限り読めない文章はそうそうないはず 機械学習なんて学校教育で教えるような分野でもないよ
寝言でもなんでもなく、基礎のある奴が本気で取り組めば一年で最先端に追いつく分野
実務で使おうと思えばやること増えるけど
てか、機械学習って日本ではそんなに需要ないよね Pythonに急速に人が集まってるから、これからPHPとJavaを駆逐しそう PythonはＷｅｂには広まってないから
PHPとJavaには影響ないな Rubyにnumruby,pandas,matplotlib
があれば歴史は違っていた ライブラリとコミュニティの違いを除いてrubyがpythonに明確に劣ってる感じはしないけどなあ。
まあバージョン1.8でrubyからpythonに乗り換えたんでそれ以降はあまり知らないんだけど。 >>23
静的ruby に取り組もう、と決心しました >>25
機能の優劣はともかく、海外じゃRoR 以外の用途ではRubyは殆ど使われてないし >>27
鯖缶ツールみたいので
Rubyで書かれてるのなかったっけ？ 科学系とかラズパイとかもpythonだねえ。利用者の裾野広い ruby にしろchainer にしろ、ユーザの多くが日本だけだときついわな。徐々に駆逐されてく >>33
やっぱり、人が多い所を学習しとかないとね
駆逐された時に学習した時間が無駄になる >>33 >>34
同意。流行りものに飛び付いてるようで抵抗もあるけど、メインストリームは抑えておかないと後で泣くはめになる 今まで数件ＡＩ使ったソフト納品したが、全部人がやってたものを置き換えただけだ。 全部使ってみて自分に合ったものを使うのがいい。
人が集まるのは初心者受けしてるだけかもしれないし。 >>25
＞ライブラリとコミュニティの違いを除いてrubyがpythonに明確に劣ってる感じはしないけどなあ。
いやそれが決定的に重要だったてことじゃね？
宗教に例えればpythonはキリスト教
rubyはモルモン教
おんなじようなもんじゃんというかもしれんが輸血も剣道も禁止したりと迷惑カルトみたいなもの 前スレでＡＩはコストセンターでしかないって書き込みあったが、結局そうなんだろうか >>21
バージョン1.0が出たJuliaにも集まれ。 機械学習とその他の統計分析の手法の選択って
元データがほとんど定量的な数値だったら機械学習、
データに文字列とか定性的なカテゴリ型を多く含むのだと
したら重回帰分析とかピボットテーブルみたいな切り分けでいいの？ Juliaは期待してたんだけど、python が深層学習ブームに上手くのっちゃったからなぁ rubyの御本尊の周りは日本語で議論を勝手に進めちゃうって不満なら聞いたことある。 | SHINJI KAGAWA / 香川真司 @S_Kagawa0317 3分前
| イニエスタ…
香川も見てるんだな >>44
Juliaにも一応深層学習のライブラリあったけどな。流行ってるかは知らんが 機械学習の説明変数にカテゴリー的なデータを
数値化したものがあってもうまく学習できますか？
たとえば
「月」のカラムに「1~12」までの数値のどれかが格納され、
「曜日」のカラムに「0~6」まで
「日」のカラムに「1~31」のどれかを格納して学習させることは
できますか？
アルゴリズムはRBFのSVM
ランダムフォレスト
ニューラルネットなどを使うつもりです。
株価などを予測したくて、
ラベルには「急上昇」「上昇」「横ばい」「下落」「急下落」の
5クラスに分類したいです。 まあやってみいとしか
理想的な嘘のデータでやってみ？ 一律ではなく使う手法によるはず
OneHotEncodingなどの処理が必要になる手法もあれば
この特徴量はカテゴリデータであると指定すれば良い手法もある 時系列データなのでそのアーキテクチャだと学習できない まさにその種の話題が満載の良書を推薦しとく
実戦データマイニング: AIによる株と為替の予測 単行本 – 2018/6/20
https://www.amazon.co.jp/dp/4274222373/ 失敬。時系列に依存してるからランダムフォレストはない。RNNがいいかも。 >>54
コメント辛辣すぎワロタ
★☆☆☆☆「再現できない」
★☆☆☆☆「まったく実戦ではない」
★☆☆☆☆「返品しました」
★☆☆☆☆「内容が薄い」 何十年か昔のニューロン研究のブームのときもヒューリスティックに株価のパターンを発見して儲けるみたいな研究が紹介されてた記憶があるけど、その後下火になったような
株価はやはりランダムウォークで、テクニカルな分析なんて無効だと思うけど、完全に否定も出来ないから機械学習だなんだと新手のバズワードが出てくるんじゃないかな性懲りもなく
といいつつ俺もツイッターの株に関する書き込みや日銀短観の文の感情分析との関係で予測出来ないか研究してるよ
でも仮に儲かる仕組みを見つけても誰にも教えないでこっそり自分だけ儲けるけどね 今の機会学習って人間にできることをやらせてるだけで、
株価予測とか人間にできないものは判別できないんじゃない。 人間がやる昔ながらの投資手法はなぜかファンダメンタルとかいう呼び名になっている
値動きだけ見て売り買いするのは昭和の頃は相場師とか言った物だ 相場師=テクニカルなんて使い方する人いないだろ
デタラメすぎる >>61
今は世界中で緩和しまくりだから、本当の価値なんてわからない、ファンダメンタルなんてあてにならないと考えます 経済学的に「価値」と「価格」は関係ない。
独立。混同すると嵌る。 多種の銘柄の平均期待値は中心極限定理から正規分布に従うので気にすべきことはいかにその分散を減らすかのみ >>64
オレオレ語録
価値は自分が決める
価格は他人が決める 今夜のNHKスペシャルは、ノモンハン事件の発掘映像をＡＩにより自動カラー化
どうせナレーションは糞だから、映像だけみたい NHKが作ったAI凄いね。これからどんどん戦前の映像がカラー化されそう
人間のように成長するAl（人工知能）！ 80年前の白黒映像がカラーで蘇る!
https://www.nhk.or.jp/ten5/articles/17/003065.html
> この最新技術を活用する初めての番組が、８月に放送されます。
> NHKスペシャル「ノモンハン事件（仮）」ぜひご覧ください。 >>60
人間にできることしかできないわけじゃない。分かりやすいとこで将棋AIとかな。 できることのレベルが違う。
自動車や電車を、走ることなら人間でもできるといっても無理。
自動車や電車のようには人間は走れないし、
ＡＩのように人間はゲームに強くない。 元が白黒のものに着色しても資料としての価値はないのにさっそく誤解される言い方してるのが
さすがＮＨＫというか ＴＶはエンタメなので歴史なんて自由自在に改変しまくり 写真に関しての資料としての価値とは現実をより正確に表現することであり、それなら当然カラーの方が価値は高いだろう
白黒写真を白黒写真としてできる限り良い状態で保存できていることが価値の高さを示すものでは決してない 原画は原画として残してあるだろう。番組としての映像の価値だろ 現実はカラーである以上、映像としての価値だって白黒よりカラーの方が上だろう 着色だって改変だ
見栄えだったりの価値は上がるとしても
歴史的価値はオリジナルの状態を保たなきゃらなんだろ 異常検知と株式予測って同じ技術使えるのかね。
株式予測は「異常に変化する点」を予測できればいいんでしょ？
しかし完全に物理要因の機械故障の予測と、
人間の思惑が絡み合う市場経済に違いがあるかってことが重要だな。
RNNやLSTMは一般向けの技術書はまだ少ないね？
ちょっと論文から読む気にはならんわ。
やっぱり画像処理や自然言語なんかより、金そのもののほうがモチベーション全然
違うよな。 金額だけ見るんじゃなくて
事件とかのニュースも見ればいいんじゃね たかがはじパタ本を読んだぐらいで
「もう理論の基本的なところは理解してるから、
識別機のコードを書くぐらい簡単に出来るだろう♪」
などと息巻いていたが最近になってやっと現実を思い知った
機械学習のプログラミング、マジむずい
写経を繰り返せば身につくのかなあ(遠い目) >>84
それだと事件とかニュースをデータ化しないといけないじゃん。
そうすると自然言語処理をしないといけない。
ファンダメンタル情報も体系化されていれば分析もできなくもないが、
基本的に株価情報のみに基づく予測じゃないと、前処理が大変だ。 株価情報しか使わないんならモデルいじっても五十歩百歩なんかね ランダムフォレストって神だな
スケールの正規化もダミー変数化も必要ないのかよ。 >>83
株価の異常検知なんて、わざわざ機械学習しないでも
出来高と値動きで簡単にスクリーニングできるよ 深層学習みたいにRandomForestを多層化したしたやつもあるよ。 株価情報だけに基づく予測とか転換点の見極めだと
結局のところ数多くあるテクニカル分析のどれかと
似たり寄ったりの結果にしかならなそうだ
かと言って財務情報を加えればファンダメンタル分析と変わらず
ツイッターやニュースなどの情報を加えればノイズが多すぎる 大口機関投資家は相場を当てに行くんではなく相場を作りに行くんだからな。 DL is the forest of the labyrinth. >>94
だからなんだよ
相場を作れる奴なんてわずかしかいないんだから
当てるしかないんだよ。
ノイズは乗ることが前提じゃないか？
除去すればいい。
ところで既存のテクニカル分析がもともと精度いいなら
それで十分かもな。
どうしても不安なら機械学習で裏をとればいいかも。 AIを使ってないものがAIという名前で売られている AI＝Artificial Intelligence＝人工的に作られ知能を持つように見えるもの、
程度の曖昧な意味しかないので内部の仕組みに関わらず知能を持ってるっぽいものは全てAIと呼んで問題ない
そもそも技術者はこんな定義の曖昧な言葉は使いたがらず、営業など技術の詳細を知らない人間が売り文句に使うだけなのであまり信用してはならない ■ このスレッドは過去ログ倉庫に格納されています
