【統計分析】機械学習・データマイニング22
レス数が1000を超えています。これ以上書き込みはできません。
機械学習とデータマイニングについて語れ若人
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76
■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured 不良品の検出って
毎回同じサイズ、角度、輝度、サイズだから
回転させたり捩らせたり拡大したりしたら精度下がりそうよね >>900
基本的にはとにかくデータを数多く用意するのが良い とにかく増やせってのは乱暴すぎるなぁ
やっていい加工とやっちゃいけない加工がある kreasてマルチスレッドで学習済みモデルloadできないのかよ
弱ったなぁ >>900
>毎回同じ
それはデータによるから性質よく知ってないとね 同じようなことやってるのね。異物は分類精度80％越えるけど、キズは認識しなかったな。
keras でVGG16 FineTune/ 画像110枚 での結果です。 大量の不良品パターンか
大量の良品パターンだけでも
なんとかなるだろ 良品のみから不良品を見つけるのは必ずしもできるわけではない
不良品を不良品と判断するための特徴量が見えていない場合などがそれに当たる >>896 です
レス頂いた方ありがとうございます
>>905
自分も同じ手順を試してみたいと思います
もし良ければ参考にされた資料や記事などはありますでしょうか？
Kerasを使おうかと思うのですが始めて使用するので何から手をつけて良いか分からなくて… >>911
ありがとうございます
keras自体の導入は済ませております
説明が分かりにくくてすいません
ただどちらにせよGPUが無い環境なのでやるにしても制約が多そうですね… >>912
「keras 二値分類」で検索すれば色々出てくるよ
https://qiita.com/yakisobamilk/items/686d6ad5ae3285aec639
二値分類ぐらいならGTX750ぐらいでも行けるとおもう
google colaboratoryってクラウドの無料サービスもあるけど、色々とどうにも面倒くさい >>911
Colaboratory使えばなんとでもなるさ
二値分類を複数のモデルでやってみたことある
画像サイズを480にしてあげると
Xception だと で89%
Inception_resnet_v2 で86%
この2つのモデルから推測させて、
・両方NGならダメ
・片方NGなら要検証
・両方OKなら通過
ていう感じで悪くない感じにはなってる
というか問題は組込される側じゃね？
試しにinception_resnet_v2で分類させてみたんだけど、
学習済みモデルのロードだけでメモリ4.5G食う
RaspberryPiとかでどうやって運用するんだろう
でかいスワップ使ってSSDでも遅いだろうし・・・ >>913
ありがとうございます
短くまとまってるので是非参考にさせていただきます
kerasの関数や使い方も合わせて調べてみます
あと、すごく初歩的な質問なのですがリンク先のコードを軽くみたところ出力層が2クラス分類問題なのに1つになってるのが気になります
良品、不良品とふたつの出力層が必要ではないのでしょうか？ >>917
二値分類の問題は出力は一つでOK
例えば不良品にラベルを0、良品にラベルを1と付けたとする
活性化関数にSigmoidを使うと、入力した画像が0なのか1なのかを確率で返してくれる
0.5付近なら判別できていない
もし二つの出力でやりたいなら活性化関数にSoftmaxを使う
こちらは他クラス分類に使用する
良品レベルを5段階に分けて学習させるような場合に使う >>871
すみません、そのページを読んでみたのですが、まだ理解できません。
a に添字 b を下付きしたものを a_b と表すとして、
state-value function v_π(s) = E_π [G_t | S_t = s] を私は次のように式変形しました。
v_π(s) = E_π[R_(t+1) + γG_(t+1) | S_t = s]
v_π(s) = E_π[R_(t+1) | S_t = s] + E_π[γG_(t+1) | S_t = s]
私が分からないのは第2項の期待値の計算です。
E_π[γG_(t+1) | S_t = s] = Σ_a π(a|s) Σ_s'r p(sr', r|s, a) (γG_(t+1))
このように展開できると思うのですが違いますか？ chainerを使ってたけど
tensorflowを使ったみようと思ってインストールしてみたら、
変なエラーばかり出てなかなか動かなかったけど、
MINSTがやっと実行できた。
うれしい！ >>920
おめでとう
慣れるまで、環境構築ほんま大変だよな >>921
ありがとうございます！
動くまでいろいろと試行錯誤していました。
バージョンや環境に依存する部分も大きいのでしょうか？
僕が結局のところうまくいったのは以下のサイトの、
仮想環境を作ってからインストールするという手順です。
https://qiita.com/dddmm/items/9e4d9e08a071cfa4be83
このサイトの下に書いてある、
＞ 「(keras_work) conda install jupyter」でインストールして、
＞ カーネルを再登録して
＞ 「(keras_work) ipython kernel install --user 、、、」、
＞ jupyter-notebookを立ち上げなおしたら、正常に動作しました。
というのも実行したら、動作しました。
ここではkeras_workという名前になってますが、まだkerasはインストールして
いないのですが、仮想環境を作らなければ動作しなかった
ということは、何か僕の環境が悪かったのだと思います。
まあ、とりあえずtensorflowが動くようになりましたので、
いろいろサンプルを探して動かしながら、使い方を学びたいと思います。 脳科学が明らかにする
「あなたの隣のサイコパス」
ありえないようなウソをつき、常人には考えられない不正を働いても、平然としている。
ウソが完全に暴かれ、衆目に晒されても、全く恥じるそぶりさえ見せず、堂々としている。
それどころか、「自分は不当に非難されている被害者」
「悲劇の渦中にあるヒロイン」であるかのように振る舞いさえする。
残虐な殺人や悪辣な詐欺事件をおかしたにもかかわらず、まったく反省の色を見せない。
そればかりか、自己の正当性を主張する手記などを世間に公表する。
外見は魅力的で社交的。トークやプレゼンテーションも立て板に水で、抜群に面白い。
だが、関わった人はみな騙され、不幸のどん底に突き落とされる。
性的に奔放であるため、色恋沙汰のトラブルも絶えない。
経歴を詐称する。過去に語った内容とまるで違うことを平気で主張する。
矛盾を指摘されても「断じてそんなことは言っていません」と涼しい顔で言い張る。
(略)
見過ごせないのは、この種の人間を擁護する人が少なくないことです。
(略)
時には「信者」であるかのような崇敬を示す人までいます。
そうした人たちは、きっと知らないのでしょう。
彼／彼女らが、高い確率で「サイコパス」だということを。
(脳科学者・中野信子さん)
AI的にはこういう子が育つ可能性はあるの？
●添とか●エモンとか百合子とかちょんとか >>908
人事採用で応募して来た人間が不良かどうか判定したい >>926
Amazonがそれやったけど女性差別するように学習して辞めたよね 機械学習はわからんうちは面白そうで飛びつくけど、しばらく勉強したら飽きた
進歩早いし専門家じゃないとついていけない世界ねこれ 既存ツール、ソフトを利用する立場なら専門家の議論についてかなくていい SVMを理解する為にlibSVMで作ってみたんだけど、
動作を確認する為に学習データとサンプルデータ（とパラメータ）が載ってるサイトって無いですか？ P言語しか使えないプログラマって
CPUがどうやって動いているか知らないですもん。
知らなくても仕事でちゃんとプログラム作ってますから、
データ分析も全部知る必要ないと思います。
知らないけどちゃんと使えてる・動かしている、
というのは世の中にいくらでもありますよね。 そろそろ、被写体を自動で認識して綺麗に切り抜いてくれる機能が
フォトショに実装されても良い頃なのに、AIを使ってるとは名ばかりの中途半端 現状、精度や柔軟性で人間超えるのはまだ難しい。
機能しているのは効率重視なタスク。 >>927
教師データに性別が入っていて、男性の方が採用率が高かったという
やるだけ無駄な結果だったんだっけ？ >>938
あまりにもフィットしすぎていて、自身の経験上では予測対象のデータを学習に読み込んでいるレベルだ
本当だとしたら凄いな >>938
ガチ勢は楽しそうだけれど
実際大手証券はもっとガチ勢なんだろうなと思うとやって競馬、本当にやるなら競輪競艇くらいのほうが夢がありそうだよね ていうかpythonはいつまでGILに縛られてるんだよ
GILなんとかしないと実際問題まともなプログラミング言語と言えない
numpyが優秀なだけで他はぱっとしない >>938
これはよくある「前日に近い値を出力しているだけ」では？ 数値データの変動だけからの予測は限度がありそうだな
社会情勢やニュースも考慮できたら精度が上がりそう 株価だけだと
テクニカル分析を信じる人の割合+それに乗っかる人の割合
くらいでしか当たらないからね >>868
重み更新を行わないステップがあると、lossとかのmetricsが全部nanになる
強化学習でフレームスキップをした時によくハマってた
そうじゃなかったら、loss functionの使い方を根本的に間違えてるとか？ >>938
須山敦志 Suyama Atsushi? @sammy_suyama
不確実性を無視して予測を「精度良く当てにいく」というのはあまり有用じゃないです。例えば株価の上昇をピンポイントで当てにいくよりも、「暴落しないこと」が言えた方がずっと有用。
https://twitter.com/sammy_suyama/status/1090399628841803778
https://twitter.com/5chan_nel (5ch newer account) >>947
ポートフォリオ理論、30年以上前のクォンツの時代から、
本来はヘッジのために考えられ、その有効性が盛んに叫ばれても
みなさん運用（儲け）側にしか走らなかった。
分ってはいるが、そうやって使ってくれないという悩み。
焼き直しにすぎないのですが、価値が無いわけじゃないんだよな。 >>938
国内でも機械学習を用いて、自己資金で運用というのが
15年前から3年近く前まで、運用実績をWebサイトでずっと公開されて方がいた。
実際に相当に資産を増やされていたが、本業ではないので株についてのアルゴリズム
の見直しは本格的にされていなかったので、現在（２年か３年前から）は、為替に
主力を移して良いパフォーマンスをだされてますよ。
昔から興味のある方々にとっては有名なサイトでした。サイトは閉じられましたが
現在もPC７台使って自動運用中です。
ちなみに、リアルタイム取引ではないです。 ヘッジに使わていないとかどこの世界の人なのか
ヘッジャーとスペキュレーターとアービトラージャーは業務が別なだけ 米証券会社大手ゴールドマン・サックスには500名の
トレーダーが在籍していたが、AIトレードの普及で
今ではAIエンジニア3名に置き換わってしまったのは
有名な話ですよね。
先日、恩師によばれて大学のゼミ生たちに
プログラミングを教えに行ったら、
全員が機械学習で株価を予想しててマジで笑いましたｗ >>951
どんなプログラミングを教えるんだ？
言語は？
機械学習とは具体的にどんな？ >>948
みんながそれ使うとゼロサムになるって証明されちゃったとか？ >>947
暴落しない事を当てるなんて不可能だろ
エンジニア風情は何でこうも市場の効率性に無知で自信過剰なんだ
>>951
置き換わってるのは内外問わず「執行」の部分
実際の投資戦略では線形回帰分析が主流どころかほぼ全て >>952
Pythonで基礎的なアルゴリズムの実装を教えに行きました。
まあ、初心者向きですね。
学生連中が株価予測に使ってるのは、
主にSVR、ランダムフォレスト、ディープラーニング
などですけど、線形のSEMを使ってる学生もいました。 >>952
あなたはどんな言語でどういう方法で
予測をやってるんですか？ >>955
基礎的なアルゴリズムとはどんな？
少なくとも学生が株価予想に使ってるアルゴリズムよりは高度なんだよな？ >>955
学生の株価予想はどれくらいの確率であたるの？
学生のほうがプロと比べて確率低いの？ >>958
全く違います。
基礎を教えて行っただけです。
で、基礎を教えに行ってみて
学生と話をしたら
株価の予想にのめりこんでる奴らばかりだった、
という話です。
それを全部説明すると話が長くなるので
なにをどのように教えたのかははしょっただけです。
株価の予想をやってないなら
聞かないでくださいよ。
馬鹿なんですか？ >>958
質問ばかりで何も役に立つ話がないので
聞きますが、どういう機械学習をどういう会社で何年ぐらい
やってるんですか？
細かく説明してください。
まさかただの馬鹿院生ですか？ >>961
自分の思い込みを前提に質問するのはやめような
まずは機械学習やっていますか？ときくのが当たり前だろ >>962
ここはにわかしかいないと思う
と言ってる俺も基礎知識しか無いし、
最近はgithubから落としてきてぐるぐる回してるだけだ
とてもじゃないけど追いつけない >>963
その前提は止めて欲しい
確かにレベルは低いけど、機械学習をやってない奴がいる前提はさすがに悲しすぎる A株取引はAIがやるわけだからやるひつようないだろ
個人で作るにしても大企業の天才が作ったソフトに勝てるわけないわけだし AIのソフトって売ってるんじゃないの？
それを買えば作るより簡単で正確だとおもうんだけど そもそも株取引は証券会社と個人投資家で得られる情報の速度に違いがあるから短期勝負じゃ勝てない >>970
今はどんどん新しい手法が出てきては消えているから、
売ってる物は数世代前の物だよ
>>971
応答速度でも証券会社と個人は比較にならないんだ
個人で短期勝負って それ以外に、個人では手数料の問題が大きんですよ。
株にしても為替にしても。 >>950
業務分担の話ではなく、多くの機関投資家の興味が儲けに偏っているということ。
業務的に両面あるのは当たり前の話。 >>977
実際に取引している人だと、必ずその問題が前面に出てくる 機械学習だのデータマイニングだのは所詮、純粋数学ができなかった落ちこぼれがやる分野でしかない。
もっと言うと、計算機科学自体が、純粋数学ができなかった落ちこぼれのやる分野だなｗ
真の天才は純粋数学、そしてその中で最も難しいと言われている数論幾何学を勉強する。
俺は物心ついた時から平均を遥かに下回るぐらいの超絶ド底辺クラスの頭の悪さだったけど、
なんとかして頑張って猛烈に勉強しまくって東京大学理学部数学科に入り、
そして、数論幾何学を勉強し、優越感に浸りたい。
ちなみに高校も超絶ド底辺高校出身です。 >>979
いいんじゃない、頑張って！
一つだけ言えば、人を気にしないで生きてください。 http://www.kurims.kyoto-u.ac.jp/~motizuki/papers-japanese.html
超絶天才数学者、望月新一氏の論文。
これはヤバイな・・・・。 思索というか妄想していて疑問に思ったことがあるのですが、
無限大の破壊力を誇る超強力な武器があったとして、
無限大の空間に対してその武器を発動したら、どうなるのでしょうか？
無限大と無限大のぶつかり合いですが、結果はどうなりますか？ >>988
煽るならせめてそれぐらいの知識は持ってないと >>988
無限と無限を比較するなら濃度の大小を明らかにしないと >>990
じゃあ、無限の濃度が同じだとしたら結果はどうなりますか？ 無限大 + 無限大 = 無限大
無限大 - 無限大 = 不可能 >>992
不可能だと、具体的にどんな感じになるのでしょうか？ >>994 予想がつかない、宇宙の破滅かな？
無の世界が訪れるのか、新たな宇宙が作られるのかは、その時の環境次第では。 >>996
濃度が同じなのに宇宙が破滅して無の世界が訪れるの？
それじゃあ武器が勝ったってことになるじゃん。 >>997 武器というのは普通はプラスに作用するのが普通だよな。 あと、ゴールドマンサックスのような投資銀行では、普通、確率予想によりリスク計算を厳格に
行なっているので不確実性には投資しない。投資が実行となるのは100%近い、収益性が予測さ
れる場合のみ。この場合、100%の収益性が保証されるプログラムトレーディングとは、
high-frequency tradingという手法をいう。HFTでもっとも一般的な手法は、市場に影響を与える
ニュースをマイクロセカンドの単位で早く入手して、その確実な情報に基づき、他者に先駆けて
トレードを実行してしまうというものとなる。Bloombergは、顧客に対して専用回線で、オープン
アクセスの自社ニュースサイトよりもコンマ数秒の単位で情報を先出しすることをやっており、
HFTを実装している業者は、こうしたニュースソースを利用して、例えば雇用統計の中身がが市
場予想と大きく異なる場合には、予想と反対のトレードを自動実行して利益を出すようなことを
やっている。例えば日本市場の場合、日経平均は、日経新聞社が5秒間隔で更新している。この場合、
東証の直結回線から取引データ利用して日経平均をリアルタイムで算出することができれば、
最大５秒先の未来の日経平均の情報を入手できることとなり、５秒先の未来の日経平均の変化率が
大きな場合は、大きな利益を得られることとなる。ゴールドマンでやってることはこういうこと。 レス数が1000を超えています。これ以上書き込みはできません。
