【統計分析】機械学習・データマイニング22

レス数が950を超えています。1000を超えると書き込みができなくなります。
2019/01/13(日) 09:13:37.19ID:lpjZ4t830

機械学習とデータマイニングについて語れ若人


■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング21
https://mevius.5ch.net/test/read.cgi/tech/1541309676/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured
2019/02/22(金) 18:38:44.69ID:o3LmEQza0
>>850
自分がタダで使いたかっただけでしょ・・・
852デフォルトの名無しさん (ワッチョイ 5954-QNKq)
垢版 |
2019/02/22(金) 18:50:53.32ID:IYpVWDew0
地球観測衛星のデータは大別すると光学画像と合成開口レーダーデータに分けられる。
光学カメラ画像はJPEG2000形式が使われていて、データサイズが異常なほど巨大。
レーダーのデータは数値データファイルで、形式変換しないと見れない。多分、かなり
制約がありすぎて普通に提供しても商業利用的には普及しない可能性があるので、環境
を整えて提供することにしたのかと。普通、機械学習で画像データの自動分類を行うに
は256x256に縮小して、学習にかけるようなことを行うが、素のJPEG2000のデータを
縮小させると、細かいデータが欠落して意味をなさなくなる。かといって、縮小をかけない
で256x256の区画に分割するとデータ総量が多くなりすぎて本格的なGPUスパコン並み
の処理能力が必要となる。結果的、普及にはどれも問題があって、最終的にたどり着いた
のが、上の方法なのではないかと推測。あと、余談だけど、Googleがやってた国防総省
の衛星画像解析AIシステムの場合、教師データの作成を時給1ドルで外注に出してた。
2019/02/22(金) 18:54:24.56ID:1cZDvNG50
>>851
タダというか、手軽に使いたかった
今出回ってるデータセットって基本無料だから、今更こんなめんどくさい事されても困るんだわ
2019/02/22(金) 19:54:41.00ID:T0uERcdu0
お手軽ならば
今後の地価変動をやってみたかった
道路とか鉄道とかの写真データから地価予測
でも使い物にならないならクソだな
2019/02/22(金) 20:21:11.35ID:7vQAP+RTM
須山さんはtwitterで見たんだけど
ベイズの人で

svmが許せないのかなと
856デフォルトの名無しさん (アウアウイー Sa7d-Dlbm)
垢版 |
2019/02/22(金) 20:45:16.77ID:hIHy3w8+a
単純に考えるとそうなんでしょうが、なぜそれではだめかという
本人のたる理由を知りたいですね。
というのは、その下で学ぼうとする学生にとって、その理由がはっきり
していないと、選択対象にすべきかどうかが判断が付かないので。
2019/02/22(金) 20:52:01.01ID:vUBrk6Ima
ならば本人に聞きに行けばいい
858デフォルトの名無しさん (アウアウイー Sa7d-Dlbm)
垢版 |
2019/02/22(金) 20:59:29.91ID:hIHy3w8+a
知りたいだけで、聞く気はない
自分で必要ないから
2019/02/22(金) 23:45:00.86ID:vUBrk6Ima
その下で学ぼうとしている学生ではなかったのかよ
2019/02/23(土) 01:51:44.83ID:47rng884p
>>844
ここで言いたいことは、機械学習学習のモデリングのことではないかな

明らかに正規分布に従わない分布に、正規分布を仮定したモデリングをしても得られる結果は間違っている
同様にベイズ推定系の学習では、共役となる事前分布やハイパーパラメータを適切にえらばないと変な答えを出す

他にもコスト関数に尤度に加えてL1,L2の制約条件を加えたり、さらに追加でスパースネス項を追加したりする場合には、収束条件を満たすかどうかなどが重要で高度な数学の知識がいる

深層学習でKeras等で畳み込みやニューラルネットワークをレイヤとして並べ換えるだけなら統計も数学も要らないが、どういうときにどんな活性化関数を使うとか、どんな損失関数を使うかなどは統計の知識ががあった方が理解は早い
861デフォルトの名無しさん (ワッチョイ 5954-QNKq)
垢版 |
2019/02/23(土) 02:27:57.03ID:bgKrSmmR0
>>854
衛星画像データは実際のところはエリアは広いが解像度は低い。Google Mapで
衛星画像と表示されてる高解像度画像は、実際は航空写真を使ってる。地球観測
衛星は極軌道を回っているため、同じ場所を撮影する頻度も月単位で、実際には
かなり制約が多い。このため、最近はベンチャー企業が数十機のマイクロ衛星を
打ち上げて、1時間間隔で同一スポットを撮影するといったサービスを開始してる。
この場合、リアルタイムに近い定点観測が可能になるため、交通量の測定とかも
可能になる。ただ、マイクロ衛星の光学機器の解像度は5メートル位とかなり荒い。
一方、Digital Globeの衛星画像とかは、解像度が30センチ前後もあり、軍事偵察
衛星並みの解像度をもってるが、撮影頻度に制約がありリアルタイムの定点観測
とかは無理。また、衛星画像の最大の難点は、曇りの日は地上の撮影ができないこと。
開口レーダーを使えば撮影可能だが、解像度は悪すぎて、地上の物体の精密観測
には使えない。最近の流行は、自動車にLidar乗っけて、地上から3Dデータの取得
を行い、その3Dデータに航空写真のデータをテクスチャーマッピングして、超高
精度地図を作るというやり方。この場合、自動車には光学カメラとWiFIアンテナも
搭載して、同時に住所表記とIPシグナルも記録して、ありとあらゆるデータを地図連動化
してる。
862デフォルトの名無しさん (アウアウイー Sa7d-Dlbm)
垢版 |
2019/02/23(土) 07:24:07.29ID:rE2Cxpkva
地図作りや、位置などの把握等につては、どなたでも考え着くことで
ず〜っと、地図以外の利用についてのヒントを追い求めてきていると思う。

地下資源や農産物生育状況などへの利用などはあるが、もっともっと新たな
利用方法の発見を期待しているところがあるんじゃないだろうか。

少し、地図から離れて、新たな利用を考えてみようよ
863デフォルトの名無しさん (ワッチョイ a592-PUl+)
垢版 |
2019/02/23(土) 07:31:16.91ID:bCFHqwh50
計算機科学は医学より難しいですか?
864デフォルトの名無しさん (アウアウイー Sa7d-Dlbm)
垢版 |
2019/02/23(土) 08:17:46.39ID:rE2Cxpkva
質問が難しいかも
言われている医学を医者が行うと位置付けると、まず医者にならないと
いけないから、そりゃ大きな壁があるよね。
そう考えなかったとしたら、医者以外も医学の道はあるのでそうも言えない。
この場合、計算機科学も医学もどちらも学ぶことは自由。

医学は、分らないことが山ほどあるし、研究・調査するのに事欠かない。
その中には計算機科学の活躍の場もある。

ってことは、どうやって比べたらいいか、比べようがなさそう。
865デフォルトの名無しさん (ラクペッ MM65-/Zgv)
垢版 |
2019/02/23(土) 08:44:25.25ID:/tzQZbCOM
PCで書いたりスマホで書いたり、ずっとこのスレ見てるのか?
866デフォルトの名無しさん (ワッチョイ b682-Bnbp)
垢版 |
2019/02/23(土) 09:52:02.32ID:LTfMZy7X0
LSTMによって、RNNは廃れたのでしょうか?
2019/02/23(土) 10:04:15.64ID:Y6UXrWzO0
>>864
それ、どこのスレにも出没して似たような質問を繰り返すだけの構ってちゃんだから、まともに答えてもあなたの大切な時間を無駄にするだけだよ
2019/02/23(土) 12:50:40.51ID:tGlV7baL0
雰囲気で keras を使っているが、
loss が nan になる理由が全くわからないぜ…
ちゃんと勉強しないとダメだな。
2019/02/23(土) 13:47:22.69ID:lOjRd0zna
https://twitter.com/napman1/status/1099097584113614850

Kotaro Nakayama / 中山 浩太郎 @napman1
東大松尾研・iLect・東大先端人工知能寄付講座が共同で実施していたDeep Learning講座「DL4US」のコンテンツを無償公開しました。
のべ3,800名以上の方から応募を頂いておりました。
9:04 - 2019年2月23日
https://twitter.com/5chan_nel (5ch newer account)
2019/02/23(土) 13:49:07.74ID:px1wMGql0
強化学習の state-value の式について質問です。
スレチでしたらご指摘ください。

「Reinforcement Learning: An Introduction」のPDFを読んでいます。
http://incompleteideas.net/sutton/book/the-book-2nd.html

59ページ目にstate-valueが自己再帰の形で表せる事を示した式がありますが、
この式の2行目から3行目に式変形できる理由が分かりません。

角括弧の中の Rt+1 が r になるのは分かるのですが、
なぜ Gt+1 が Eπ[G+1 | St+1 = s'] になるのでしょうか。

この辺りのことを説明したwebページや書籍の紹介だけでも構いません。
871デフォルトの名無しさん (アウウィフ FF21-kEY9)
垢版 |
2019/02/23(土) 16:12:58.09ID:lNz7SHfNF
P.48
P.55
P.73-75
872デフォルトの名無しさん (ワッチョイ 6db3-/Zgv)
垢版 |
2019/02/23(土) 16:17:04.74ID:44PmOqBU0
>>866
Clockwork RNNとかなら
2019/02/24(日) 07:39:09.59ID:3qgAHKMI0
lstmもrnnでしょ?
2019/02/24(日) 09:50:14.35ID:vkGODLXza
RNNというのは過去の出力をその後の入力に使うという程度の意味しか持たないのでLSTMもその一種
2019/02/24(日) 19:07:02.66ID:xoljfRCp0
>>874
IIRフィルタと何が異なるんですか?
876デフォルトの名無しさん (ワッチョイ b682-Bnbp)
垢版 |
2019/02/24(日) 19:44:24.06ID:TTN1ftFV0
AIに星新一のショートショートを書かせるプロジェクトがあります。
https://www.fun.ac.jp/~kimagure_ai/

仕組みは、人間が事前にストーリーを作って
AIが特定の部分の単語を穴埋めしていく感じだそうです。
全てAIが作ったわけではないし、こんなのは創作ではないと思うのですが。

疑問なんですが、なぜLSTMを使わないのでしょうか?
2019/02/24(日) 19:46:18.85ID:laz54YR/0
星新一好きだけどこんな形で出生するとは思わなんだ
2019/02/24(日) 19:49:54.53ID:laz54YR/0
>>876
創作がどこからどこまでなんて誰にも決められないよ
AIがサイコロだとどうか、虫に効けばどうか、ファンの小学生なら、成人なら、じゃあ編集者なら
何がどうって、面白ければいいんだよ
実は今はちょっとずるい世代で、「AIが作ったものを読んでみたい」という欲求がたくさんある
だからAIがどんな物語を紡いでも、多数の人は面白いと感じるのだ
2019/02/24(日) 19:51:01.57ID:laz54YR/0
AIの芸術に関しては、ヒューリスティクスという概念を覚えると良いと思う
恐らくこれから必要になる
880デフォルトの名無しさん (ワッチョイ 6db3-/Zgv)
垢版 |
2019/02/24(日) 22:07:34.94ID:QAy2NM1S0
芸術はマルチレイヤーコンテキストが重要なのだからそんなもん必要ない
2019/02/24(日) 23:00:00.26ID:JFb989xW0
ぼっきちゃん
2019/02/24(日) 23:02:40.70ID:jhjCTXo8p
>>875
呼び方が違うだけで同じものだよ
RNNばかり有名になってるけど、FFN(Feed-Forward Network)というのもあって、RNNはIIRに対応し、FFNはFIRフィルタに対応する
2019/02/24(日) 23:07:53.63ID:92VWeI7md
ようやくまともな意見が返ってきた
2019/02/24(日) 23:11:03.11ID:92VWeI7md
呼び名に引っ張られない人が増えてほしいですね
とりあえず手法にラベリングして深く考えない人が多いですからこの業界
2019/02/24(日) 23:12:43.00ID:laz54YR/0
い〜んじゃね
モデルばっかり見ててもキリないしな
886デフォルトの名無しさん (アウアウイー Sa7d-Dlbm)
垢版 |
2019/02/25(月) 09:02:25.40ID:WiC9+kGPa
>>879
だね
というより、かかる時間は別として
ヒューリスティクスそのものだから
2019/02/25(月) 10:27:48.38ID:NsVMMXXwd
全くいらない
2019/02/25(月) 10:30:01.10ID:NsVMMXXwd
『ヒューリスティクス』なんて言葉より発見的探索とか言ったほうがわかりやすい
2019/02/25(月) 10:51:44.35ID:mBiroDnU0
>>888
ヒューリスティックやん
2019/02/25(月) 10:57:39.62ID:/sJxk25Gp
初歩的な質問ですいません
ある部品にゴミやケバがつくような工程で画像データを用いた異常検知が出来たらと考えています
当方機械学習やディープラーニングを始めてまだ日も浅く現在はCNNがどのようなものかを学習しています

概要を学んだ次のステップとしてどのようなものを学習すれば良いのか分からないのですが画像を用いた異常検知を行いたい場合はどのような手法やアプローチが一般的なのでしょうか?
891デフォルトの名無しさん (ワッチョイ 7d01-281i)
垢版 |
2019/02/25(月) 11:52:07.90ID:ca4t0hyc0
>>890
画像データは正常と異常それぞれどのくらいある(集まりそう)なの?
2019/02/25(月) 12:02:29.04ID:/sJxk25Gp
>>891
すいません記載漏れていました
現状用意出来るのは正常画像が100枚、不良品が100枚です
893デフォルトの名無しさん (ワッチョイ b6d5-shmE)
垢版 |
2019/02/25(月) 12:03:51.68ID:ZDTG68ar0
東京大学理学部数学科を目指すか迷う。
2019/02/25(月) 12:25:29.00ID:LEqgxgt7p
>>892
CNN系の二値分類で行けない?
100枚だと少ないので適当に水増しが必要だけど
回転させたり上下左右反転させたりごま塩ノイズ乗せたり
2019/02/25(月) 12:57:36.74ID:oHXxKjcA0
GAN使えよ
2019/02/25(月) 13:20:27.46ID:/sJxk25Gp
>>894
ありがとうございます
CNNでの分類ですね
水増しに関しても調べてみます
画像サイズも大きいのでその辺もどう扱うのか調べてみます
また別工程にも展開する場合は異常の画像が無いので生成モデルに関しても調べてみます

>>895
ありがとうございます
オートエンコーダーは聞いた事があったのですがGANについても調べてみます
897デフォルトの名無しさん (ワッチョイ 2a81-nbQA)
垢版 |
2019/02/25(月) 13:32:06.44ID:3im7HM1R0
習うより慣れろみたいなことかと
結果が出せればいいなら試すほうが多分速い
内部は知らなくてもディープラーニング自体は既存ソフトでできる
まんべんなく学習しないとダメか
898デフォルトの名無しさん (ワッチョイ 7d01-281i)
垢版 |
2019/02/25(月) 14:58:30.98ID:ca4t0hyc0
>>892
枚数が少ないから、単純な画像処理で低次元の特徴を抽出する事を考えた方が良いかも
2019/02/25(月) 19:29:22.67ID:RXoXH9qp0
データの水増しなんてもうkeras自身でできるぞ
https://qiita.com/takurooo/items/c06365dd43914c253240
2019/02/25(月) 20:51:21.96ID:RH8W1dQ+0
不良品の検出って
毎回同じサイズ、角度、輝度、サイズだから
回転させたり捩らせたり拡大したりしたら精度下がりそうよね
2019/02/25(月) 20:58:01.22ID:RXoXH9qp0
>>900
基本的にはとにかくデータを数多く用意するのが良い
2019/02/25(月) 21:02:27.32ID:liS/dSpTM
とにかく増やせってのは乱暴すぎるなぁ
やっていい加工とやっちゃいけない加工がある
2019/02/25(月) 21:03:20.83ID:RH8W1dQ+0
kreasてマルチスレッドで学習済みモデルloadできないのかよ
弱ったなぁ
2019/02/25(月) 21:19:27.11ID:UZGT0Hqw0
>>900
>毎回同じ
それはデータによるから性質よく知ってないとね
2019/02/26(火) 00:17:58.46ID:WkwiC4pK0
同じようなことやってるのね。異物は分類精度80%越えるけど、キズは認識しなかったな。

keras でVGG16 FineTune/ 画像110枚 での結果です。
2019/02/26(火) 01:17:49.05ID:dP+RbMmq0
そこにaiはない
2019/02/26(火) 08:30:32.92ID:AHrUdAaN0
大量の不良品パターンか
大量の良品パターンだけでも
なんとかなるだろ
2019/02/26(火) 08:58:01.36ID:Vge72Flua
良品のみから不良品を見つけるのは必ずしもできるわけではない
不良品を不良品と判断するための特徴量が見えていない場合などがそれに当たる
2019/02/26(火) 09:11:33.00ID:bc3ERkby0
二値分類みたいのは面倒なんだよね
2019/02/26(火) 10:37:18.94ID:fq9lYmyMp
>>896 です
レス頂いた方ありがとうございます
>>905
自分も同じ手順を試してみたいと思います
もし良ければ参考にされた資料や記事などはありますでしょうか?
Kerasを使おうかと思うのですが始めて使用するので何から手をつけて良いか分からなくて…
2019/02/26(火) 10:54:57.26ID:Vf3kLJJW0
>>910
この辺
https://qiita.com/dddmm/items/9e4d9e08a071cfa4be83

GPUないなら止めておいたほうがいいぞ
2019/02/26(火) 11:18:09.30ID:fq9lYmyMp
>>911
ありがとうございます
keras自体の導入は済ませております
説明が分かりにくくてすいません
ただどちらにせよGPUが無い環境なのでやるにしても制約が多そうですね…
2019/02/26(火) 11:37:27.80ID:Vf3kLJJW0
>>912
「keras 二値分類」で検索すれば色々出てくるよ
https://qiita.com/yakisobamilk/items/686d6ad5ae3285aec639

二値分類ぐらいならGTX750ぐらいでも行けるとおもう

google colaboratoryってクラウドの無料サービスもあるけど、色々とどうにも面倒くさい
2019/02/26(火) 11:38:20.51ID:w3X5x8760
>>911
Colaboratory使えばなんとでもなるさ

二値分類を複数のモデルでやってみたことある
画像サイズを480にしてあげると
Xception だと で89%
Inception_resnet_v2 で86%
この2つのモデルから推測させて、
・両方NGならダメ
・片方NGなら要検証
・両方OKなら通過
ていう感じで悪くない感じにはなってる

というか問題は組込される側じゃね?
試しにinception_resnet_v2で分類させてみたんだけど、
学習済みモデルのロードだけでメモリ4.5G食う
RaspberryPiとかでどうやって運用するんだろう
でかいスワップ使ってSSDでも遅いだろうし・・・
2019/02/26(火) 11:59:28.32ID:Vf3kLJJW0
RaspberryPiは推論でも無理では
2019/02/26(火) 13:03:41.22ID:KyCCi+UXM
軽いはずだけど
2019/02/26(火) 13:19:26.30ID:fq9lYmyMp
>>913
ありがとうございます
短くまとまってるので是非参考にさせていただきます
kerasの関数や使い方も合わせて調べてみます

あと、すごく初歩的な質問なのですがリンク先のコードを軽くみたところ出力層が2クラス分類問題なのに1つになってるのが気になります
良品、不良品とふたつの出力層が必要ではないのでしょうか?
2019/02/26(火) 15:45:31.82ID:11Fco3L7p
>>917
二値分類の問題は出力は一つでOK
例えば不良品にラベルを0、良品にラベルを1と付けたとする
活性化関数にSigmoidを使うと、入力した画像が0なのか1なのかを確率で返してくれる
0.5付近なら判別できていない

もし二つの出力でやりたいなら活性化関数にSoftmaxを使う
こちらは他クラス分類に使用する
良品レベルを5段階に分けて学習させるような場合に使う
2019/02/26(火) 20:43:24.25ID:DUz4HSDe0
>>871
すみません、そのページを読んでみたのですが、まだ理解できません。

a に添字 b を下付きしたものを a_b と表すとして、
state-value function v_π(s) = E_π [G_t | S_t = s] を私は次のように式変形しました。

v_π(s) = E_π[R_(t+1) + γG_(t+1) | S_t = s]
v_π(s) = E_π[R_(t+1) | S_t = s] + E_π[γG_(t+1) | S_t = s]

私が分からないのは第2項の期待値の計算です。

E_π[γG_(t+1) | S_t = s] = Σ_a π(a|s) Σ_s'r p(sr', r|s, a) (γG_(t+1))

このように展開できると思うのですが違いますか?
920デフォルトの名無しさん (ワッチョイ 3dad-2CcH)
垢版 |
2019/02/27(水) 03:08:09.73ID:qf2btets0
chainerを使ってたけど
tensorflowを使ったみようと思ってインストールしてみたら、
変なエラーばかり出てなかなか動かなかったけど、
MINSTがやっと実行できた。
うれしい!
2019/02/27(水) 03:24:04.07ID:s/3R2a1B0
>>920
おめでとう
慣れるまで、環境構築ほんま大変だよな
2019/02/27(水) 06:50:22.32ID:OtL3sL+V0
>>910 >参考にされた資料や記事などは
http://aidiary.hatenablog.com/entry/20170108/1483876657
(犬|猫)と花x17の練習問題はそのまま使える。

ここでやってるのはFrancois の本そのもの 本には
5%くらい精度落ちるけどGPUなしで高速に学習する方法も記載あり。
https://www.amazon.co.jp/Deep-Learning-Python-Francois-Chollet/dp/1617294438
2019/02/27(水) 07:43:37.69ID:z4vkURidM
eagerとkerasてどうちがうの?
924デフォルトの名無しさん (ワッチョイ 3dad-2CcH)
垢版 |
2019/02/27(水) 11:05:10.77ID:qf2btets0
>>921
ありがとうございます!
動くまでいろいろと試行錯誤していました。
バージョンや環境に依存する部分も大きいのでしょうか?

僕が結局のところうまくいったのは以下のサイトの、
仮想環境を作ってからインストールするという手順です。

https://qiita.com/dddmm/items/9e4d9e08a071cfa4be83

このサイトの下に書いてある、

> 「(keras_work) conda install jupyter」でインストールして、
> カーネルを再登録して
> 「(keras_work) ipython kernel install --user 、、、」、
> jupyter-notebookを立ち上げなおしたら、正常に動作しました。

というのも実行したら、動作しました。
ここではkeras_workという名前になってますが、まだkerasはインストールして
いないのですが、仮想環境を作らなければ動作しなかった
ということは、何か僕の環境が悪かったのだと思います。

まあ、とりあえずtensorflowが動くようになりましたので、
いろいろサンプルを探して動かしながら、使い方を学びたいと思います。
925デフォルトの名無しさん (ワッチョイ 797c-BftX)
垢版 |
2019/02/27(水) 12:18:00.05ID:+TCpifLa0
脳科学が明らかにする
「あなたの隣のサイコパス」

ありえないようなウソをつき、常人には考えられない不正を働いても、平然としている。
ウソが完全に暴かれ、衆目に晒されても、全く恥じるそぶりさえ見せず、堂々としている。
それどころか、「自分は不当に非難されている被害者」
「悲劇の渦中にあるヒロイン」であるかのように振る舞いさえする。

残虐な殺人や悪辣な詐欺事件をおかしたにもかかわらず、まったく反省の色を見せない。
そればかりか、自己の正当性を主張する手記などを世間に公表する。

外見は魅力的で社交的。トークやプレゼンテーションも立て板に水で、抜群に面白い。
だが、関わった人はみな騙され、不幸のどん底に突き落とされる。
性的に奔放であるため、色恋沙汰のトラブルも絶えない。

経歴を詐称する。過去に語った内容とまるで違うことを平気で主張する。
矛盾を指摘されても「断じてそんなことは言っていません」と涼しい顔で言い張る。

(略)
見過ごせないのは、この種の人間を擁護する人が少なくないことです。
(略)
時には「信者」であるかのような崇敬を示す人までいます。
そうした人たちは、きっと知らないのでしょう。
彼/彼女らが、高い確率で「サイコパス」だということを。
(脳科学者・中野信子さん)

AI的にはこういう子が育つ可能性はあるの?

●添とか●エモンとか百合子とかちょんとか
926デフォルトの名無しさん (ワッチョイ 797c-kEY9)
垢版 |
2019/02/27(水) 12:22:19.72ID:+TCpifLa0
>>908
人事採用で応募して来た人間が不良かどうか判定したい
927デフォルトの名無しさん (アウアウエー Sa52-281i)
垢版 |
2019/02/27(水) 12:49:52.22ID:yvpNGOcva
>>926
Amazonがそれやったけど女性差別するように学習して辞めたよね
2019/02/27(水) 13:01:10.50ID:FmmSgkzT0
機械学習はわからんうちは面白そうで飛びつくけど、しばらく勉強したら飽きた
進歩早いし専門家じゃないとついていけない世界ねこれ
929デフォルトの名無しさん (ワッチョイ 2a81-nbQA)
垢版 |
2019/02/27(水) 13:30:32.39ID:kYCsLobN0
既存ツール、ソフトを利用する立場なら専門家の議論についてかなくていい
2019/02/27(水) 14:37:13.41ID:yqitGYbt0
SVMを理解する為にlibSVMで作ってみたんだけど、
動作を確認する為に学習データとサンプルデータ(とパラメータ)が載ってるサイトって無いですか?
931デフォルトの名無しさん (ワッチョイ 3dad-2CcH)
垢版 |
2019/02/27(水) 14:40:17.34ID:qf2btets0
P言語しか使えないプログラマって
CPUがどうやって動いているか知らないですもん。

知らなくても仕事でちゃんとプログラム作ってますから、
データ分析も全部知る必要ないと思います。

知らないけどちゃんと使えてる・動かしている、
というのは世の中にいくらでもありますよね。
2019/02/27(水) 14:42:40.83ID:rAQq5VRTM
自分がどうやって生まれてきたかも分からん
2019/02/27(水) 18:24:24.61ID:aJV4QZ47H
ダウト
2019/02/27(水) 18:25:28.54ID:wqZUIGca0
そろそろ、被写体を自動で認識して綺麗に切り抜いてくれる機能が
フォトショに実装されても良い頃なのに、AIを使ってるとは名ばかりの中途半端
2019/02/27(水) 18:41:06.02ID:6a6tMlMF0
現状、精度や柔軟性で人間超えるのはまだ難しい。
機能しているのは効率重視なタスク。
2019/02/27(水) 18:58:27.31ID:cCpqA6TY0
>>927
教師データに性別が入っていて、男性の方が採用率が高かったという
やるだけ無駄な結果だったんだっけ?
2019/02/27(水) 19:00:17.91ID:cCpqA6TY0
https://www.gizmodo.jp/2018/10/amazon-recruitment-ai-aborted-due-to-gender-bias.html
2019/02/27(水) 20:57:49.46ID:oKU439Wka
https://towardsdatascience.com/aifortrading-2edd6fac689d
機械学習で株価予想を徹底的にやり込んだ例
2019/02/27(水) 21:38:17.95ID:sixaVNFNp
>>938
あまりにもフィットしすぎていて、自身の経験上では予測対象のデータを学習に読み込んでいるレベルだ
本当だとしたら凄いな
2019/02/27(水) 21:57:13.50ID:cCpqA6TY0
>>938
ガチ勢は楽しそうだけれど
実際大手証券はもっとガチ勢なんだろうなと思うとやって競馬、本当にやるなら競輪競艇くらいのほうが夢がありそうだよね
2019/02/27(水) 22:08:34.78ID:cCpqA6TY0
ていうかpythonはいつまでGILに縛られてるんだよ
GILなんとかしないと実際問題まともなプログラミング言語と言えない
numpyが優秀なだけで他はぱっとしない
942デフォルトの名無しさん (ワッチョイ 6db3-/Zgv)
垢版 |
2019/02/27(水) 23:50:14.09ID:1rcJPNKd0
>>938
これはよくある「前日に近い値を出力しているだけ」では?
943デフォルトの名無しさん (ワッチョイ 57b3-48YA)
垢版 |
2019/02/28(木) 00:08:09.21ID:CuUM5r410
株予測にMSEを使うとやらかしやすいミス
944デフォルトの名無しさん (アウアウエー Sadf-Hr0W)
垢版 |
2019/02/28(木) 00:10:37.70ID:kXTPZ8gSa
数値データの変動だけからの予測は限度がありそうだな
社会情勢やニュースも考慮できたら精度が上がりそう
945デフォルトの名無しさん (ワッチョイ 57b3-48YA)
垢版 |
2019/02/28(木) 00:19:05.22ID:CuUM5r410
株価だけだと
テクニカル分析を信じる人の割合+それに乗っかる人の割合
くらいでしか当たらないからね
2019/02/28(木) 01:14:47.99ID:OOAd9HkA0
>>868
重み更新を行わないステップがあると、lossとかのmetricsが全部nanになる
強化学習でフレームスキップをした時によくハマってた

そうじゃなかったら、loss functionの使い方を根本的に間違えてるとか?
947デフォルトの名無しさん (ワッチョイ bf66-UbqP)
垢版 |
2019/02/28(木) 09:07:56.62ID:yERzO5rQ0
>>938
須山敦志 Suyama Atsushi? @sammy_suyama
不確実性を無視して予測を「精度良く当てにいく」というのはあまり有用じゃないです。例えば株価の上昇をピンポイントで当てにいくよりも、「暴落しないこと」が言えた方がずっと有用。
https://twitter.com/sammy_suyama/status/1090399628841803778
https://twitter.com/5chan_nel (5ch newer account)
948デフォルトの名無しさん (アウアウイー Sa0b-Topk)
垢版 |
2019/02/28(木) 09:42:57.67ID:3dEKXnvYa
>>947
ポートフォリオ理論、30年以上前のクォンツの時代から、
本来はヘッジのために考えられ、その有効性が盛んに叫ばれても
みなさん運用(儲け)側にしか走らなかった。

分ってはいるが、そうやって使ってくれないという悩み。
焼き直しにすぎないのですが、価値が無いわけじゃないんだよな。
949デフォルトの名無しさん (アウアウイー Sa0b-Topk)
垢版 |
2019/02/28(木) 09:52:42.58ID:3dEKXnvYa
>>938
国内でも機械学習を用いて、自己資金で運用というのが
15年前から3年近く前まで、運用実績をWebサイトでずっと公開されて方がいた。

実際に相当に資産を増やされていたが、本業ではないので株についてのアルゴリズム
の見直しは本格的にされていなかったので、現在(2年か3年前から)は、為替に
主力を移して良いパフォーマンスをだされてますよ。

昔から興味のある方々にとっては有名なサイトでした。サイトは閉じられましたが
現在もPC7台使って自動運用中です。
ちなみに、リアルタイム取引ではないです。
950デフォルトの名無しさん (ワッチョイ 57b3-48YA)
垢版 |
2019/02/28(木) 11:08:48.92ID:CuUM5r410
ヘッジに使わていないとかどこの世界の人なのか
ヘッジャーとスペキュレーターとアービトラージャーは業務が別なだけ
951デフォルトの名無しさん (ワッチョイ d7ad-+tcs)
垢版 |
2019/02/28(木) 12:28:54.67ID:6I4J9Bo20
米証券会社大手ゴールドマン・サックスには500名の
トレーダーが在籍していたが、AIトレードの普及で
今ではAIエンジニア3名に置き換わってしまったのは
有名な話ですよね。

先日、恩師によばれて大学のゼミ生たちに
プログラミングを教えに行ったら、
全員が機械学習で株価を予想しててマジで笑いましたw
レス数が950を超えています。1000を超えると書き込みができなくなります。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況