【統計分析】機械学習・データマイニング25

レス数が950を超えています。1000を超えると書き込みができなくなります。
2019/06/27(木) 01:53:38.17ID:WayvZS+f0
機械学習とデータマイニングについて語れ若人

*機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured
2019/09/06(金) 16:21:34.02ID:03FfFLT80
>>886
AIというバズワードが後押ししたのなら良いことだね
単なるIT化な訳だけど
888デフォルトの名無しさん (アウアウウー Sa0f-/1KG [106.161.132.129])
垢版 |
2019/09/06(金) 16:55:22.29ID:BL7YOe7Ca
>>880
吉田茂の祖父は大久保利通でなく義祖父。
2019/09/07(土) 10:53:53.03ID:8x81QHUT0
pythonのhyperoptにあたるライブラリ
Rにはあるけどjavaやcにはないのかなあ。探してるんだけど
2019/09/07(土) 11:02:28.38ID:8x81QHUT0
javaはたぶんランダムサーチとグリッドサーチしかないよね
Cもそうかな
2019/09/07(土) 16:02:55.32ID:WmJ4iiEA0
python からてきとうにシステム関数使って他の実装呼んでhyperoptつかいまわせばええやん。
2019/09/07(土) 21:08:10.52ID:Po8silupM
それしかないね。pythonでコーディングして、速度が必要な検知システムだけ
Cで書いた関数を呼び出そうかな
kotlinにもモデルを送れるようにしたいから色々と重いわ
893デフォルトの名無しさん (ワッチョイ cbad-wxDY [124.144.197.178])
垢版 |
2019/09/08(日) 12:14:33.41ID:5eE0Pvhe0
>>879
> 話題とファンダとチャートみたいなことが言われるが

あ、そうなんすか?全然知らなかったです。
俺のように情弱なのがカモになるんでしょうね。
買ったら下がるし、売ったら上がるしで、悔しい思いばかりですので、
話題分析(?)とか、ファンダメンタルズも少し勉強してみます。
2019/09/08(日) 19:47:49.19ID:0500lIGf0
>>893
字句解析の方はtwitterやニュースを利用したソーシャルビッグデータ解析の応用をした米国のスタートアップが大金を集めたが失敗した
感情分析などの精度が粗くスピード感に欠ける方法では戦えなかった
895デフォルトの名無しさん (ワッチョイ 9f3d-QJQN [219.104.75.160])
垢版 |
2019/09/10(火) 10:04:50.13ID:Uasui3Kr0
欠損値の補完にXGBを使うのどうなんだろうね
やってみてるんだけど
2019/09/10(火) 21:36:28.40ID:pE5U9F1kr
新しい手法を試して以前よりいい値が出ると嬉しいなあ
2019/09/10(火) 22:46:08.58ID:jlIzURhrM
カテゴリデータの欠損値を埋められると、
決定木以外のモデルでアンサンブルできるからスコアが跳ね上がるんだけど
大抵はよい埋め方が分からなくて時間切れになるんだよね
898デフォルトの名無しさん (ワッチョイ 8baa-u42S [118.2.213.222])
垢版 |
2019/09/11(水) 07:33:46.36ID:YV25RzmT0
欠測値の補完は
相関の高い系列から
比率補完してる。

補完方法が分からない、
または面倒ならば、
欠測値の直前の値のコピーでよい。

これは横置き補完(LOCF)という
ちゃんとした方法であり、
分析結果もわりと良いことが知られている。
899デフォルトの名無しさん (ワンミングク MMbf-+nrL [153.158.82.178])
垢版 |
2019/09/11(水) 09:38:04.27ID:fKnCsbtHM
なんか出た
https://prtimes.jp/main/html/rd/p/000000037.000028865.html
900デフォルトの名無しさん (アウウィフ FF0f-p7Vf [106.171.66.35])
垢版 |
2019/09/11(水) 12:34:31.55ID:zFEVPQj4F
またまつおっさんか
901デフォルトの名無しさん (トンモー MM8f-u42S [210.142.95.105])
垢版 |
2019/09/11(水) 13:44:32.92ID:/3FXcnyQM
契約書とか
アホじゃね?

まつおも
分析してくれるのか?
2019/09/11(水) 13:54:33.80ID:g7YsWlwr0
なんじゃこれ
2019/09/11(水) 14:07:05.53ID:l+ctor+CM
契約書ない闇業務が横行しとん?
2019/09/11(水) 17:55:18.60ID:NvdVSjLB0
sklearn.impute.IterativeImputer

このツールを調べてるんだけど
なんかランダムフォレストで欠損値を保管するアルゴリズムまで
サポートしてくれそうな気配じゃないですか。なんとなく神ツールの予感
2019/09/11(水) 19:41:13.47ID:NvdVSjLB0
このツール、どうも凄そうだけど、kaggle上位陣でも使いこなせる気がしないな
2019/09/11(水) 20:37:37.60ID:PdKOgHxPp
>>901
いや、これは良いと思うぞ
学生出身のベンチャーなんか契約書マトモなの書けないから大企業とは仕事できんぞ
プログラミングとは別のスキルだから、こういう面倒なことを押さえていくのはいいと思うわ

検定よりよっぽどか役に立つ
907デフォルトの名無しさん (ワッチョイ ef66-R38q [183.77.219.23])
垢版 |
2019/09/11(水) 21:09:17.46ID:8uwcfRFu0
まともに契約書もかけないとこと契約すんのかよ。。。
2019/09/11(水) 21:21:50.46ID:eo1gDjZO0
まともでない契約書を書いた企業相手なら穴をつけばいいだろw
2019/09/11(水) 22:00:17.70ID:dX8mKe9q0
実際データ分析関係の契約はかなりガバガバだよ。
2019/09/11(水) 22:19:47.28ID:iw+M343Ra
契約書にあまりに無茶なことを書いても
つまり、公序良俗に反することやあまりにも常識からかけ離れている場合は
裁判をすれば勝てる可能性が高い
あまり知られていないけど
2019/09/12(木) 00:10:44.07ID:aCgQCmlJ0
>>889
Adaptive Simulated Annealingのライブラリがあるよ
https://www.ingber.com/#ASA
TPEじゃないけどまあ用途は同じ
比べたことないので性能の優劣はわからんけど俺は重宝してる
2019/09/12(木) 23:00:17.77ID:BUBqu0NrM
>>911
ありがとう。これは凄そう
こんなの状況によって使いこなせるcやjavaのエンジニアは
本当にいいエンジニアだな
2019/09/12(木) 23:04:56.60ID:BUBqu0NrM
しかしcはこれで、javaはdl4jのアレか
一応、どの言語にもハイパーパラメーター調整用のライブラリはあるんだな
2019/09/13(金) 00:50:14.97ID:rG567ozj0
libpython使うのもおススメ
やってみると割と簡単
C++とpythonが融合すると新境地が開ける
2019/09/13(金) 01:29:38.19ID:EWxuhcIO0
世界最大の専門職団体であり電気・電子工学・コンピューターサイエンス分野の文献や論文誌を発行するIEEEによる学会誌IEEE Spectrumが、
「Top Programming Languages 2019(人気の高いプログラミング言語2019)」を発表しました
https://gigazine.net/news/20190910-top-programming-languages-2019/

まーpython強いけど
2019/09/13(金) 01:35:32.34ID:EWxuhcIO0
https://spectrum.ieee.org/static/interactive-the-top-programming-languages-2019

モバイル以外全部pythonになってるし
2019/09/13(金) 05:07:20.34ID:lpvLIE01M
だいたい納得のランキングだけど、Kotlinこんな下なんだ
そこだけ驚いた
918デフォルトの名無しさん (ワンミングク MMa3-wE3l [153.158.82.178])
垢版 |
2019/09/13(金) 10:07:10.42ID:5K7DVX7cM
iosだけしか使えないんでしょ?
2019/09/13(金) 12:26:59.82ID:KWIEIpY70
Rが5位ってんなわけあるかよ
どういう重み付けだよ
2019/09/13(金) 14:22:08.12ID:rG567ozj0
HTMLとかSQLってプログラミング言語、、、なのか?
2019/09/13(金) 15:36:28.16ID:WgHb8Dzf0
SQLは便利よ。慣れれば良いもの
922デフォルトの名無しさん (ワッチョイ bd7c-+dKN [122.215.159.99])
垢版 |
2019/09/13(金) 15:59:56.73ID:ud7Tmahn0
SQLでゲーム造ってた人はいたかな
HTMLはプログラミングの言語じゃないと思うけど
HTML5って広義のHTMLなんか
923デフォルトの名無しさん (トンモー MMe9-meoL [210.142.95.135])
垢版 |
2019/09/13(金) 18:49:48.91ID:NeHzdXo6M
>>920
先輩がスクリプト言語と言ってるから
俺も同様に読んでる。
924デフォルトの名無しさん (トンモー MMe9-meoL [210.142.95.135])
垢版 |
2019/09/13(金) 18:52:44.18ID:NeHzdXo6M
先輩からは
OSまたはCPUに命令できるのが
プログラミング言語で、
ソフトウェアの動作を記述するのが
スクリプト言語と教わった
SQLもHTMLもソフトウェアの
動作を記述してる
2019/09/13(金) 18:56:36.00ID:qlpO7tZoa
その先輩信用して大丈夫か?
2019/09/13(金) 18:56:58.43ID:CJN/La/yM
Rはアドホックでは、なんだかんだで便利だわ
2019/09/13(金) 20:01:51.89ID:rG567ozj0
その理屈で言うとWordやPowerPointもスクリプト言語だな
ユーザ数はPythonの比ではなさそうだが
928デフォルトの名無しさん (トンモー MMe9-meoL [210.142.95.135])
垢版 |
2019/09/13(金) 20:02:34.40ID:NeHzdXo6M
>>925
外見は全くのアホとしか見えないけど
会社の上の人も、1次受けのSierの人も
エンドユーザーもすごくそのアホ先輩を
崇拝しているのが態度でわかるぐらいなので
多分、大丈夫かと思います。
2019/09/13(金) 20:08:56.07ID:Qxgajfuna
マークアップ言語をスクリプト言語っていう人はちょっと合わんな
texもスクリプトとか言いそう
930デフォルトの名無しさん (アウアウウー Sad9-dGyF [106.154.131.155])
垢版 |
2019/09/13(金) 20:22:34.21ID:hMjVvYt7a
texはチューリング完全だぞ
2019/09/13(金) 21:03:20.66ID:EWxuhcIO0
>>928
勉強は出来ないが仕事が出来るタイプの人かもな
その辺の認識の違いは仕事をする上で問題にならないってことだろうな
2019/09/13(金) 21:06:23.77ID:NIOXKbUUM
重回帰分析で
説明変数の意味は伏せられている
説明変数は3800ぐらいで整数値か実数
欠損値はなし

どう取り組んだらいい?
2019/09/13(金) 21:21:44.53ID:EWxuhcIO0
まず、、考える前に周辺を整理する
パソコンのキーボードにゴミは無いかマウスにへんなヌメリが無いか
机にイラナイ本はないか、、そして床の隙間にゴミが入り込んでないか入念にチェック
そうこうしているうちに疲れて来る
また明日考えればいいだろう
そう思って颯爽と寝る

なんて奴はやってもすぐ諦める奴だから
取り組まない方がいい
934デフォルトの名無しさん (アウアウウー Sad9-dGyF [106.154.131.155])
垢版 |
2019/09/13(金) 21:33:51.19ID:hMjVvYt7a
>>932
重回帰分析してみればいいんじゃないの
2019/09/13(金) 21:54:31.64ID:Iurn0hDN0
転職したら
2019/09/13(金) 22:37:47.66ID:+QlVt2hqH
>>933
近くに似たような人がいるわ
グラウンドの掃除ばっかやってて、いつ試合するんだ?ておもてた
2019/09/13(金) 22:42:45.42ID:iYoTA3dh0
なにを分析すればいいのか
それが問題
2019/09/14(土) 01:38:57.68ID:Q+GOyzt10
1.目的変数と説明変数の相関を調べる
2.相関の高い説明変数だけで、まず重回帰分析してみる
939デフォルトの名無しさん (アウアウウー Sad9-+Efg [106.161.129.89])
垢版 |
2019/09/14(土) 08:54:44.72ID:uv1j2DVSa
>>932
マルチコで大変だ。
2019/09/14(土) 09:41:16.20ID:hTLOVheAr
>>939
たじゅうきょうせんせい
>>932
とりあえずxgboostとか入れてみる。
マルチコでもそれっぽいものはでるかも
2019/09/14(土) 10:08:02.01ID:tE5HTA5G0
>>932
データのサンプル数は?
942デフォルトの名無しさん (オッペケ Srb1-dGyF [126.255.3.68])
垢版 |
2019/09/14(土) 12:14:05.72ID:UwfdWL0Pr
>>940
線形以外のモデルも重回帰分析って呼ぶの?
943デフォルトの名無しさん (エムゾネ FF43-L2cD [49.106.192.66])
垢版 |
2019/09/14(土) 14:55:41.69ID:SxFSCxT0F
そりゃそうだ
2019/09/15(日) 07:13:52.68ID:66qvL3+x0
>>942
線形でなくても、非線形でも良いので、ブースティングでも、ニューラルネットワークでも
2019/09/15(日) 09:24:21.00ID:bjsiNRs40
【統計分析】機械学習・データマイニング26
https://mevius.5ch.net/test/read.cgi/tech/1568506986/
2019/09/15(日) 09:28:05.51ID:bjsiNRs40
最近、進行速度が早いのでここの利用者が増えていると思われます。

次スレもIP表示のままといます。
2019/09/15(日) 13:15:12.22ID:F4ElOQHOd
https://bunshun.jp/articles/-/14102?page=1
2019/09/15(日) 13:16:52.84ID:F4ElOQHOd
スーパーやユニクロなどのセルフレジもそうだが、正直めんどくさい。
949デフォルトの名無しさん (エムゾネ FF43-L2cD [49.106.174.171])
垢版 |
2019/09/15(日) 14:33:50.21ID:CYqvBFjrF
逝きたがらない理由は良く判ったが
場所によっては需要があることも判った

>いわゆる“おとなのおもちゃ”を扱っている店は中国全土で普及しています。
>中国でもそういった店での買い物は恥ずかしいようですね。
>中国の地図アプリで「無人商店」と入れて出てきた店舗は8、9割、
>いやそれ以上の割合で無人のアダルトショップです。
>意識の高そうな技術が、意外にも意識の低い現場で大活躍していました。
950デフォルトの名無しさん (ワンミングク MMe3-ubMc [153.158.82.178])
垢版 |
2019/09/19(木) 19:58:40.95ID:mMZ4NswTM
ubuntu18.04にtorch7て入る?
951デフォルトの名無しさん (ワンミングク MMe3-ubMc [153.158.82.178])
垢版 |
2019/09/19(木) 20:44:13.29ID:mMZ4NswTM
torch7てオワコンなのね。。。
2019/09/19(木) 21:01:55.76ID:tSGTKKCk0
tf2.0が激強すぎた
2019/09/19(木) 21:13:12.88ID:Pj1IM8vga
tf2とpytorchやるならどっちがいいの?
tensorflowとpytorchをpix2pix動かした程度に触っただけ
954デフォルトの名無しさん (ワッチョイ 7d47-MBmc [150.249.206.28])
垢版 |
2019/09/20(金) 13:40:06.59ID:64a3gS2J0
ドロップアウトのことかな?

名古屋大、睡眠中に記憶消す神経発見 起床直前の夢、忘却に関与か?
http://himasoku.com/archives/52090228.html
2019/09/22(日) 14:07:30.85ID:JkNu4Dob0
顔画像から人種のパーセント振分けするのはあるけど
顔画像から身体的特徴を推測するのはまだないと思う

例えば顔だけでこいつは胸が大きいとかチンコがでかいとか程度の特徴は
アダルトサイトから膨大な教師データ取り込んで機械学習させればできるんじゃないかと
956デフォルトの名無しさん (オッペケ Sr99-8lXu [126.255.66.172])
垢版 |
2019/09/22(日) 14:14:23.58ID:5WmnN11dr
顔の特徴と身体的特徴に相関があるならばできるけれど、これは自明ではない
無ければ幾らデータがあっても不可能
957デフォルトの名無しさん (エムゾネ FF03-TBpG [49.106.192.168])
垢版 |
2019/09/22(日) 14:23:59.77ID:1Lp46k9AF
相関が無いことを証明したデータも無い
2019/09/22(日) 15:06:45.45ID:0xp8r1PqM
現代の人相学だな
2019/09/22(日) 15:16:13.82ID:W0Is6oqw0
人相学は顔から身体的特徴を判断するものだったのか、知らなかった
960デフォルトの名無しさん (トンモー MM71-CDEi [210.142.95.66])
垢版 |
2019/09/22(日) 16:24:54.16ID:WAqrU73nM
>>956
可能ですよ

世界中の全ての人の顔と身体の
データあれば。
2019/09/22(日) 16:48:28.32ID:bCXuMZ4ya
ただのLUTじゃん
962デフォルトの名無しさん (アウアウウー Saa1-iq3O [106.161.135.76])
垢版 |
2019/09/22(日) 16:54:32.50ID:2opI9JE6a
>>960 >>956
肖像権があるからな。
2019/09/22(日) 17:15:46.43ID:p1u+NLfG0
>>960
それは機械学習とは違う
964デフォルトの名無しさん (ワッチョイ 6b10-XBLH [153.131.102.129])
垢版 |
2019/09/22(日) 17:44:09.76ID:fkzFvHi+0
>>960
これから生まれてくる人の顔から予測するのはできないんじゃね?
2019/09/23(月) 09:47:15.38ID:MiwQBkGX0
ヒトゲノム情報と成人した時の顔や身体的特徴との相関を取ればよいのでは?

このテーマが解ければ、ゲノム編集で生まれる前から整形できるし
遺伝もする
966デフォルトの名無しさん (スププ Sd03-LYMK [49.98.84.115])
垢版 |
2019/09/23(月) 12:16:14.14ID:XEtvtsLKd
そういえば最近、ディープラーニングの話題があまり出ない気がします。
もしかして、冬の時代に入った?
2019/09/23(月) 12:31:53.92ID:KGovGw0C0
ブロックチェーンとともに入ったっぽいね
2019/09/23(月) 12:38:19.74ID:RcQu6zGT0
できることできないことがほぼ明らかになったからな
自動運転は世の中が100% を望むからもうこれ以上開発しても意味が
ないかと思う。遺伝子組み換え食品と同じ運命
2019/09/23(月) 12:41:06.16ID:cUJu1i1b0
目新しさが無くなって話題が減ったせいでは。投資が減ったようなデータは見かけてない
2019/09/23(月) 14:48:31.02ID:5yKBnPRI0
もう完全に実用段階に入ってる
浮ついた話題はだいぶ消えた
971デフォルトの名無しさん (スププ Sd03-LYMK [49.98.84.115])
垢版 |
2019/09/23(月) 15:08:25.03ID:XEtvtsLKd
真のAIはいつ出来るの?
972デフォルトの名無しさん (アウウィフ FFa1-TBpG [106.171.80.200])
垢版 |
2019/09/23(月) 15:12:00.94ID:3qdqqJ07F
真のAIならコミュニケーションしてても気付けないだろ
2019/09/23(月) 16:47:54.75ID:bpYJtYC8M
GCPとか使えば知識なくても出きるらしいしね
ところでGCPってクレカ登録必須だけど、Vプリカでもできるか誰か試したことありますか?
クレカは出来ればやたら登録したくないです
2019/09/23(月) 18:07:46.62ID:ib/sCjCua
GCPってクレカ登録しても明示的に課金操作しなければ課金されることはない(=課金開始ボタンのようなものがある?)という趣旨の記事と
無料と思っていたら知らない内に請求されてたという記事が混在していて何を信じればいいのか分からない
2019/09/23(月) 18:15:31.75ID:ib/sCjCua
>>974補足
GCPは無料枠をオーバーしてもインスタンスが自動で止まるからちょっと試したいだけの人も安心みたいな記事が多いけど
サマータイムで1日多い月に月間の上限を超過して課金されただのという記事もあり、
「いや、超過前に勝手に止めてくれるんじゃなかったの?」と困惑して興味はあったが使っていない
976デフォルトの名無しさん (ワッチョイ 7b66-kReW [183.77.218.93])
垢版 |
2019/09/23(月) 18:18:47.93ID:h4QHZaBo0
分類系の実際問題にはどんどんAIを適用すればいいのに
2019/09/23(月) 22:31:44.54ID:5hdmT70hM
できるところはやってる。みんなバカじゃない
導入が遅れているところは、データを集める労力の高さがネックでシステムが走るところまでいかない
978デフォルトの名無しさん (ワッチョイ 2388-9GzD [131.147.201.232])
垢版 |
2019/09/23(月) 22:45:53.71ID:urf/jx9E0
OpenAIがだしたMARLのかくれんぼ動画って結局なにをいいたいんだ・・・アメリカ語が分かる方教えてクレメンス
979デフォルトの名無しさん (オッペケ Sr99-8lXu [126.255.150.143])
垢版 |
2019/09/23(月) 22:52:35.52ID:gtTh9vdVr
エージェント同士が道具を使って協力する事を学習出来た
ついでに人間側の想定しなかった道具の使い方も学習した
980デフォルトの名無しさん (ワッチョイ 2388-9GzD [131.147.201.232])
垢版 |
2019/09/23(月) 23:22:22.21ID:urf/jx9E0
>>979 ありがとう!協調して目的を達成するまさにマルチエージェントと強化学習が合体したすばらちい研究ですね。
2019/09/24(火) 01:45:54.85ID:JGfoOZrs0
OpenAIのやつも、DeepMindのDQNと同じ深層強化学習なの?
982デフォルトの名無しさん (トンモー MM71-CDEi [210.142.95.186])
垢版 |
2019/09/24(火) 08:38:25.36ID:5BStMCshM
>>979
詳細キボンヌ
ソースは公開するの?
2019/09/24(火) 11:34:53.11ID:gKQtLd2vr
株価のローソク足グラフを深層学習したいって言ってた人がスレに大昔いたっけ

ローソクだけなら[始,終,高,安]のリストでもタプルでもjsonでもいいんだな

チャート画像丸ごと学習! って言ってたな
2019/09/24(火) 11:59:14.11ID:2WIGtSqr0
それってわざわざチャートのローソク画像使わなくても数値でいいじゃん。
よほど楽で正確だと思うがな。
2019/09/24(火) 12:04:51.53ID:KQ2Q23Cp0
完全にプログラミング等ど素人です。
RとかPython、ベイズ統計、機械学習と勉強していきたいんですがどうやって勉強すればいいでしょうか。
やりたいことは、株とか競馬とかです。
データ取り込んで解析してグラフ化まで出来るようにしたいんです。
簡単な本で例題が豊富で手を動かしながら統計処理を習得できるような書籍ありましたらご教示願いたいです。

熱流体専攻してた理系ですので、数式とかは結構すきです。
会社の研修で統計かじってみたら存外面白くて勉強してみたくなりました。業務には全く使いませんが。

今持っている本は、
Excelでスッキリ分かるベイズ統計入門、すぐわかる確率統計、すぐ分かる統計処理
の3冊です。
2019/09/24(火) 14:08:50.03ID:2kuWs4Ux0
独学なら言語名+機械学習とか言語名+ベイズとかでググって評判のいい書籍買ってみたら。
レス数が950を超えています。1000を超えると書き込みができなくなります。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況