【統計分析】機械学習・データマイニング25

レス数が950を超えています。1000を超えると書き込みができなくなります。
2019/06/27(木) 01:53:38.17ID:WayvZS+f0
機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/
Machine Learningを用いた論文一覧2018
https://shiropen.com/seamless/machine-learning/2018
2017年のディープラーニング論文100選
https://qiita.com/sakaiakira/items/f225b670bea6d851c7ea
DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76

■前スレ
【統計分析】機械学習・データマイニング23
https://mevius.5ch.net/test/read.cgi/tech/1551352040/
-

【統計分析】機械学習・データマイニング24
https://mevius.5ch.net/test/read.cgi/tech/1556674785/
VIPQ2_EXTDAT: checked:vvvvvv:1000:512:----: EXT was configured
2019/09/03(火) 23:59:29.30ID:KYLSIPvqM
大学生なら微分積分・線形代数・統計学などの基礎をしっかりやった方がいい
プログラミング能力も大事。機械学習なんかよりよっぽど大事
基礎を固めたら、最適化数学、機械学習の理論書を勉強しよう

ツールの勉強なんて後回し。逆に理論ある程度やったら、kaggleのカーネルを
いきなり読んでもある程度はいけるはず

上の人のコメントは、時間のない社会人向けだな
それもひとつの正解ではある
2019/09/04(水) 00:03:37.72ID:GyKcvjw+M
あと実務で使いアルゴリズムはDLばかりじゃないよ
2019/09/04(水) 00:15:43.77ID:6TBrh6t50
最終目的がよくわからないが
コンペで上位に行きたいならChainerのサイトとか
amazonで人気の本を2冊ほど買って基礎的な部分だけ覚えて実際に参戦
限界を感じたところで一旦撤退して上位に行ってる奴等が何をしているのか
ネットで探ってパクる、、これでかなり最短で上の方に行ける

おそらくブロガーとかユーチューバーとかその辺も多分同じ
基礎覚えて参戦して撤退してパクる
2019/09/04(水) 00:19:01.09ID:noQskCgg0
kaggleってDLいるのかね。
自分はtableコンペしか出てないから決定木系しか使って無い
画像もやってみたい
862デフォルトの名無しさん (ｱｳｱｳｸｰ MM3f-ETua [36.11.225.238])
垢版 |
2019/09/04(水) 00:26:09.75ID:GyKcvjw+M
俺、tableコンペばっかやってるけど
DLがんがん使う。アンサンブルのためだけに
上位はそれがないときつい
2019/09/04(水) 00:31:08.49ID:GyKcvjw+M
ま、俺は上位にいけないんだけどね(体育座り)
2019/09/04(水) 00:32:17.57ID:noQskCgg0
おお、早速パクりたいけどアンサンブルのどこで使うか想像もつかない。検索の旅に出ます
2019/09/04(水) 02:28:21.38ID:zGrdOtwm0
>>858
＞最適化数学の理論書
具体的に挙げていただけますか？最適化数学とは何かがすごく気になるのです
2019/09/04(水) 04:44:06.24ID:GyKcvjw+M
本屋に行けば沢山あるから新しめの本を買えばいいさ
自分の買った本は当時としては一番よかったものだけどもうオススメできないんだよ
2019/09/04(水) 06:41:20.04ID:GyKcvjw+M
徹夜で組んだ奴がいい学習してる感じでスコアが出るまでとても寝れない気分だけど
気づいたら朝だった
なにをいってるかよくわからないと思うが俺にもよくわからねえ
2019/09/05(木) 08:13:25.38ID:3AoluiiY0
けっこう工学的というか実験ベースな分野ではあるのに、
その辺理屈を無理に押し通す輩が多いからうまくいってないなとは思う。
2019/09/05(木) 08:44:03.19ID:pocUREhtH
>>867
わかる
意味なくログファイルをモニターしてしまう
2019/09/05(木) 11:29:25.58ID:CDQqQF74r
自作データセットでトレデータ:テストデータ=3:1で正解8割

もう1割上げないとなあ
871デフォルトの名無しさん (ﾜｯﾁｮｲ fb02-kyym [106.166.50.77])
垢版 |
2019/09/05(木) 18:20:32.15ID:0Lgnborf0
kerasはライブラリに
便利な評価用の
関数があるからよ
872デフォルトの名無しさん (ﾜｯﾁｮｲ 4f82-j/X3 [113.20.238.175])
垢版 |
2019/09/05(木) 18:23:49.56ID:Np9yqLI50
>>857

ChainerとSONYのNNCなら
どっちの方が良いのでしょうか？
2019/09/05(木) 18:40:50.41ID:C4gzF7gpp
>>872
どっちもどっちだけどNNCの自動最適化機能は勉強になった
Pythonでガシガシ書きたくないならNNCでいいんじゃないかと
2019/09/05(木) 18:58:19.08ID:/HEob2lMM
自動最適化は内部がpythonのhyperoptだったりしてｗ
875デフォルトの名無しさん (ﾄﾝﾓｰ MM8f-u42S [210.142.95.53])
垢版 |
2019/09/05(木) 19:36:45.36ID:jnTRuVNeM
株価を予想して売買して儲ける、
というのは超ムズイと聞くけど
やっぱりやりたくなってしまう。
で、成績はトータルで赤字です。
やっぱりムズイっすね。
876デフォルトの名無しさん (ﾜｯﾁｮｲ 3b7c-p7Vf [122.215.159.99])
垢版 |
2019/09/05(木) 19:49:33.35ID:LzIr2bnO0
京急の株買え
877デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MMbf-+nrL [153.158.82.178])
垢版 |
2019/09/05(木) 19:50:41.74ID:fK1k5jF2M
事故起こす方が効率よくない
2019/09/05(木) 21:00:05.14ID:lEU1h0yU0
アンブレイカブル
2019/09/05(木) 23:12:10.57ID:pFN/d9jF0
>>875
話題とファンダとチャートみたいなことが言われるが
なんとかモデルみたいな、過去のチャートの動きから騰落率を予想するようなものはだめだと思う。
やるなら話題分析じゃないかな。決算データとかは単純だから手動でなんとかなるし。
2019/09/06(金) 09:33:45.95ID:UNOJvShn0
>>850 弟の嫁さんは皇族と直接繋がってる。
881デフォルトの名無しさん (ｽﾌﾟﾌﾟ Sdbf-mdsV [49.96.39.208])
垢版 |
2019/09/06(金) 10:03:59.54ID:k/VjD6zed
第3次AIブームは冬の時代になりますか？
2019/09/06(金) 10:06:16.37ID:CjzFXNOba
なるよ
2019/09/06(金) 11:15:09.37ID:zFTgi4J50
>>881
参考になるかわからんけど
https://japan.zdnet.com/article/35142144/
ガートナー、先進技術のハイプサイクルを発表--センシングとモビリティーなど5つのトレンド
2019/09/06(金) 15:16:09.81ID:MSpxSxKGa
>>881
なりそう
ついに出版ラッシュが終わった感じがする
2019/09/06(金) 15:35:56.97ID:UNOJvShn0
冬の時代と言うより実用時代に入ってきたと言う気がする。
時代が変わりつつある。
2019/09/06(金) 15:48:49.04ID:LBdBW9pI0
RPAとAIを合わせてDXなんて言うようになってるのね。
ようやっと既存産業にITが浸透するのかな。
基幹システムとかただの帳票の置き換えだったから、やっと時代が進むのか
2019/09/06(金) 16:21:34.02ID:03FfFLT80
>>886
AIというバズワードが後押ししたのなら良いことだね
単なるIT化な訳だけど
888デフォルトの名無しさん (ｱｳｱｳｳｰ Sa0f-/1KG [106.161.132.129])
垢版 |
2019/09/06(金) 16:55:22.29ID:BL7YOe7Ca
>>880
吉田茂の祖父は大久保利通でなく義祖父。
2019/09/07(土) 10:53:53.03ID:8x81QHUT0
pythonのhyperoptにあたるライブラリ
Rにはあるけどjavaやcにはないのかなあ。探してるんだけど
2019/09/07(土) 11:02:28.38ID:8x81QHUT0
javaはたぶんランダムサーチとグリッドサーチしかないよね
Cもそうかな
2019/09/07(土) 16:02:55.32ID:WmJ4iiEA0
python からてきとうにシステム関数使って他の実装呼んでhyperoptつかいまわせばええやん。
2019/09/07(土) 21:08:10.52ID:Po8silupM
それしかないね。pythonでコーディングして、速度が必要な検知システムだけ
Cで書いた関数を呼び出そうかな
kotlinにもモデルを送れるようにしたいから色々と重いわ
893デフォルトの名無しさん (ﾜｯﾁｮｲ cbad-wxDY [124.144.197.178])
垢版 |
2019/09/08(日) 12:14:33.41ID:5eE0Pvhe0
>>879
＞　話題とファンダとチャートみたいなことが言われるが

あ、そうなんすか？全然知らなかったです。
俺のように情弱なのがカモになるんでしょうね。
買ったら下がるし、売ったら上がるしで、悔しい思いばかりですので、
話題分析（？）とか、ファンダメンタルズも少し勉強してみます。
2019/09/08(日) 19:47:49.19ID:0500lIGf0
>>893
字句解析の方はtwitterやニュースを利用したソーシャルビッグデータ解析の応用をした米国のスタートアップが大金を集めたが失敗した
感情分析などの精度が粗くスピード感に欠ける方法では戦えなかった
895デフォルトの名無しさん (ﾜｯﾁｮｲ 9f3d-QJQN [219.104.75.160])
垢版 |
2019/09/10(火) 10:04:50.13ID:Uasui3Kr0
欠損値の補完にXGBを使うのどうなんだろうね
やってみてるんだけど
2019/09/10(火) 21:36:28.40ID:pE5U9F1kr
新しい手法を試して以前よりいい値が出ると嬉しいなあ
2019/09/10(火) 22:46:08.58ID:jlIzURhrM
カテゴリデータの欠損値を埋められると、
決定木以外のモデルでアンサンブルできるからスコアが跳ね上がるんだけど
大抵はよい埋め方が分からなくて時間切れになるんだよね
898デフォルトの名無しさん (ﾜｯﾁｮｲ 8baa-u42S [118.2.213.222])
垢版 |
2019/09/11(水) 07:33:46.36ID:YV25RzmT0
欠測値の補完は
相関の高い系列から
比率補完してる。

補完方法が分からない、
または面倒ならば、
欠測値の直前の値のコピーでよい。

これは横置き補完(LOCF)という
ちゃんとした方法であり、
分析結果もわりと良いことが知られている。
899デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MMbf-+nrL [153.158.82.178])
垢版 |
2019/09/11(水) 09:38:04.27ID:fKnCsbtHM
なんか出た
https://prtimes.jp/main/html/rd/p/000000037.000028865.html
900デフォルトの名無しさん (ｱｳｳｨﾌ FF0f-p7Vf [106.171.66.35])
垢版 |
2019/09/11(水) 12:34:31.55ID:zFEVPQj4F
またまつおっさんか
901デフォルトの名無しさん (ﾄﾝﾓｰ MM8f-u42S [210.142.95.105])
垢版 |
2019/09/11(水) 13:44:32.92ID:/3FXcnyQM
契約書とか
アホじゃね？

まつおも
分析してくれるのか？
2019/09/11(水) 13:54:33.80ID:g7YsWlwr0
なんじゃこれ
2019/09/11(水) 14:07:05.53ID:l+ctor+CM
契約書ない闇業務が横行しとん?
2019/09/11(水) 17:55:18.60ID:NvdVSjLB0
sklearn.impute.IterativeImputer

このツールを調べてるんだけど
なんかランダムフォレストで欠損値を保管するアルゴリズムまで
サポートしてくれそうな気配じゃないですか。なんとなく神ツールの予感
2019/09/11(水) 19:41:13.47ID:NvdVSjLB0
このツール、どうも凄そうだけど、kaggle上位陣でも使いこなせる気がしないな
2019/09/11(水) 20:37:37.60ID:PdKOgHxPp
>>901
いや、これは良いと思うぞ
学生出身のベンチャーなんか契約書マトモなの書けないから大企業とは仕事できんぞ
プログラミングとは別のスキルだから、こういう面倒なことを押さえていくのはいいと思うわ

検定よりよっぽどか役に立つ
907デフォルトの名無しさん (ﾜｯﾁｮｲ ef66-R38q [183.77.219.23])
垢版 |
2019/09/11(水) 21:09:17.46ID:8uwcfRFu0
まともに契約書もかけないとこと契約すんのかよ。。。
2019/09/11(水) 21:21:50.46ID:eo1gDjZO0
まともでない契約書を書いた企業相手なら穴をつけばいいだろｗ
2019/09/11(水) 22:00:17.70ID:dX8mKe9q0
実際データ分析関係の契約はかなりガバガバだよ。
2019/09/11(水) 22:19:47.28ID:iw+M343Ra
契約書にあまりに無茶なことを書いても
つまり、公序良俗に反することやあまりにも常識からかけ離れている場合は
裁判をすれば勝てる可能性が高い
あまり知られていないけど
2019/09/12(木) 00:10:44.07ID:aCgQCmlJ0
>>889
Adaptive Simulated Annealingのライブラリがあるよ
https://www.ingber.com/#ASA
TPEじゃないけどまあ用途は同じ
比べたことないので性能の優劣はわからんけど俺は重宝してる
2019/09/12(木) 23:00:17.77ID:BUBqu0NrM
>>911
ありがとう。これは凄そう
こんなの状況によって使いこなせるcやjavaのエンジニアは
本当にいいエンジニアだな
2019/09/12(木) 23:04:56.60ID:BUBqu0NrM
しかしcはこれで、javaはdl4jのアレか
一応、どの言語にもハイパーパラメーター調整用のライブラリはあるんだな
2019/09/13(金) 00:50:14.97ID:rG567ozj0
libpython使うのもおススメ
やってみると割と簡単
C++とpythonが融合すると新境地が開ける
2019/09/13(金) 01:29:38.19ID:EWxuhcIO0
世界最大の専門職団体であり電気・電子工学・コンピューターサイエンス分野の文献や論文誌を発行するIEEEによる学会誌IEEE Spectrumが、
「Top Programming Languages 2019(人気の高いプログラミング言語2019)」を発表しました
https://gigazine.net/news/20190910-top-programming-languages-2019/

まーpython強いけど
2019/09/13(金) 01:35:32.34ID:EWxuhcIO0
https://spectrum.ieee.org/static/interactive-the-top-programming-languages-2019
↑
モバイル以外全部pythonになってるし
2019/09/13(金) 05:07:20.34ID:lpvLIE01M
だいたい納得のランキングだけど、Kotlinこんな下なんだ
そこだけ驚いた
918デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MMa3-wE3l [153.158.82.178])
垢版 |
2019/09/13(金) 10:07:10.42ID:5K7DVX7cM
iosだけしか使えないんでしょ？
2019/09/13(金) 12:26:59.82ID:KWIEIpY70
Rが5位ってんなわけあるかよ
どういう重み付けだよ
2019/09/13(金) 14:22:08.12ID:rG567ozj0
HTMLとかSQLってプログラミング言語、、、なのか？
2019/09/13(金) 15:36:28.16ID:WgHb8Dzf0
SQLは便利よ。慣れれば良いもの
922デフォルトの名無しさん (ﾜｯﾁｮｲ bd7c-+dKN [122.215.159.99])
垢版 |
2019/09/13(金) 15:59:56.73ID:ud7Tmahn0
SQLでゲーム造ってた人はいたかな
HTMLはプログラミングの言語じゃないと思うけど
HTML5って広義のHTMLなんか
923デフォルトの名無しさん (ﾄﾝﾓｰ MMe9-meoL [210.142.95.135])
垢版 |
2019/09/13(金) 18:49:48.91ID:NeHzdXo6M
>>920
先輩がスクリプト言語と言ってるから
俺も同様に読んでる。
924デフォルトの名無しさん (ﾄﾝﾓｰ MMe9-meoL [210.142.95.135])
垢版 |
2019/09/13(金) 18:52:44.18ID:NeHzdXo6M
先輩からは
OSまたはCPUに命令できるのが
プログラミング言語で、
ソフトウェアの動作を記述するのが
スクリプト言語と教わった
SQLもHTMLもソフトウェアの
動作を記述してる
2019/09/13(金) 18:56:36.00ID:qlpO7tZoa
その先輩信用して大丈夫か？
2019/09/13(金) 18:56:58.43ID:CJN/La/yM
Rはアドホックでは、なんだかんだで便利だわ
2019/09/13(金) 20:01:51.89ID:rG567ozj0
その理屈で言うとWordやPowerPointもスクリプト言語だな
ユーザ数はPythonの比ではなさそうだが
928デフォルトの名無しさん (ﾄﾝﾓｰ MMe9-meoL [210.142.95.135])
垢版 |
2019/09/13(金) 20:02:34.40ID:NeHzdXo6M
>>925
外見は全くのアホとしか見えないけど
会社の上の人も、1次受けのSierの人も
エンドユーザーもすごくそのアホ先輩を
崇拝しているのが態度でわかるぐらいなので
多分、大丈夫かと思います。
2019/09/13(金) 20:08:56.07ID:Qxgajfuna
マークアップ言語をスクリプト言語っていう人はちょっと合わんな
texもスクリプトとか言いそう
930デフォルトの名無しさん (ｱｳｱｳｳｰ Sad9-dGyF [106.154.131.155])
垢版 |
2019/09/13(金) 20:22:34.21ID:hMjVvYt7a
texはチューリング完全だぞ
2019/09/13(金) 21:03:20.66ID:EWxuhcIO0
>>928
勉強は出来ないが仕事が出来るタイプの人かもな
その辺の認識の違いは仕事をする上で問題にならないってことだろうな
2019/09/13(金) 21:06:23.77ID:NIOXKbUUM
重回帰分析で
説明変数の意味は伏せられている
説明変数は3800ぐらいで整数値か実数
欠損値はなし

どう取り組んだらいい？
2019/09/13(金) 21:21:44.53ID:EWxuhcIO0
まず、、考える前に周辺を整理する
パソコンのキーボードにゴミは無いかマウスにへんなヌメリが無いか
机にイラナイ本はないか、、そして床の隙間にゴミが入り込んでないか入念にチェック
そうこうしているうちに疲れて来る
また明日考えればいいだろう
そう思って颯爽と寝る

なんて奴はやってもすぐ諦める奴だから
取り組まない方がいい
934デフォルトの名無しさん (ｱｳｱｳｳｰ Sad9-dGyF [106.154.131.155])
垢版 |
2019/09/13(金) 21:33:51.19ID:hMjVvYt7a
>>932
重回帰分析してみればいいんじゃないの
2019/09/13(金) 21:54:31.64ID:Iurn0hDN0
転職したら
2019/09/13(金) 22:37:47.66ID:+QlVt2hqH
>>933
近くに似たような人がいるわ
グラウンドの掃除ばっかやってて、いつ試合するんだ？ておもてた
2019/09/13(金) 22:42:45.42ID:iYoTA3dh0
なにを分析すればいいのか
それが問題
2019/09/14(土) 01:38:57.68ID:Q+GOyzt10
1.目的変数と説明変数の相関を調べる
2.相関の高い説明変数だけで、まず重回帰分析してみる
939デフォルトの名無しさん (ｱｳｱｳｳｰ Sad9-+Efg [106.161.129.89])
垢版 |
2019/09/14(土) 08:54:44.72ID:uv1j2DVSa
>>932
マルチコで大変だ。
2019/09/14(土) 09:41:16.20ID:hTLOVheAr
>>939
たじゅうきょうせんせい
>>932
とりあえずxgboostとか入れてみる。
マルチコでもそれっぽいものはでるかも
2019/09/14(土) 10:08:02.01ID:tE5HTA5G0
>>932
データのサンプル数は？
942デフォルトの名無しさん (ｵｯﾍﾟｹ Srb1-dGyF [126.255.3.68])
垢版 |
2019/09/14(土) 12:14:05.72ID:UwfdWL0Pr
>>940
線形以外のモデルも重回帰分析って呼ぶの？
943デフォルトの名無しさん (ｴﾑｿﾞﾈ FF43-L2cD [49.106.192.66])
垢版 |
2019/09/14(土) 14:55:41.69ID:SxFSCxT0F
そりゃそうだ
2019/09/15(日) 07:13:52.68ID:66qvL3+x0
>>942
線形でなくても、非線形でも良いので、ブースティングでも、ニューラルネットワークでも
2019/09/15(日) 09:24:21.00ID:bjsiNRs40
【統計分析】機械学習・データマイニング26
https://mevius.5ch.net/test/read.cgi/tech/1568506986/
2019/09/15(日) 09:28:05.51ID:bjsiNRs40
最近、進行速度が早いのでここの利用者が増えていると思われます。

次スレもIP表示のままといます。
2019/09/15(日) 13:15:12.22ID:F4ElOQHOd
https://bunshun.jp/articles/-/14102?page=1
2019/09/15(日) 13:16:52.84ID:F4ElOQHOd
スーパーやユニクロなどのセルフレジもそうだが、正直めんどくさい。
949デフォルトの名無しさん (ｴﾑｿﾞﾈ FF43-L2cD [49.106.174.171])
垢版 |
2019/09/15(日) 14:33:50.21ID:CYqvBFjrF
逝きたがらない理由は良く判ったが
場所によっては需要があることも判った

>いわゆる“おとなのおもちゃ”を扱っている店は中国全土で普及しています。
>中国でもそういった店での買い物は恥ずかしいようですね。
>中国の地図アプリで「無人商店」と入れて出てきた店舗は8、9割、
>いやそれ以上の割合で無人のアダルトショップです。
>意識の高そうな技術が、意外にも意識の低い現場で大活躍していました。
950デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MMe3-ubMc [153.158.82.178])
垢版 |
2019/09/19(木) 19:58:40.95ID:mMZ4NswTM
ubuntu18.04にtorch7て入る？
951デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MMe3-ubMc [153.158.82.178])
垢版 |
2019/09/19(木) 20:44:13.29ID:mMZ4NswTM
torch7てオワコンなのね。。。
2019/09/19(木) 21:01:55.76ID:tSGTKKCk0
tf2.0が激強すぎた
2019/09/19(木) 21:13:12.88ID:Pj1IM8vga
tf2とpytorchやるならどっちがいいの？
tensorflowとpytorchをpix2pix動かした程度に触っただけ
954デフォルトの名無しさん (ﾜｯﾁｮｲ 7d47-MBmc [150.249.206.28])
垢版 |
2019/09/20(金) 13:40:06.59ID:64a3gS2J0
ドロップアウトのことかな？

名古屋大、睡眠中に記憶消す神経発見 起床直前の夢、忘却に関与か？
http://himasoku.com/archives/52090228.html
2019/09/22(日) 14:07:30.85ID:JkNu4Dob0
顔画像から人種のパーセント振分けするのはあるけど
顔画像から身体的特徴を推測するのはまだないと思う

例えば顔だけでこいつは胸が大きいとかチンコがでかいとか程度の特徴は
アダルトサイトから膨大な教師データ取り込んで機械学習させればできるんじゃないかと
956デフォルトの名無しさん (ｵｯﾍﾟｹ Sr99-8lXu [126.255.66.172])
垢版 |
2019/09/22(日) 14:14:23.58ID:5WmnN11dr
顔の特徴と身体的特徴に相関があるならばできるけれど、これは自明ではない
無ければ幾らデータがあっても不可能
957デフォルトの名無しさん (ｴﾑｿﾞﾈ FF03-TBpG [49.106.192.168])
垢版 |
2019/09/22(日) 14:23:59.77ID:1Lp46k9AF
相関が無いことを証明したデータも無い
2019/09/22(日) 15:06:45.45ID:0xp8r1PqM
現代の人相学だな
レス数が950を超えています。1000を超えると書き込みができなくなります。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況