【統計分析】機械学習・データマイニング28

■ このスレッドは過去ログ倉庫に格納されています
2020/05/01(金) 09:32:34.08ID:d7veCBiW0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578892284/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2020/07/13(月) 00:17:40.14ID:BnZ5GJ/20
少なくとも一回やってみて詐欺みたいな業者を選別できるぐらいの知識は持っておいた方がいいかな
2020/07/13(月) 01:53:27.95ID:MzVCqyMG0
kaggleのテーブルデータコンペが減ったのって勾配ブーストゲーになったから？
2020/07/13(月) 09:33:39.54ID:CWLce0sEM
テーブルはクラウドでマウスポチポチするだけの自動ソリューションが人間に勝利するのも時間の問題だからね
2020/07/13(月) 10:31:01.03ID:F/GEuw5QM
automlでつまんなくなった(笑)
他に行こう
577デフォルトの名無しさん (ｴﾑｿﾞﾈ FF4a-jFjK [49.106.187.122])
垢版 |
2020/07/13(月) 10:46:39.48ID:WBkWHxcTF
>>572
>ただまぁ難しいもんだなと思い始めてます。少なくともうちの会社にゃ無理だろみたいな

そりゃ調査を任されたお前が言うんだからきっとそうなんだろうと予測はつく
2020/07/13(月) 12:44:23.11ID:kiRbT70Ya
automlで仕事なくなるとか言ってるのはautomlでできる範囲の仕事しかできていないだけなんだよな
もっと高度なことやってる人からすれば面倒な雑用が自動化されるだけなのでただただ嬉しいこと
2020/07/13(月) 12:49:10.07ID:6C7jBSrda
リードの距離は人によって異なるにせよ、ツールとのいたちごっこをしてる時点でいずれは抜かれるんだよ
最終的にはビジネスと真面目に向き合わなきゃいけない
2020/07/13(月) 13:19:15.39ID:MzVCqyMG0
コンペ上位見てもautoml系そんないないけど
大体xgboost+NN+RFとかのスタッキングしかいない
2020/07/13(月) 13:47:57.74ID:D6ulGabfM
データ集め、前処理なんかのkaggleのスコープ外の方が相対的に重要になったということかね
582デフォルトの名無しさん (ﾜｯﾁｮｲ aa55-ucCN [59.147.205.222])
垢版 |
2020/07/13(月) 13:50:50.09ID:aFMcqAuy0
Kaggleって面白いの？
パソコンのスペックは要る？
2020/07/13(月) 14:17:05.21ID:D6ulGabfM
ゼロからだと面白くなるまで半年かかるんじゃね
2020/07/13(月) 20:39:31.69ID:UONpm/zv0
tensorflow2系けっこうバグ多いな。。
早く2.3出ないかな
2020/07/13(月) 20:43:13.64ID:BnZ5GJ/20
>>582
無料出し試してみては？
スペックはそんなにいらないけどグラボなしは実質参加不可能
2020/07/13(月) 21:22:27.30ID:aFMcqAuy0
>>585
LenovoのThinkCentreっていう小型パソコンじゃ無理ですか？
2020/07/13(月) 21:39:08.67ID:Znm36Z7j0
ESC50学習させようとしたらメモリエラーでた
32Gじゃ足りないの？
2020/07/13(月) 21:52:23.99ID:eGri5qaD0
>>587
ﾁﾈ!!!（・∀・）
https://mevius.5ch.net/test/read.cgi/tech/1589201940/826
2020/07/13(月) 22:43:20.30ID:BnZ5GJ/20
>>586
無理っす。機械学習はデスクトップじゃないと色々と厳しいよ
2020/07/13(月) 22:45:54.78ID:eGri5qaD0
>>586 >>589
メモリとHDD気合いで換装すれば
宮廷のスパコン１時間借りてやる計算が
3週間くらいで完走できる　　　こともあった。
2020/07/13(月) 22:48:12.26ID:BnZ5GJ/20
>>590
一回の試行錯誤で3週間はさすがに辛いｗ
仕事しながらだと8時間ぐらいならちょうどいいんだけどね。帰ってきて確認と寝る前にセット
2020/07/14(火) 05:13:52.49ID:f0X+/T7u0
いくらくらいのデスクトップPCを買えばいいんですか？
おすすめのものはありますか？
自作は無理です。
2020/07/14(火) 07:18:03.82ID:8r8Vt1D00
>>592
10マン以上かな

自作しないとすごく高く付く
https://www.g-tune.jp/desktop/pn_a/
2020/07/14(火) 08:34:18.82ID:DyWL0HS80
>>591
＞8時間ぐらい
プログレス表示の最初のほうをみて
そうおもってしまったことも（最初の１回だけ）ありました・・・

>>592
ネタにあえてマジレスすると

ちょいと一回試すのにひと月かかる　のがいやならば

本体代は可能な限り（Python組みとOfficeの基本3アプリだけやれればいいなら、
3萬弱でもいける。ネトゲはじめ、他のことはだいたいできなくなるが！）ケチって
残り７萬でAWSなりなんなり、レンタル型の計算システムを秒単位で借りるがよい
2020/07/14(火) 12:12:47.41ID:Wx7wO4sT0
GPU買えばいいだけだし
自作ってほどのもんか？
596デフォルトの名無しさん (ﾜｯﾁｮｲ aa55-ucCN [59.147.205.222])
垢版 |
2020/07/14(火) 12:28:24.40ID:f0X+/T7u0
みなさんありがとうございます。
LenovoのThinkCentreでも性能面で全く不満はないんですが、GPUを買うと機械学習以外でもメリットがありますか？
2020/07/14(火) 12:54:12.69ID:Wx7wO4sT0
ない
598デフォルトの名無しさん (ｱｳｱｳｳｰ Sac1-pR5Q [106.154.130.127])
垢版 |
2020/07/14(火) 12:59:50.93ID:zIuyg5pga
ゲームが快適
2020/07/14(火) 13:12:39.77ID:TjOLLvBQ0
自分で決めろよ(笑)
2020/07/14(火) 16:26:30.95ID:wq29a1I2M
風切り音聴き放題
暖房いらず
601デフォルトの名無しさん (ﾌﾞｰｲﾓ MM4e-PaEX [163.49.210.249])
垢版 |
2020/07/14(火) 19:51:40.28ID:4MXRjuybM
>>600
＞ 暖房いらず

ちょっと北海道こいや
2020/07/14(火) 19:53:53.97ID:wq29a1I2M
>>601
GPU1000個繋いでみ
2020/07/14(火) 20:00:57.31ID:f0X+/T7u0
みなさんありがとうございます。
実用に役立てたいとかいう気は毛頭なく、楽しくこの分野を「お勉強」するために実際にプログラミングもしてみたいという気持ちなので、
正直言ってあまりお金をかけたくありません。
2020/07/14(火) 20:02:06.67ID:9oJTcTsk0
クラウドサービスでなんかあるだろ
知らんけど
2020/07/14(火) 20:18:30.62ID:Y8DmAYlsa
AWSでもcolabでも
2020/07/14(火) 20:38:53.86ID:wq29a1I2M
CPUでもええんやで
2020/07/14(火) 20:52:15.51ID:8r8Vt1D00
>>603
本当に金かけずにやるならgoogle colabか
完全にブラウザだけで動く物だから、1万円ぐらいの中古ノートPCでも行ける
なんだったら漫画喫茶でも可

mnistだけなら数回クリックすればいいぞ
30秒ぐらい待てば0.91とか味気ない数字が出るからそこで終わり
それで「機械学習できたー！」って思えるなら、それでもいいかもな
2020/07/14(火) 21:08:43.86ID:d5f331vY0
初心者ですが機械学習に求められるPCスペックってどんなもんなんですか
画像認識に使います
2020/07/14(火) 21:29:17.91ID:DyWL0HS80
>>608
ちょっと上の現行レスくらい嫁ないと
おまえのスペックが足りないぞ
610デフォルトの名無しさん (ﾜｯﾁｮｲ 0d1d-BjSE [118.238.238.101])
垢版 |
2020/07/14(火) 22:36:18.41ID:xLQ7O8F30
【月収1000万】フリーランスになったら収益が10倍になった理由4選
https://www.youtube.com/watch?v=RvVZ588Limw
【サイト公開有り】ほぼフル外注で年間400万稼ぐ特化ブログを作った話【収支、収益、全部話します】
https://www.youtube.com/watch?v=fCtJLJg8Gcc
【実例有り】ブログで月1万円稼ぐまでの具体的な道筋を教える【プロが解説】
https://www.youtube.com/watch?v=S-pk5AmW3g8
【案件も公開】ブログで月20万円稼ぐ方法の全て。具体的な道筋や戦略も全て公開【雑記でもいけた】
https://www.youtube.com/watch?v=Jiujwjhe300
ブログで稼ぐ仕組み徹底解説】初心者にもやさしく、丁寧に説明
https://www.youtube.com/watch?v=n4qF7xpL7-M
【ミスるとヤバい】特化ブログと雑記ブログ、どっちがいいの？おすすめの運営方法も解説！
https://www.youtube.com/watch?v=sh2v5Uqlo1M
611デフォルトの名無しさん (ﾌﾞｰｲﾓ MM0b-uxm5 [163.49.210.172])
垢版 |
2020/07/15(水) 10:03:40.49ID:YCCP8bXqM
データサイエンティストに転職したけど
機械学習はド初心者レベルで
記述統計と回帰分析ぐらいしかできません

それでもかなりの給料もらえるので
良い仕事選んだなあ、と自画自賛してたら
NTTデータの社員が
「今はデータ分析バブルだからね。
もうすぐ終わるけどね。」
と言ってたのが気になってます

大手の正社員になれたので
バブル終わってもＯＫですw
2020/07/15(水) 10:10:52.09ID:J5P08Rwfa
大企業の場合は使い道なくなった部門は丸ごと分社化して捨てられるだけだよ
クビにはならないけど待遇はかなり下がる
2020/07/15(水) 10:14:25.30ID:SZME8Gs5M
大企業ならこれからしばらくは大量採用世代の退職で急速に自然減するから、あえて貴重なIT人材を切ることはしないだろう
まあ仕事はただの社内SEさせられるかもしれないけど
2020/07/15(水) 10:28:52.74ID:ahsctCP7a
貴重なIT人材なら給料はもっと高くてもいいはずだけどなあ
615デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/15(水) 10:58:41.59ID:EQY8Lc4J0
>>605
colabって無料ですか？無料だとして、どのくらいの計算能力があるんですか？ThinkCentreよりも上ですか？
616デフォルトの名無しさん (ﾜｯﾁｮｲ a34f-47rB [211.121.114.2])
垢版 |
2020/07/15(水) 11:03:41.88ID:cA+36tRw0
>>615
お前は少しは調べるスペック上げろ
2020/07/15(水) 14:10:20.22ID:qNpbPWvl0
ど初心者がデータサイエンティストとして働ける 会社だぞ(笑)
お察し
2020/07/15(水) 17:43:52.38ID:EQY8Lc4J0
どうせGPUの利用時間制限とかあるんでしょうね。
2020/07/15(水) 17:46:52.37ID:EQY8Lc4J0
パターン認識と機械学習を読むために必要な確率統計の知識はどの本で得られますか？
『プログラミングのための確率統計』は持っています。
620デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/15(水) 17:50:33.52ID:EQY8Lc4J0
線形代数はGilbert Strangの本（5th Edition）を勉強しています。
2020/07/15(水) 18:02:22.46ID:cvzJ6XNXd
>>611
どこの会社？自分も行きたいです

機械学習の単純なものは自動化されてそういう人材は減るだろうね。実際AutoMLとかBIツールとかもうあるしなあ
2020/07/15(水) 19:14:18.91ID:Nvohphir0
>>619
統計学入門　東京大学統計教室
2020/07/15(水) 22:37:06.08ID:2O5VmOlY0
データサイエンティストという職業がよく解らん
コンサルやSEが兼業するなら解るけど
専門分野を持たない分析屋なんて課題からモデリングする時点で行き詰りそう
2020/07/15(水) 22:42:52.59ID:nCTS7qyC0
×行き詰まる
◎へんな結論orモデルが導き出される
2020/07/16(木) 08:13:42.95ID:pDBZuJ+c0
業務知識が無いんじゃ
ろくな結論も出てこないし
できたモデルもろくなもんじゃないだろうね(笑)
2020/07/16(木) 08:33:03.33ID:J/6NpJXf0
>>614
IT人材の中にも貴重なのとそうでないのとがいるというだけのことだよ
2020/07/16(木) 08:43:08.73ID:c/wXre3z0
>>626
貴重なIT人材と言わずに
貴重な人材といえば済む話だよな
2020/07/16(木) 09:19:34.71ID:KIA9AKrHa
>>623
専門分野を持たない自称データサイエンティストの実態は特徴量エンジニアリング屋やハイパーパラメータ調整屋でしかない
もちろんこれらの仕事はデータサイエンスの本質的な部分ではないし自動化されつつあるので
こういうことしかできない人が「データサイエンティストは近い将来に消滅する」とか騒ぐ
629デフォルトの名無しさん (ｱｳｱｳｳｰ Saf1-rAgY [106.154.131.57])
垢版 |
2020/07/16(木) 12:58:29.66ID:oAY3vNiSa
じっさいそんな奴らを絶滅させる為の研究がトレンドだし
630デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 17:40:36.90ID:CB5s4Bwv0
自作PCって難しいですか？
2020/07/16(木) 17:45:46.56ID:kCIM2SZmM
>>630
自作PCの板かスレあるはずだけど、好きじゃないならオススメしない
初めてならマウスとかのゲーミングPC買えば多少安上がりだと思う
632デフォルトの名無しさん (ﾜｯﾁｮｲ 35ec-YL2b [58.1.112.131 [上級国民]])
垢版 |
2020/07/16(木) 18:41:05.52ID:OiHY45Fw0
データの前処理とか
そのテストデータの作り方とか知りたいけど、どうすりゃいいのかさっぱり分からん
2020/07/16(木) 18:42:46.28ID:CB5s4Bwv0
>>622
ありがとうございます。その本も持っていますが、そんなにいい本には見えないんですが、いい本なんですか？
2020/07/16(木) 19:59:39.79ID:lauA0pax0
>>633
統計の定番、赤本と青門（理系）、君には難しいかもね
2020/07/16(木) 20:02:44.85ID:lauA0pax0
>>630
定評ある組み合わせのパーツを買えば難しくない
MBにCPU取り付けるとことだけが難しいといえば難しい
2020/07/16(木) 20:04:31.22ID:lauA0pax0
例えるなら半完成プラモデルの作成
2020/07/16(木) 20:08:59.82ID:kCIM2SZmM
GPUの補助電源供給出来なかったり罠多いと思うけど、最近はそうでもないの
2020/07/16(木) 20:18:38.07ID:MvdUR80X0
自作板で見繕ってもらえばそれほど失敗せにゃろ
2020/07/16(木) 20:25:48.48ID:XFLL9/yq0
今手元にあるやつだけどこの辺おすすめ
https://i.imgur.com/yXZcgP5.jpg
2020/07/16(木) 20:26:50.66ID:lauA0pax0
>>637
電源の容量の見積しなかったの？
2020/07/16(木) 20:28:52.77ID:XFLL9/yq0
黒木学の数理統計学は初版だからだけどミス多かったから改訂版まった方がいいかも
642デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:30:06.77ID:CB5s4Bwv0
>>634
なんか松原望っていう人の本ってろくなのがないように思うんですが、『統計学入門』は例外なんですか？
『統計学入門』をパラパラ見ていますが、なんか単に結果をまとめた本にすぎないように思います。
深く考察しているような本ではないように見えますが、間違っていますか？
海外のよい統計の本ってないですか？
643デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:33:28.97ID:CB5s4Bwv0
>>639
ありがとうございます。稲垣っていう人の本は裳華房というまともな数学書をたくさん出版している出版社ですし、「数理」統計学というタイトルなので、
ちゃんと理由なども説明してありそうですね。

『自然科学の統計学』と『統計学入門』の内容面での違いはなんですか？

『自然科学の統計学』のほうも松原さんが執筆しているんですか？
644デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:35:53.47ID:CB5s4Bwv0
プログラミングのための確率統計という本は特色のあるいい本だと思いました。
海外の1000ページを超えるような本でいい本はないんですかね？
各統計分布についての説明が深く詳しいものが希望です。
645デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:36:52.79ID:CB5s4Bwv0
吉田信生の確率と統計の本はいい本ですか？
646デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:38:45.91ID:CB5s4Bwv0
鷲尾泰俊著『日常のなかの統計学』という本は、高校生向けの本ですが、なぜそのような統計分布になるのかの説明がしてあります。
647デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:44:26.03ID:CB5s4Bwv0
フィールズ賞受賞者である数学者が書いた以下の本を読んだ人いますか？いい本ですか？
どうも参考文献にも載っているのも見たことがありませんし、どうなんですか？
Pattern Theory: The Stochastic Analysis of Real-World Signals (Applying Mathematics) (英語) ハードカバー ? 2010/8/9
David Mumford (著), Agnes Desolneux (著)
648デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:50:21.04ID:CB5s4Bwv0
頭の良さで言えば、Geoffrey Hinton教授よりもDavid Mumfordのほうがずっと上だと思いますが、影響力は逆のようです。
2020/07/16(木) 20:55:28.55ID:CB5s4Bwv0
東大出版の『統計学入門』をパラパラ見ていますが、「待ち時間は指数分布に従う」と結果しか述べていません。
どこがいい本なんですか？鷲尾の本には理由が書いてあります。
2020/07/16(木) 20:57:48.80ID:lauA0pax0
>>642
東大統計教室著と書いたが
http://www.utp.or.jp/book/b300857.html
2020/07/16(木) 20:58:58.52ID:lauA0pax0
>>649
バカアスペ生きてたかｗｗｗ
2020/07/16(木) 21:07:46.49ID:kCIM2SZmM
>>640
電源使い回そうとしたら、田のピンが無くて、電源も替えることになったことが
2020/07/16(木) 21:11:21.92ID:lauA0pax0
>>652
コネクタは盲点だね
2020/07/16(木) 21:14:27.49ID:MvdUR80X0
そういやメーカーPCって電源コネクタ余ってないな
2020/07/16(木) 21:24:04.66ID:lauA0pax0
メーカーPCに拡張性を求めるな
2020/07/16(木) 22:44:20.43ID:oDeJ1YHp0
どの業界でも同じで
仕事は道具で決まるようなところがある
リモートワークの時代に突入した今
自作PC持ってないとか
「私は仕事が出来ません」と言っているようなもんだろう
性能はもちろんのことモニター、キーボード、マウス、デスクチェアに至るまで納得いく製品を使ってこそ一流
大体どの業界も一流は一流の道具を使いこなしている
2020/07/17(金) 01:28:58.20ID:JB090FJW0
うちの会社はPC支給だから自作PCなんて関係ないが
2020/07/17(金) 05:41:28.10ID:3KhH25lF0
そういう会社は社風に習って管理されたノートPCでゆっくりやればいいんじゃないか
https://www.itmedia.co.jp/news/articles/2007/16/news080.html
日本はもう他国についていけてないんで
新興企業が少なすぎてヤバイってことでいろいろやっているけど
https://www.jiji.com/jc/article?k=2020071401008&;g=eco
年功序列の日本で新しいことにチャレンジする奴が出てくる訳も無く
終わっていく一方なんで
2020/07/17(金) 06:55:55.27ID:q5rg8MzZ0
ここで言ってる生産性って主観じゃん(笑)
2020/07/17(金) 09:03:56.38ID:ekCAOYpW0
会社支給のPCだとUSBをさすと部長に警告のメールが飛ぶソフトが入ってるだろｗ
661デフォルトの名無しさん (ﾌﾞｰｲﾓ MMb1-uxm5 [202.214.125.79])
垢版 |
2020/07/17(金) 09:37:09.02ID:nyCYUAWLM
データサイエンティストには誰でもなれる
データ分析は結局アイデアだから

目的を達成するために分析するのであって
モデリングするためじゃないから。

方法と目的を取り違えている人多杉
2020/07/17(金) 09:48:42.12ID:1ZfyLSWwM
誰が最初に言い出した？データサイエンティスト(笑)
2020/07/17(金) 09:52:06.86ID:I5PwsS3iM
必要なのはデータ活用コンサルタントとデータエンジニア
中途半端にコンサルでもエンジニアでもない意味不明な呼称こそが諸悪の根源かもな
2020/07/17(金) 09:56:50.18ID:wND2Gqbe0
呼び方変えてもやってることも人材の質も変わらんよ
2020/07/17(金) 10:20:57.79ID:8ScKWicH0
とはいえサイエンスというよりエンジニアリングなので
2020/07/17(金) 11:23:48.49ID:1ZfyLSWwM
データエンジニア？
2020/07/17(金) 12:56:16.39ID:hsYr+4rfa
ソフトウェアエンジニアの人達が自身のことをエンジニアと呼称するのに違和感感じる
単に「エンジニア」と言ったら機械系の技術者をイメージする
668デフォルトの名無しさん (ﾌﾞｰｲﾓ MM0b-uxm5 [163.49.212.44])
垢版 |
2020/07/17(金) 13:01:58.19ID:KhpZfwcAM
>>662
データサイエンティストは
典型的なバズワードデスネ

ビッグデータ、
データサイエンティスト、
AI、
この3つのバズワードは素人をダマすときだけ
使うべきと思うけど、
かなり広まってしまったから
仕方なく使うようになった。

ビッグデータ＝いろいろなデータ
データサイエンティスト＝データ分析する人、
AI＝機械学習などの分析方法

と、読み替えて使ってます。
というのでＯＫ？
2020/07/17(金) 13:02:05.77ID:1ZfyLSWwM
わかる(笑)
2020/07/17(金) 14:12:17.74ID:cu+Ver0E0
>>668の読み替えにわかりみｗ

>>667は　化石化がはじまってんよ(´・ω・｀)
2020/07/17(金) 14:15:10.20ID:ekCAOYpW0
三葉虫発見
672デフォルトの名無しさん (ﾜｯﾁｮｲ fd01-aTVc [126.161.133.248])
垢版 |
2020/07/17(金) 15:10:44.59ID:4btT1mkT0
データアーティストと言わなかっただけマシ。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況