【統計分析】機械学習・データマイニング28

■ このスレッドは過去ログ倉庫に格納されています
2020/05/01(金) 09:32:34.08ID:d7veCBiW0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512

機械学習とデータマイニングについて語れ若人

*機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578892284/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2020/07/12(日) 09:45:38.93ID:AWKThRLT0
金は絡んでないけど痰が絡んでます
カーッペッ
2020/07/12(日) 13:43:22.63ID:aRbl/8GO0
ジジイかよ(笑)
2020/07/12(日) 14:31:50.01ID:wk+R5iVr0
>>555
逆コンパイルを実現できたとしてそれを利用できるのか?ということ
2020/07/12(日) 14:46:42.71ID:I5BT7g+v0
1ヶ月後に東京がニューヨークののうになっていることを予測するのにAIの力は必要なさそう。
566デフォルトの名無しさん (ワッチョイ 767c-jFjK [113.32.86.138])
垢版 |
2020/07/12(日) 14:52:40.25ID:uGVzSaa20
東京だけで済むかな?
せっかく収束しかけてて連休明けとか619とかあと一週間くらい頑張れば良かったのに
拙速で解除なんてするから
東京アラートωとか全く意味無かったし
2020/07/12(日) 16:31:58.55ID:abMYMZzM0
無為自然スウェーデン方式
2020/07/12(日) 19:06:12.87ID:aRbl/8GO0
数理モデルとシミュレーションて、イメージ
2020/07/12(日) 20:52:31.99ID:aDzqciee0
顔認証調べてって丸投げされて色々見てるんだけどなかなか一から作れるようになる気がしない
githubにあるコード試してわー出来た出来たくらいしかできねぇ。明日の報告どうすりゃいいんだ……
2020/07/12(日) 23:12:12.29ID:zNwkT4YV0
>>569
「特徴点」

ぶっちゃけ
人種差別・年齢差別なくちゃんとやってくれる実用レベルを期待されてるんなら
「わかんない」569が0から頑張るより
出来合いをカネで買ったほうが・・・
2020/07/12(日) 23:25:21.33ID:5lQpEe5O0
>>569
顔認証はDLでいいなら楽勝だろう。速度求めず、既にあるファイルを選り分けるだけなら簡単。

リアルタイムの認証はマジでヤバい。
「顔というものは鼻から上、1/3が暗い」「鼻や唇の端と頬の輪郭線の距離の法則」など完全に顔認証専門のアルゴリズムを知ってないと無理
2020/07/12(日) 23:50:06.95ID:aDzqciee0
顔認証のドアシステムを調べてて思ったんですけど、ユーザーが一人二人のときはいいとして、例えば数百人とかになってきたとき一人追加される度にまた全部一から学習してモデル作り直すのって相当大変ではないでしょうか
世の中の顔認証ドアシステムってどうやってんでしょう

>>570-571
会社としてそういう方向に手を伸ばしたいからざっと調査してみたいなふんわりした要求なんで今すぐ実用レベルのアプリよこせとかそういう話ではないです
だからまぁこういうライブラリ使っていけばそれっぽいの出来そうですよみたいな程度で行こうかなと
ただまぁ難しいもんだなと思い始めてます。少なくともうちの会社にゃ無理だろみたいな
2020/07/13(月) 00:17:40.14ID:BnZ5GJ/20
少なくとも一回やってみて詐欺みたいな業者を選別できるぐらいの知識は持っておいた方がいいかな
2020/07/13(月) 01:53:27.95ID:MzVCqyMG0
kaggleのテーブルデータコンペが減ったのって勾配ブーストゲーになったから?
2020/07/13(月) 09:33:39.54ID:CWLce0sEM
テーブルはクラウドでマウスポチポチするだけの自動ソリューションが人間に勝利するのも時間の問題だからね
2020/07/13(月) 10:31:01.03ID:F/GEuw5QM
automlでつまんなくなった(笑)
他に行こう
577デフォルトの名無しさん (エムゾネ FF4a-jFjK [49.106.187.122])
垢版 |
2020/07/13(月) 10:46:39.48ID:WBkWHxcTF
>>572
>ただまぁ難しいもんだなと思い始めてます。少なくともうちの会社にゃ無理だろみたいな

そりゃ調査を任されたお前が言うんだからきっとそうなんだろうと予測はつく
2020/07/13(月) 12:44:23.11ID:kiRbT70Ya
automlで仕事なくなるとか言ってるのはautomlでできる範囲の仕事しかできていないだけなんだよな
もっと高度なことやってる人からすれば面倒な雑用が自動化されるだけなのでただただ嬉しいこと
2020/07/13(月) 12:49:10.07ID:6C7jBSrda
リードの距離は人によって異なるにせよ、ツールとのいたちごっこをしてる時点でいずれは抜かれるんだよ
最終的にはビジネスと真面目に向き合わなきゃいけない
2020/07/13(月) 13:19:15.39ID:MzVCqyMG0
コンペ上位見てもautoml系そんないないけど
大体xgboost+NN+RFとかのスタッキングしかいない
2020/07/13(月) 13:47:57.74ID:D6ulGabfM
データ集め、前処理なんかのkaggleのスコープ外の方が相対的に重要になったということかね
582デフォルトの名無しさん (ワッチョイ aa55-ucCN [59.147.205.222])
垢版 |
2020/07/13(月) 13:50:50.09ID:aFMcqAuy0
Kaggleって面白いの?
パソコンのスペックは要る?
2020/07/13(月) 14:17:05.21ID:D6ulGabfM
ゼロからだと面白くなるまで半年かかるんじゃね
2020/07/13(月) 20:39:31.69ID:UONpm/zv0
tensorflow2系けっこうバグ多いな。。
早く2.3出ないかな
2020/07/13(月) 20:43:13.64ID:BnZ5GJ/20
>>582
無料出し試してみては?
スペックはそんなにいらないけどグラボなしは実質参加不可能
2020/07/13(月) 21:22:27.30ID:aFMcqAuy0
>>585
LenovoのThinkCentreっていう小型パソコンじゃ無理ですか?
2020/07/13(月) 21:39:08.67ID:Znm36Z7j0
ESC50学習させようとしたらメモリエラーでた
32Gじゃ足りないの?
2020/07/13(月) 21:52:23.99ID:eGri5qaD0
>>587
チネ!!!(・∀・)
https://mevius.5ch.net/test/read.cgi/tech/1589201940/826
2020/07/13(月) 22:43:20.30ID:BnZ5GJ/20
>>586
無理っす。機械学習はデスクトップじゃないと色々と厳しいよ
2020/07/13(月) 22:45:54.78ID:eGri5qaD0
>>586 >>589
メモリとHDD気合いで換装すれば
宮廷のスパコン1時間借りてやる計算が
3週間くらいで完走できる   こともあった。
2020/07/13(月) 22:48:12.26ID:BnZ5GJ/20
>>590
一回の試行錯誤で3週間はさすがに辛いw
仕事しながらだと8時間ぐらいならちょうどいいんだけどね。帰ってきて確認と寝る前にセット
2020/07/14(火) 05:13:52.49ID:f0X+/T7u0
いくらくらいのデスクトップPCを買えばいいんですか?
おすすめのものはありますか?
自作は無理です。
2020/07/14(火) 07:18:03.82ID:8r8Vt1D00
>>592
10マン以上かな

自作しないとすごく高く付く
https://www.g-tune.jp/desktop/pn_a/
2020/07/14(火) 08:34:18.82ID:DyWL0HS80
>>591
>8時間ぐらい
プログレス表示の最初のほうをみて
そうおもってしまったことも(最初の1回だけ)ありました・・・

>>592
ネタにあえてマジレスすると

ちょいと一回試すのにひと月かかる のがいやならば

本体代は可能な限り(Python組みとOfficeの基本3アプリだけやれればいいなら、
3萬弱でもいける。ネトゲはじめ、他のことはだいたいできなくなるが!)ケチって
残り7萬でAWSなりなんなり、レンタル型の計算システムを秒単位で借りるがよい
2020/07/14(火) 12:12:47.41ID:Wx7wO4sT0
GPU買えばいいだけだし
自作ってほどのもんか?
596デフォルトの名無しさん (ワッチョイ aa55-ucCN [59.147.205.222])
垢版 |
2020/07/14(火) 12:28:24.40ID:f0X+/T7u0
みなさんありがとうございます。
LenovoのThinkCentreでも性能面で全く不満はないんですが、GPUを買うと機械学習以外でもメリットがありますか?
2020/07/14(火) 12:54:12.69ID:Wx7wO4sT0
ない
598デフォルトの名無しさん (アウアウウー Sac1-pR5Q [106.154.130.127])
垢版 |
2020/07/14(火) 12:59:50.93ID:zIuyg5pga
ゲームが快適
2020/07/14(火) 13:12:39.77ID:TjOLLvBQ0
自分で決めろよ(笑)
2020/07/14(火) 16:26:30.95ID:wq29a1I2M
風切り音聴き放題
暖房いらず
601デフォルトの名無しさん (ブーイモ MM4e-PaEX [163.49.210.249])
垢版 |
2020/07/14(火) 19:51:40.28ID:4MXRjuybM
>>600
> 暖房いらず

ちょっと北海道こいや
2020/07/14(火) 19:53:53.97ID:wq29a1I2M
>>601
GPU1000個繋いでみ
2020/07/14(火) 20:00:57.31ID:f0X+/T7u0
みなさんありがとうございます。
実用に役立てたいとかいう気は毛頭なく、楽しくこの分野を「お勉強」するために実際にプログラミングもしてみたいという気持ちなので、
正直言ってあまりお金をかけたくありません。
2020/07/14(火) 20:02:06.67ID:9oJTcTsk0
クラウドサービスでなんかあるだろ
知らんけど
2020/07/14(火) 20:18:30.62ID:Y8DmAYlsa
AWSでもcolabでも
2020/07/14(火) 20:38:53.86ID:wq29a1I2M
CPUでもええんやで
2020/07/14(火) 20:52:15.51ID:8r8Vt1D00
>>603
本当に金かけずにやるならgoogle colabか
完全にブラウザだけで動く物だから、1万円ぐらいの中古ノートPCでも行ける
なんだったら漫画喫茶でも可

mnistだけなら数回クリックすればいいぞ
30秒ぐらい待てば0.91とか味気ない数字が出るからそこで終わり
それで「機械学習できたー!」って思えるなら、それでもいいかもな
2020/07/14(火) 21:08:43.86ID:d5f331vY0
初心者ですが機械学習に求められるPCスペックってどんなもんなんですか
画像認識に使います
2020/07/14(火) 21:29:17.91ID:DyWL0HS80
>>608
ちょっと上の現行レスくらい嫁ないと
おまえのスペックが足りないぞ
610デフォルトの名無しさん (ワッチョイ 0d1d-BjSE [118.238.238.101])
垢版 |
2020/07/14(火) 22:36:18.41ID:xLQ7O8F30
【月収1000万】フリーランスになったら収益が10倍になった理由4選
https://www.youtube.com/watch?v=RvVZ588Limw
【サイト公開有り】ほぼフル外注で年間400万稼ぐ特化ブログを作った話【収支、収益、全部話します】
https://www.youtube.com/watch?v=fCtJLJg8Gcc
【実例有り】ブログで月1万円稼ぐまでの具体的な道筋を教える【プロが解説】
https://www.youtube.com/watch?v=S-pk5AmW3g8
【案件も公開】ブログで月20万円稼ぐ方法の全て。具体的な道筋や戦略も全て公開【雑記でもいけた】
https://www.youtube.com/watch?v=Jiujwjhe300
ブログで稼ぐ仕組み徹底解説】初心者にもやさしく、丁寧に説明
https://www.youtube.com/watch?v=n4qF7xpL7-M
【ミスるとヤバい】特化ブログと雑記ブログ、どっちがいいの?おすすめの運営方法も解説!
https://www.youtube.com/watch?v=sh2v5Uqlo1M
611デフォルトの名無しさん (ブーイモ MM0b-uxm5 [163.49.210.172])
垢版 |
2020/07/15(水) 10:03:40.49ID:YCCP8bXqM
データサイエンティストに転職したけど
機械学習はド初心者レベルで
記述統計と回帰分析ぐらいしかできません

それでもかなりの給料もらえるので
良い仕事選んだなあ、と自画自賛してたら
NTTデータの社員が
「今はデータ分析バブルだからね。
もうすぐ終わるけどね。」
と言ってたのが気になってます

大手の正社員になれたので
バブル終わってもOKですw
2020/07/15(水) 10:10:52.09ID:J5P08Rwfa
大企業の場合は使い道なくなった部門は丸ごと分社化して捨てられるだけだよ
クビにはならないけど待遇はかなり下がる
2020/07/15(水) 10:14:25.30ID:SZME8Gs5M
大企業ならこれからしばらくは大量採用世代の退職で急速に自然減するから、あえて貴重なIT人材を切ることはしないだろう
まあ仕事はただの社内SEさせられるかもしれないけど
2020/07/15(水) 10:28:52.74ID:ahsctCP7a
貴重なIT人材なら給料はもっと高くてもいいはずだけどなあ
615デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/15(水) 10:58:41.59ID:EQY8Lc4J0
>>605
colabって無料ですか?無料だとして、どのくらいの計算能力があるんですか?ThinkCentreよりも上ですか?
616デフォルトの名無しさん (ワッチョイ a34f-47rB [211.121.114.2])
垢版 |
2020/07/15(水) 11:03:41.88ID:cA+36tRw0
>>615
お前は少しは調べるスペック上げろ
2020/07/15(水) 14:10:20.22ID:qNpbPWvl0
ど初心者がデータサイエンティストとして働ける 会社だぞ(笑)
お察し
2020/07/15(水) 17:43:52.38ID:EQY8Lc4J0
どうせGPUの利用時間制限とかあるんでしょうね。
2020/07/15(水) 17:46:52.37ID:EQY8Lc4J0
パターン認識と機械学習を読むために必要な確率統計の知識はどの本で得られますか?
『プログラミングのための確率統計』は持っています。
620デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/15(水) 17:50:33.52ID:EQY8Lc4J0
線形代数はGilbert Strangの本(5th Edition)を勉強しています。
2020/07/15(水) 18:02:22.46ID:cvzJ6XNXd
>>611
どこの会社?自分も行きたいです

機械学習の単純なものは自動化されてそういう人材は減るだろうね。実際AutoMLとかBIツールとかもうあるしなあ
2020/07/15(水) 19:14:18.91ID:Nvohphir0
>>619
統計学入門 東京大学統計教室
2020/07/15(水) 22:37:06.08ID:2O5VmOlY0
データサイエンティストという職業がよく解らん
コンサルやSEが兼業するなら解るけど
専門分野を持たない分析屋なんて課題からモデリングする時点で行き詰りそう
2020/07/15(水) 22:42:52.59ID:nCTS7qyC0
×行き詰まる
◎へんな結論orモデルが導き出される
2020/07/16(木) 08:13:42.95ID:pDBZuJ+c0
業務知識が無いんじゃ
ろくな結論も出てこないし
できたモデルもろくなもんじゃないだろうね(笑)
2020/07/16(木) 08:33:03.33ID:J/6NpJXf0
>>614
IT人材の中にも貴重なのとそうでないのとがいるというだけのことだよ
2020/07/16(木) 08:43:08.73ID:c/wXre3z0
>>626
貴重なIT人材と言わずに
貴重な人材といえば済む話だよな
2020/07/16(木) 09:19:34.71ID:KIA9AKrHa
>>623
専門分野を持たない自称データサイエンティストの実態は特徴量エンジニアリング屋やハイパーパラメータ調整屋でしかない
もちろんこれらの仕事はデータサイエンスの本質的な部分ではないし自動化されつつあるので
こういうことしかできない人が「データサイエンティストは近い将来に消滅する」とか騒ぐ
629デフォルトの名無しさん (アウアウウー Saf1-rAgY [106.154.131.57])
垢版 |
2020/07/16(木) 12:58:29.66ID:oAY3vNiSa
じっさいそんな奴らを絶滅させる為の研究がトレンドだし
630デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 17:40:36.90ID:CB5s4Bwv0
自作PCって難しいですか?
2020/07/16(木) 17:45:46.56ID:kCIM2SZmM
>>630
自作PCの板かスレあるはずだけど、好きじゃないならオススメしない
初めてならマウスとかのゲーミングPC買えば多少安上がりだと思う
632デフォルトの名無しさん (ワッチョイ 35ec-YL2b [58.1.112.131 [上級国民]])
垢版 |
2020/07/16(木) 18:41:05.52ID:OiHY45Fw0
データの前処理とか
そのテストデータの作り方とか知りたいけど、どうすりゃいいのかさっぱり分からん
2020/07/16(木) 18:42:46.28ID:CB5s4Bwv0
>>622
ありがとうございます。その本も持っていますが、そんなにいい本には見えないんですが、いい本なんですか?
2020/07/16(木) 19:59:39.79ID:lauA0pax0
>>633
統計の定番、赤本と青門(理系)、君には難しいかもね
2020/07/16(木) 20:02:44.85ID:lauA0pax0
>>630
定評ある組み合わせのパーツを買えば難しくない
MBにCPU取り付けるとことだけが難しいといえば難しい
2020/07/16(木) 20:04:31.22ID:lauA0pax0
例えるなら半完成プラモデルの作成
2020/07/16(木) 20:08:59.82ID:kCIM2SZmM
GPUの補助電源供給出来なかったり罠多いと思うけど、最近はそうでもないの
2020/07/16(木) 20:18:38.07ID:MvdUR80X0
自作板で見繕ってもらえばそれほど失敗せにゃろ
2020/07/16(木) 20:25:48.48ID:XFLL9/yq0
今手元にあるやつだけどこの辺おすすめ
https://i.imgur.com/yXZcgP5.jpg
2020/07/16(木) 20:26:50.66ID:lauA0pax0
>>637
電源の容量の見積しなかったの?
2020/07/16(木) 20:28:52.77ID:XFLL9/yq0
黒木学の数理統計学は初版だからだけどミス多かったから改訂版まった方がいいかも
642デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:30:06.77ID:CB5s4Bwv0
>>634
なんか松原望っていう人の本ってろくなのがないように思うんですが、『統計学入門』は例外なんですか?
『統計学入門』をパラパラ見ていますが、なんか単に結果をまとめた本にすぎないように思います。
深く考察しているような本ではないように見えますが、間違っていますか?
海外のよい統計の本ってないですか?
643デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:33:28.97ID:CB5s4Bwv0
>>639
ありがとうございます。稲垣っていう人の本は裳華房というまともな数学書をたくさん出版している出版社ですし、「数理」統計学というタイトルなので、
ちゃんと理由なども説明してありそうですね。

『自然科学の統計学』と『統計学入門』の内容面での違いはなんですか?

『自然科学の統計学』のほうも松原さんが執筆しているんですか?
644デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:35:53.47ID:CB5s4Bwv0
プログラミングのための確率統計という本は特色のあるいい本だと思いました。
海外の1000ページを超えるような本でいい本はないんですかね?
各統計分布についての説明が深く詳しいものが希望です。
645デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:36:52.79ID:CB5s4Bwv0
吉田信生の確率と統計の本はいい本ですか?
646デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:38:45.91ID:CB5s4Bwv0
鷲尾泰俊著『日常のなかの統計学』という本は、高校生向けの本ですが、なぜそのような統計分布になるのかの説明がしてあります。
647デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:44:26.03ID:CB5s4Bwv0
フィールズ賞受賞者である数学者が書いた以下の本を読んだ人いますか?いい本ですか?
どうも参考文献にも載っているのも見たことがありませんし、どうなんですか?
Pattern Theory: The Stochastic Analysis of Real-World Signals (Applying Mathematics) (英語) ハードカバー ? 2010/8/9
David Mumford (著), Agnes Desolneux (著)
648デフォルトの名無しさん (ワッチョイ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:50:21.04ID:CB5s4Bwv0
頭の良さで言えば、Geoffrey Hinton教授よりもDavid Mumfordのほうがずっと上だと思いますが、影響力は逆のようです。
2020/07/16(木) 20:55:28.55ID:CB5s4Bwv0
東大出版の『統計学入門』をパラパラ見ていますが、「待ち時間は指数分布に従う」と結果しか述べていません。
どこがいい本なんですか?鷲尾の本には理由が書いてあります。
2020/07/16(木) 20:57:48.80ID:lauA0pax0
>>642
東大統計教室著と書いたが
http://www.utp.or.jp/book/b300857.html
2020/07/16(木) 20:58:58.52ID:lauA0pax0
>>649
バカアスペ生きてたかwww
2020/07/16(木) 21:07:46.49ID:kCIM2SZmM
>>640
電源使い回そうとしたら、田のピンが無くて、電源も替えることになったことが
2020/07/16(木) 21:11:21.92ID:lauA0pax0
>>652
コネクタは盲点だね
2020/07/16(木) 21:14:27.49ID:MvdUR80X0
そういやメーカーPCって電源コネクタ余ってないな
2020/07/16(木) 21:24:04.66ID:lauA0pax0
メーカーPCに拡張性を求めるな
2020/07/16(木) 22:44:20.43ID:oDeJ1YHp0
どの業界でも同じで
仕事は道具で決まるようなところがある
リモートワークの時代に突入した今
自作PC持ってないとか
「私は仕事が出来ません」と言っているようなもんだろう
性能はもちろんのことモニター、キーボード、マウス、デスクチェアに至るまで納得いく製品を使ってこそ一流
大体どの業界も一流は一流の道具を使いこなしている
2020/07/17(金) 01:28:58.20ID:JB090FJW0
うちの会社はPC支給だから自作PCなんて関係ないが
2020/07/17(金) 05:41:28.10ID:3KhH25lF0
そういう会社は社風に習って管理されたノートPCでゆっくりやればいいんじゃないか
https://www.itmedia.co.jp/news/articles/2007/16/news080.html
日本はもう他国についていけてないんで
新興企業が少なすぎてヤバイってことでいろいろやっているけど
https://www.jiji.com/jc/article?k=2020071401008&;g=eco
年功序列の日本で新しいことにチャレンジする奴が出てくる訳も無く
終わっていく一方なんで
2020/07/17(金) 06:55:55.27ID:q5rg8MzZ0
ここで言ってる生産性って主観じゃん(笑)
2020/07/17(金) 09:03:56.38ID:ekCAOYpW0
会社支給のPCだとUSBをさすと部長に警告のメールが飛ぶソフトが入ってるだろw
661デフォルトの名無しさん (ブーイモ MMb1-uxm5 [202.214.125.79])
垢版 |
2020/07/17(金) 09:37:09.02ID:nyCYUAWLM
データサイエンティストには誰でもなれる
データ分析は結局アイデアだから

目的を達成するために分析するのであって
モデリングするためじゃないから。

方法と目的を取り違えている人多杉
2020/07/17(金) 09:48:42.12ID:1ZfyLSWwM
誰が最初に言い出した?データサイエンティスト(笑)
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況