【統計分析】機械学習・データマイニング28

■ このスレッドは過去ログ倉庫に格納されています
2020/05/01(金) 09:32:34.08ID:d7veCBiW0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
人の意識に触れたい方はスレ違いです

■前スレ
【統計分析】機械学習・データマイニング27
https://mevius.5ch.net/test/read.cgi/tech/1578892284/

スレ立ての際は、一行目冒頭に
!extend:on:vvvvvv:1000:512
をお願いします。
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
615デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/15(水) 10:58:41.59ID:EQY8Lc4J0
>>605
colabって無料ですか？無料だとして、どのくらいの計算能力があるんですか？ThinkCentreよりも上ですか？
616デフォルトの名無しさん (ﾜｯﾁｮｲ a34f-47rB [211.121.114.2])
垢版 |
2020/07/15(水) 11:03:41.88ID:cA+36tRw0
>>615
お前は少しは調べるスペック上げろ
2020/07/15(水) 14:10:20.22ID:qNpbPWvl0
ど初心者がデータサイエンティストとして働ける 会社だぞ(笑)
お察し
2020/07/15(水) 17:43:52.38ID:EQY8Lc4J0
どうせGPUの利用時間制限とかあるんでしょうね。
2020/07/15(水) 17:46:52.37ID:EQY8Lc4J0
パターン認識と機械学習を読むために必要な確率統計の知識はどの本で得られますか？
『プログラミングのための確率統計』は持っています。
620デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/15(水) 17:50:33.52ID:EQY8Lc4J0
線形代数はGilbert Strangの本（5th Edition）を勉強しています。
2020/07/15(水) 18:02:22.46ID:cvzJ6XNXd
>>611
どこの会社？自分も行きたいです

機械学習の単純なものは自動化されてそういう人材は減るだろうね。実際AutoMLとかBIツールとかもうあるしなあ
2020/07/15(水) 19:14:18.91ID:Nvohphir0
>>619
統計学入門　東京大学統計教室
2020/07/15(水) 22:37:06.08ID:2O5VmOlY0
データサイエンティストという職業がよく解らん
コンサルやSEが兼業するなら解るけど
専門分野を持たない分析屋なんて課題からモデリングする時点で行き詰りそう
2020/07/15(水) 22:42:52.59ID:nCTS7qyC0
×行き詰まる
◎へんな結論orモデルが導き出される
2020/07/16(木) 08:13:42.95ID:pDBZuJ+c0
業務知識が無いんじゃ
ろくな結論も出てこないし
できたモデルもろくなもんじゃないだろうね(笑)
2020/07/16(木) 08:33:03.33ID:J/6NpJXf0
>>614
IT人材の中にも貴重なのとそうでないのとがいるというだけのことだよ
2020/07/16(木) 08:43:08.73ID:c/wXre3z0
>>626
貴重なIT人材と言わずに
貴重な人材といえば済む話だよな
2020/07/16(木) 09:19:34.71ID:KIA9AKrHa
>>623
専門分野を持たない自称データサイエンティストの実態は特徴量エンジニアリング屋やハイパーパラメータ調整屋でしかない
もちろんこれらの仕事はデータサイエンスの本質的な部分ではないし自動化されつつあるので
こういうことしかできない人が「データサイエンティストは近い将来に消滅する」とか騒ぐ
629デフォルトの名無しさん (ｱｳｱｳｳｰ Saf1-rAgY [106.154.131.57])
垢版 |
2020/07/16(木) 12:58:29.66ID:oAY3vNiSa
じっさいそんな奴らを絶滅させる為の研究がトレンドだし
630デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 17:40:36.90ID:CB5s4Bwv0
自作PCって難しいですか？
2020/07/16(木) 17:45:46.56ID:kCIM2SZmM
>>630
自作PCの板かスレあるはずだけど、好きじゃないならオススメしない
初めてならマウスとかのゲーミングPC買えば多少安上がりだと思う
632デフォルトの名無しさん (ﾜｯﾁｮｲ 35ec-YL2b [58.1.112.131 [上級国民]])
垢版 |
2020/07/16(木) 18:41:05.52ID:OiHY45Fw0
データの前処理とか
そのテストデータの作り方とか知りたいけど、どうすりゃいいのかさっぱり分からん
2020/07/16(木) 18:42:46.28ID:CB5s4Bwv0
>>622
ありがとうございます。その本も持っていますが、そんなにいい本には見えないんですが、いい本なんですか？
2020/07/16(木) 19:59:39.79ID:lauA0pax0
>>633
統計の定番、赤本と青門（理系）、君には難しいかもね
2020/07/16(木) 20:02:44.85ID:lauA0pax0
>>630
定評ある組み合わせのパーツを買えば難しくない
MBにCPU取り付けるとことだけが難しいといえば難しい
2020/07/16(木) 20:04:31.22ID:lauA0pax0
例えるなら半完成プラモデルの作成
2020/07/16(木) 20:08:59.82ID:kCIM2SZmM
GPUの補助電源供給出来なかったり罠多いと思うけど、最近はそうでもないの
2020/07/16(木) 20:18:38.07ID:MvdUR80X0
自作板で見繕ってもらえばそれほど失敗せにゃろ
2020/07/16(木) 20:25:48.48ID:XFLL9/yq0
今手元にあるやつだけどこの辺おすすめ
https://i.imgur.com/yXZcgP5.jpg
2020/07/16(木) 20:26:50.66ID:lauA0pax0
>>637
電源の容量の見積しなかったの？
2020/07/16(木) 20:28:52.77ID:XFLL9/yq0
黒木学の数理統計学は初版だからだけどミス多かったから改訂版まった方がいいかも
642デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:30:06.77ID:CB5s4Bwv0
>>634
なんか松原望っていう人の本ってろくなのがないように思うんですが、『統計学入門』は例外なんですか？
『統計学入門』をパラパラ見ていますが、なんか単に結果をまとめた本にすぎないように思います。
深く考察しているような本ではないように見えますが、間違っていますか？
海外のよい統計の本ってないですか？
643デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:33:28.97ID:CB5s4Bwv0
>>639
ありがとうございます。稲垣っていう人の本は裳華房というまともな数学書をたくさん出版している出版社ですし、「数理」統計学というタイトルなので、
ちゃんと理由なども説明してありそうですね。

『自然科学の統計学』と『統計学入門』の内容面での違いはなんですか？

『自然科学の統計学』のほうも松原さんが執筆しているんですか？
644デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:35:53.47ID:CB5s4Bwv0
プログラミングのための確率統計という本は特色のあるいい本だと思いました。
海外の1000ページを超えるような本でいい本はないんですかね？
各統計分布についての説明が深く詳しいものが希望です。
645デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:36:52.79ID:CB5s4Bwv0
吉田信生の確率と統計の本はいい本ですか？
646デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:38:45.91ID:CB5s4Bwv0
鷲尾泰俊著『日常のなかの統計学』という本は、高校生向けの本ですが、なぜそのような統計分布になるのかの説明がしてあります。
647デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:44:26.03ID:CB5s4Bwv0
フィールズ賞受賞者である数学者が書いた以下の本を読んだ人いますか？いい本ですか？
どうも参考文献にも載っているのも見たことがありませんし、どうなんですか？
Pattern Theory: The Stochastic Analysis of Real-World Signals (Applying Mathematics) (英語) ハードカバー ? 2010/8/9
David Mumford (著), Agnes Desolneux (著)
648デフォルトの名無しさん (ﾜｯﾁｮｲ e355-YsWi [59.147.205.222])
垢版 |
2020/07/16(木) 20:50:21.04ID:CB5s4Bwv0
頭の良さで言えば、Geoffrey Hinton教授よりもDavid Mumfordのほうがずっと上だと思いますが、影響力は逆のようです。
2020/07/16(木) 20:55:28.55ID:CB5s4Bwv0
東大出版の『統計学入門』をパラパラ見ていますが、「待ち時間は指数分布に従う」と結果しか述べていません。
どこがいい本なんですか？鷲尾の本には理由が書いてあります。
2020/07/16(木) 20:57:48.80ID:lauA0pax0
>>642
東大統計教室著と書いたが
http://www.utp.or.jp/book/b300857.html
2020/07/16(木) 20:58:58.52ID:lauA0pax0
>>649
バカアスペ生きてたかｗｗｗ
2020/07/16(木) 21:07:46.49ID:kCIM2SZmM
>>640
電源使い回そうとしたら、田のピンが無くて、電源も替えることになったことが
2020/07/16(木) 21:11:21.92ID:lauA0pax0
>>652
コネクタは盲点だね
2020/07/16(木) 21:14:27.49ID:MvdUR80X0
そういやメーカーPCって電源コネクタ余ってないな
2020/07/16(木) 21:24:04.66ID:lauA0pax0
メーカーPCに拡張性を求めるな
2020/07/16(木) 22:44:20.43ID:oDeJ1YHp0
どの業界でも同じで
仕事は道具で決まるようなところがある
リモートワークの時代に突入した今
自作PC持ってないとか
「私は仕事が出来ません」と言っているようなもんだろう
性能はもちろんのことモニター、キーボード、マウス、デスクチェアに至るまで納得いく製品を使ってこそ一流
大体どの業界も一流は一流の道具を使いこなしている
2020/07/17(金) 01:28:58.20ID:JB090FJW0
うちの会社はPC支給だから自作PCなんて関係ないが
2020/07/17(金) 05:41:28.10ID:3KhH25lF0
そういう会社は社風に習って管理されたノートPCでゆっくりやればいいんじゃないか
https://www.itmedia.co.jp/news/articles/2007/16/news080.html
日本はもう他国についていけてないんで
新興企業が少なすぎてヤバイってことでいろいろやっているけど
https://www.jiji.com/jc/article?k=2020071401008&;g=eco
年功序列の日本で新しいことにチャレンジする奴が出てくる訳も無く
終わっていく一方なんで
2020/07/17(金) 06:55:55.27ID:q5rg8MzZ0
ここで言ってる生産性って主観じゃん(笑)
2020/07/17(金) 09:03:56.38ID:ekCAOYpW0
会社支給のPCだとUSBをさすと部長に警告のメールが飛ぶソフトが入ってるだろｗ
661デフォルトの名無しさん (ﾌﾞｰｲﾓ MMb1-uxm5 [202.214.125.79])
垢版 |
2020/07/17(金) 09:37:09.02ID:nyCYUAWLM
データサイエンティストには誰でもなれる
データ分析は結局アイデアだから

目的を達成するために分析するのであって
モデリングするためじゃないから。

方法と目的を取り違えている人多杉
2020/07/17(金) 09:48:42.12ID:1ZfyLSWwM
誰が最初に言い出した？データサイエンティスト(笑)
2020/07/17(金) 09:52:06.86ID:I5PwsS3iM
必要なのはデータ活用コンサルタントとデータエンジニア
中途半端にコンサルでもエンジニアでもない意味不明な呼称こそが諸悪の根源かもな
2020/07/17(金) 09:56:50.18ID:wND2Gqbe0
呼び方変えてもやってることも人材の質も変わらんよ
2020/07/17(金) 10:20:57.79ID:8ScKWicH0
とはいえサイエンスというよりエンジニアリングなので
2020/07/17(金) 11:23:48.49ID:1ZfyLSWwM
データエンジニア？
2020/07/17(金) 12:56:16.39ID:hsYr+4rfa
ソフトウェアエンジニアの人達が自身のことをエンジニアと呼称するのに違和感感じる
単に「エンジニア」と言ったら機械系の技術者をイメージする
668デフォルトの名無しさん (ﾌﾞｰｲﾓ MM0b-uxm5 [163.49.212.44])
垢版 |
2020/07/17(金) 13:01:58.19ID:KhpZfwcAM
>>662
データサイエンティストは
典型的なバズワードデスネ

ビッグデータ、
データサイエンティスト、
AI、
この3つのバズワードは素人をダマすときだけ
使うべきと思うけど、
かなり広まってしまったから
仕方なく使うようになった。

ビッグデータ＝いろいろなデータ
データサイエンティスト＝データ分析する人、
AI＝機械学習などの分析方法

と、読み替えて使ってます。
というのでＯＫ？
2020/07/17(金) 13:02:05.77ID:1ZfyLSWwM
わかる(笑)
2020/07/17(金) 14:12:17.74ID:cu+Ver0E0
>>668の読み替えにわかりみｗ

>>667は　化石化がはじまってんよ(´・ω・｀)
2020/07/17(金) 14:15:10.20ID:ekCAOYpW0
三葉虫発見
672デフォルトの名無しさん (ﾜｯﾁｮｲ fd01-aTVc [126.161.133.248])
垢版 |
2020/07/17(金) 15:10:44.59ID:4btT1mkT0
データアーティストと言わなかっただけマシ。
2020/07/17(金) 15:19:47.01ID:zYg36R0OF
>>658
>年功序列の日本で新しいことにチャレンジする奴が出てくる訳も無く終わっていく一方なんで
+1
他国に抜かれるばかり
4-7819-0980-9
978-4-7980-5072-0
978-4-7980-5073-7
2020/07/17(金) 17:25:39.88ID:DCqZa7EH0
>>667
ソフトウェア工学とか情報工学と言う言葉はある
工学→エンジニアなのでは？
2020/07/17(金) 17:29:24.64ID:DCqZa7EH0
>>668
ビッグデータは種類だけではなくて量も多いイメージ
AIは各手法で実現された人工知能の事じゃないかな
手法はいろいろあって人間の知識や手法をヒアリングして作った普通のソフトウェアも含む概念だと思う
2020/07/17(金) 18:19:37.93ID:p55TjBUsM
僕くらいになるとデータファンタジスタって呼ばれるんだけどな
2020/07/17(金) 19:11:29.99ID:ekCAOYpW0
俺はデータポエミスト
2020/07/17(金) 19:48:16.84ID:zSX7HXP2H
>>673
というか火中の栗を拾おうというのに、リワードゼロというのは嫌ですよね
2020/07/17(金) 22:27:03.97ID:4JMmmZ+v0
大手に入って喜んでいる人も居るみたいだが現実はこれだろう

https://dot.asahi.com/wa/2020052600043.html?page=1
田原総一朗「日本の大企業は10年ももたない。危惧するこれだけの理由」

ここでお馴染みの松尾豊さんのコメントも出てるけど
年功序列と中抜き大好きJAPANだからな
もう一昔前の大きい会社に入りさえすれば、、、、
っていう時代はとっくの昔に終わっている
2020/07/17(金) 22:28:28.00ID:ekCAOYpW0
田原さんはボケてる
2020/07/17(金) 22:30:27.45ID:q5rg8MzZ0
嫉妬じゃん(笑)
2020/07/17(金) 22:39:53.31ID:zSX7HXP2H
>>679
田原総一朗氏は言っていることを見る限りボケてきているようですから（その内容はゴーストライター製じゃないかな？）
もう引退したほうがいいでしょう

欧米並みの雇用規制の緩和・金銭解雇解禁と「それとセットでの」再就職支援・生涯学習機械創出の同時保障による人材流動化を打ち出せない限りもうだめでしょう
日本の左翼も都合のいいところしか言わなくなりましたね…
2020/07/17(金) 23:01:02.99ID:qKOLafZwa
企業でデータサイエンスやってるけどディープラーニングとかGBDTとかは使えて当たり前で
むしろモデルの精度よりも背景分布の推定や解釈性、因果推論の方が圧倒的に重要
GBDTの重要度を顧客に出したところでなぜそうなのかを説明できないといけない
2020/07/17(金) 23:57:51.35ID:zSX7HXP2H
>>683
とても矛盾した仕事ですね
DL はあくまでも、客観的な相関関係を求めるものなのに
それに対して主観的な因果関係を付加するのですか？
2020/07/18(土) 01:05:54.82ID:hGu+rp74a
なぜその因果関係を主観的だと思っているのか
686デフォルトの名無しさん (ｱｳｱｳｳｰ Saf1-rAgY [106.154.135.44])
垢版 |
2020/07/18(土) 01:25:33.91ID:6Wz8jddIa
>>684
因果推論の「推論」を主観的に想像することだと思ってる？w
2020/07/18(土) 07:11:09.23ID:6+67qovv0
データから相関関係はわかっても、どちらが原因でどちらが結果かはわからないよね。
2020/07/18(土) 08:26:49.94ID:Iwhr9cjK0
そうだよ(笑)
2020/07/18(土) 08:49:48.56ID:KIRMqycZH
>>686
そもそも因果関係の認定は主観的なもの、というのが私の感覚です
だから最近のペーパーは相関関係（これは客観的なもの）だけ示して、それでペーパーになる、という体たらくまでに落ちぶれたと思っています
690デフォルトの名無しさん (ｱｳｱｳｳｰ Saf1-rAgY [106.154.135.44])
垢版 |
2020/07/18(土) 09:48:10.05ID:6Wz8jddIa
>>689
だから〜の件が意味不
昔のペーパーは因果関係まで客観的に示してたの？主観的なものなのに？
2020/07/18(土) 10:34:09.04ID:yJIrza8C0
>>689
シナの奴隷は落ちぶれてないのかｗ
2020/07/18(土) 10:46:07.52ID:4wzWiBHZ0
https://www.youtube.com/watch?v=hNb8IhrSAwE

このスピーチも6年前でAIブームの火付け役になった猫認識の1年、2年後だが
いい感じに当ててるよね

>>1989年、時価総額で世界のトップ50社の中に、
>>日本企業は32社入っていた。ところが2018年には、
>>残っているのはトヨタ1社のみで、ほかはすべて落ちてしまった
>>って書いてあるけど
トヨタも自動運転の時代に突入するとヤバイだろうって言われているもんな
2020/07/18(土) 11:36:10.83ID:/okXyV5F0
>>689
因果関係はあくまで数学的なものであって主観を含まない
時系列ならGranger因果解析、未観測交絡因子がない前提の下ならLiNGAMを使えば統計的に因果関係を求めることができる
2020/07/18(土) 12:54:30.98ID:l5QGC7g0a
>>692
時価総額で企業価値を語ることの愚かさ

「トヨタVSテスラ」の構図は本当か？　「時価総額」という数字のマジックにだまされるな
https://www.itmedia.co.jp/business/articles/2007/15/news045.html
2020/07/18(土) 13:17:30.43ID:/hv/YkbI0
因果関係は実験できるなら原因と考えること要素を変化させて結果と考えられる要素を測定して変化が想定通りか確認したらいいんじゃね？
696デフォルトの名無しさん (ｱｳｳｨﾌ FFf1-2sjB [106.171.72.60])
垢版 |
2020/07/18(土) 14:45:32.58ID:uRU3MGLxF
LとRの発音の違いが瞳孔の開き具合で判別出来るのか
おもろいな
2020/07/18(土) 15:20:51.45ID:44BqusNo0
>>因果関係は実験できるなら

実験できないことが多いから困ってんだろ。
2020/07/18(土) 15:29:28.81ID:CbKE/lXY0
因果はめぐる糸車
2020/07/18(土) 15:34:05.88ID:KIRMqycZH
>>693
いいえ、因果関係の認定には大きく主観が作用します
因果関係こそ主観的であると思います
2020/07/18(土) 16:13:06.81ID:/hv/YkbI0
>>697
その阻害要因を取り除くことが不可能かどうか個別に違うだろうけどな
2020/07/18(土) 16:17:00.44ID:/hv/YkbI0
>>696
相関関係があるなら判別できるんじゃないかな？
ある特定の個人には当てはまるかもしれないし
ある病気や遺伝子を持つ限定した人達には当てはまるかもしれない
それが分かれば瞳孔と発音の相関関係から病気の診断や予測に応用できるかも
2020/07/18(土) 20:32:59.90ID:NJ+LQ+vqd
深層学習やるにも超高性能なパソコンが必要か。
むずい。
2020/07/18(土) 20:34:58.75ID:rsR5e1Af0
必要なのはグラボだけやぞ
1060ぐらいあれば遊ぶには十分。同じぐらいの値段で売れるしそこまで損もしない
2020/07/18(土) 20:56:52.07ID:OGAWKHxYa
適当にデータ突っ込んで大規模なネットワークで学習させれば結果がでるなんて単純なものではないから
「よく分からないけどどんなスペックが必要？」のレベルならGPUに金使う前にまず勉強からスタート
2020/07/18(土) 21:30:01.11ID:Iwhr9cjK0
p100あたりなら安く手に入る？
2020/07/18(土) 22:36:48.24ID:rsR5e1Af0
>>705
p100ってteslaやろ、んなもん素人が持ってても使いにくいだけだぞ
型落ちしたteslaなんて普通のグラボよりコスパ悪いし
ゲームに流用できないのももったいないし、いいところがマジで無い

スパコンやマイニングでもするなら止めはせんけどｗ
2020/07/18(土) 23:28:49.54ID:44BqusNo0
だからgcpかaws使えよ。。少しいじったら飽きるからそれで十分。
2020/07/18(土) 23:52:32.24ID:6+67qovv0
>>695
現実の世界は、その要素が無数にあって相互に作用するカオスな世界だから。
ある要素の変化は別の要素を変化させ、それが回り回って元の要素を変化させる永遠の連鎖作用だから。
単純に原因と結果とか言えない。
2020/07/19(日) 01:26:53.97ID:wRmUZy780
>>708
直接ではなくても原因をコントロールする事で結果を望む形にできたら利用価値はある
710デフォルトの名無しさん (ﾜｯﾁｮｲ 454b-aTVc [210.188.32.147])
垢版 |
2020/07/19(日) 07:31:35.95ID:aiqwLyDu0
>>694
ホリエモン予想
https://www.youtube.com/watch?v=kHsEVwN4MwU

ただこの人も外すときは外すからね
2020/07/19(日) 07:59:45.36ID:x6uiukTb0
>>709
一つの要素の同一の変化でも、他の無数にある条件の１つのわずかな違いによって、結果は１８０度変わることもある。
微小な変化が結果を左右する予想不可能な世界が現実。
気象学がいくら発達しても１年後の天気予報はできない。
2020/07/19(日) 09:28:10.44ID:CzbuCasO0
>>710
VBプログラマーｗ
2020/07/19(日) 09:40:28.77ID:EpjM+Kts0
>>712
今はVBすげー進化してるぞ。昔から使って極めているならアリ
新規でVBを選ぶ理由はないけど
2020/07/19(日) 10:20:09.77ID:x6uiukTb0
いまどき業務用アプリ以外で、Windows上でしか動かないディスクトップアプリに何の価値があるのか？
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況