【統計分析】機械学習・データマイニング30

■ このスレッドは過去ログ倉庫に格納されています
2021/01/01(金) 09:10:55.46ID:a+OQlEaa0
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2021/04/21(水) 23:33:54.27ID:AHvTeMJC0
普通のソフトエンジニアリングでも、データドリブンな開発というのはこれから重要になっていくと思うけどな。
その辺のおばちゃんが言ってることをデータを収集して分析して、本当なら改善すればいいし単に特殊例でそうなっただけならスルーすればいいし。
定性的な開発で済む場合もあるけど、定量的な開発ができることで業務改善できる分野はいっぱいあると思うよ。少しでもそういう見方で意味論をある意味捨象して数値で評価しようとする立場の人間が増えることはいいことだと思うけどな。
まあ、数値の評価ってのはいかようにも出せるので、文系的な議論がしっかりなされた上で数値的な評価で裏付ける、というのがよいと思うけれど。
2021/04/22(木) 02:31:03.78ID:EZ9yi1XHM
事務のおばちゃんを例に出すまでもなく、ソフトウェア・エンジニアリングはマネタイズの方法がたくさん開発されてて実績も豊富
DS分野でいうとBI導入が流行ってるのもマネタイズの分かり易さからでしょ
459デフォルトの名無しさん (ﾜｯﾁｮｲ eb10-Y48T [153.131.102.129])
垢版 |
2021/04/22(木) 08:38:37.02ID:iKwCvStp0
ソフトウェアエンジニアリングとかソフトウェア工学って
ソフトウェアを作るときにバグをどうやったら少なくできるかとか
生産性を上げるにはどうするかとかそう言う分野のことを指すんじゃね？

ソフトウェア事業とかソフトウェアビジネスって言った方が良い
460デフォルトの名無しさん (ﾃﾃﾝﾃﾝﾃﾝ MM8b-E5dH [133.106.35.132])
垢版 |
2021/04/22(木) 08:57:06.72ID:M8v84iKOM
>>459
正解
2021/04/22(木) 09:30:40.56ID:KHhdvM960
マネタイズできてるのはかなりの規模で使われた場合ばっかだろ。
中小や受託案件なんかは全く関係ないわ。
462デフォルトの名無しさん (ﾜｯﾁｮｲ b302-ashK [101.140.211.220])
垢版 |
2021/04/22(木) 14:18:43.57ID:CDCM7CdZ0
>>454
むしろ、コロナ騒動でデータサイエンティストの無力を実感

・国や地域によって患者・重傷者・死者のカウント基準が異なる
・陽性と判定するCt値も同様に定まっていない
・PCR検査以外の感染者の検出方法ほぼ全てで擬陽性が多分に含まれる手段を用いている

データとしてゴミだらけで統計以前。
これらに問題提起をして的外れな対策に意見すべきであった
2021/04/22(木) 14:42:04.01ID:TgsR4gUfM
検査数(当日)と患者数(2日前)とか
そこからかよ。みたいな
2021/04/22(木) 18:30:59.89ID:Uzm+txz10
>>462
所詮雇われ屋しかいないしな
まともな予測出したのって北海道の免疫学の教授とGoogleくらいでしょ
2021/04/22(木) 19:26:43.57ID:lA0hV6360
頼れそうなデータは重症者と死者数なんだが
死んだときに感染していればカウントするそうだから
データとしては「かなり」多めに出るな
誤差さえわからない
2021/04/22(木) 19:47:09.32ID:FRH+m68J0
「重症」の定義が国によってばらばらなんだが
2021/04/22(木) 19:47:48.04ID:FRH+m68J0
＋日本の新規感染確定＠PCR分てのは保健所分だけ公表で、医療機関独自系は非カウントなう
2021/04/23(金) 08:36:21.23ID:tnFfajmm0
死者数のリボルビング発表も言われてるしなあ
2021/04/23(金) 17:31:31.74ID:P+WEt3o30
ワクチン開発で多数の候補物質からふるい落とすとかに活用したらしいけど
そういうのは半端なくドメイン知識いるし
470デフォルトの名無しさん (ﾜｯﾁｮｲ 6fe6-zZYr [14.3.167.89])
垢版 |
2021/04/23(金) 18:44:22.53ID:rBK2myaR0
>>469
候補を出すだけならいらないんじゃない？
2021/04/24(土) 08:25:25.67ID:MOnT+7TF0
データサイエンティスト「こちらが候補の一覧です。何の物質なのかわかりませんけど。」
お客さん「・・・」

おわり
2021/04/24(土) 12:25:29.89ID:OO9vAqoAM
やっぱデータサイエンチストに任せずに自分でやったほうがいいか
2021/04/24(土) 15:21:15.93ID:6XEQ6ynBa
>>471
物質名か構造式が出てくれば後は自動で絞り込めるよ
まあそれもデータサイエンティスト側でできるか
474デフォルトの名無しさん (ﾜｯﾁｮｲ c702-/alk [101.140.211.220])
垢版 |
2021/04/24(土) 18:30:45.31ID:kEsviUBS0
製薬やマテリアルは自然界の物質をそのまま変数として使えるから、さほど難しくないテーマ
世の中の大多数のテーマは変数の生成から始めないといけない
2021/04/24(土) 19:20:19.57ID:b1XnG/z6M
データの意味を知らずにできるような単純な問題ならそれこそデータサイエンティストなんか要らんよ
親切なツール使えば現場の人間でも難しくないだろうし、近い将来完全に自動化される
476デフォルトの名無しさん (ｽｯｯﾌﾟ Sdaf-R9kE [49.98.149.9])
垢版 |
2021/04/24(土) 19:24:54.82ID:aBat7e4Id
マテリアルもいい記述子見つけるの大変だよ
477デフォルトの名無しさん (ﾜｯﾁｮｲ cff3-Iq6q [220.211.225.116])
垢版 |
2021/04/25(日) 12:26:44.89ID:0okbEX8U0
ワクチン開発でDNNを活用するというのは異常に難易度が高いよ。
例えば、コロナウィルスの場合、COVIDウィルスのスパイクのタンパク質配列とかを
学習データに使用するけど、普通は、この種のウィルス特有のデータを10種類以上
選択する必要がある。このデータ選択は、ウィルスの専門知識がないと無理。
状況によっては公開データが用意されていない場合もあるので、その場合は、
研究室でタンパク質配列とかRNA配列とかを解読する作業も必要となってくる。
さらに、DNNに関しても、既存のネットワークを流用することはできないので、
新規にネットワークのアルゴリズムを作る必要もある。この作業は、普通のAI
エンジニアでは無理。更に、機械学習に関してもかなり膨大なGPUリソースが
必要となる。また、専用のネットワークは動かしてみた上で修正を入れるという
作業が発生するため、TPUv3x1024くらいのリソースを開発期間の数ヶ月に渡って、
占有するという状況が発生する。開発要員としてはウイルス学、AIの各領域のポスドク
クラスの専門研究者を10人くらい集めて、さらにクラウド費用として数億円くらいアサイン
する必要があるかもね。まあ、これはほとんど不可能な要件なんだけどね。
478デフォルトの名無しさん (ﾜｯﾁｮｲ f75f-R9kE [106.73.78.34])
垢版 |
2021/04/25(日) 16:03:32.73ID:A9tbQoo40
>>477
十年前からきたのかな？
479デフォルトの名無しさん (ｱｳｱｳｳｰ Sa47-yxcN [106.154.0.13])
垢版 |
2021/04/25(日) 16:35:58.53ID:lzmMLOISa
>>477
去年効果のありそうな物質の候補をリストアップしたニュースがあったな

それになんでもDNNを使わなくて良いし
480デフォルトの名無しさん (ﾜｯﾁｮｲ c301-Im0W [220.56.102.222])
垢版 |
2021/04/27(火) 21:39:48.80ID:SgCXWhD40
東大卒　旧通産省・工業技術院の元院長・飯塚幸三
「ブレーキを踏んだが、車が加速した」

流石高学歴で上に行った奴だな
この程度の嘘を平気でつけるのがこのクラス
AIで犯罪を起こしそうな率を検出させてみると
政治家とか企業のトップとか軒並み率が高そうだけど
末端労働者程率が低かったりして
犯罪者が作ったルールに一般市民が従っているっていう
481デフォルトの名無しさん (ﾜｯﾁｮｲ c301-Im0W [220.56.102.222])
垢版 |
2021/04/27(火) 21:55:07.22ID:SgCXWhD40
菅義偉の詳細データ入れると
99.9％とか出るんだけど
菅総理だけ表向きの事情で0%にしないといけないっていう
そんなチューニングがメンドクサそう
特別なチューニングを何個もやってるうちにおかしなシステムになって
最終的に末端が叩かれて
一般人が犯罪者になるっていう
482デフォルトの名無しさん (ﾜｯﾁｮｲ 6f89-8KU9 [39.111.228.181])
垢版 |
2021/04/27(火) 22:26:18.40ID:drc3/kck0
馬鹿参上
483デフォルトの名無しさん (ﾜｯﾁｮｲ df10-6Okr [153.243.53.4])
垢版 |
2021/04/28(水) 00:01:36.86ID:kjLpBedQ0
頭にアルミホイル巻いとけ
2021/04/28(水) 00:48:19.24ID:Tk2PmT/40
AI疲れだな
GWにしっかり休んでくれ
2021/04/28(水) 07:27:21.67ID:rShJ3D9e0
あさからわろらされたわｗｗｗ
486デフォルトの名無しさん (ﾜｯﾁｮｲ 49e6-m6wT [14.3.167.89])
垢版 |
2021/05/02(日) 11:16:21.40ID:N4VRd0iX0
>>1
sdgと言われるとsgdと空目する
487デフォルトの名無しさん (ﾜｯﾁｮｲ 2901-TNk6 [126.242.255.174])
垢版 |
2021/05/02(日) 17:25:15.38ID:liMkj8Q90
あわしろ氏は、AIはベイズ推論だけで十分だって言ってたけどね。
2021/05/02(日) 18:08:34.90ID:rSJyHW/ca
十分というか今AIと言われているものはほとんどがベイズの枠組みで記述する方が分かりやすいし柔軟的に拡張できるからな
489デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-Ew5U [59.147.205.222])
垢版 |
2021/05/02(日) 18:11:39.92ID:JG6YyYGw0
ビショップの本を買ったのですが、積読状態です。
気合入れて読む価値はありますか？
490デフォルトの名無しさん (ﾜｯﾁｮｲ 1355-Ew5U [59.147.205.222])
垢版 |
2021/05/02(日) 18:13:31.90ID:JG6YyYGw0
フィールズ賞受賞者のD. マンフォードらのパターン認識の本が全く話題になりませんが、あの本はどういう位置づけの本なのでしょうか？
491デフォルトの名無しさん (ﾜｯﾁｮｲ 49e6-m6wT [14.3.167.89])
垢版 |
2021/05/02(日) 19:10:03.88ID:N4VRd0iX0
基礎
492デフォルトの名無しさん (ﾜｯﾁｮｲ 2901-TNk6 [126.242.255.174])
垢版 |
2021/05/02(日) 20:33:26.36ID:liMkj8Q90
一般教養。
2021/05/02(日) 23:43:59.54ID:AUnCr2Ku0
>>487
今なら深層学習を最初にやるべきだと思う
494デフォルトの名無しさん (ﾜｯﾁｮｲ 49e6-m6wT [14.3.167.89])
垢版 |
2021/05/03(月) 07:36:08.52ID:k1jvROw50
>>487
誰？
495デフォルトの名無しさん (ﾜｯﾁｮｲ 2901-TNk6 [126.242.255.174])
垢版 |
2021/05/03(月) 08:09:03.39ID:s03MGASG0
IT業界に居て知らないことは無いだろ。
2021/05/03(月) 08:14:12.53ID:JIK/4A/q0
知らん。
ニクラウス・ヴィルトとかクヌース級なのか？

Joseph Redmon氏を超えたら紹介してくれ
497デフォルトの名無しさん (ﾜｯﾁｮｲ 115f-Cc6k [106.73.78.34])
垢版 |
2021/05/03(月) 08:24:08.67ID:sjGHdyBX0
俺も知らん
俺が好きなのはあんどりゆー先生
498デフォルトの名無しさん (ﾜｯﾁｮｲ 2901-TNk6 [126.242.255.174])
垢版 |
2021/05/03(月) 08:56:18.97ID:s03MGASG0
だからお前らは駄目なんだよ。
2021/05/03(月) 09:23:32.94ID:J4qyGfu10
ネタだと思って何も言わんと本気にする馬鹿が出てくるというアレだな。
2021/05/05(水) 10:47:54.94ID:tRoHSHAj0
>>487
誰？
501デフォルトの名無しさん (ﾜｯﾁｮｲ 115f-Cc6k [106.73.78.34])
垢版 |
2021/05/05(水) 16:21:28.27ID:YD9wgWX/0
colab pro使ってる人いる？
502デフォルトの名無しさん (ﾜｯﾁｮｲ b163-D0wr [122.24.13.95])
垢版 |
2021/05/06(木) 11:59:48.85ID:9ulEY78a0
Colab pro日本からも契約できるようになったんだよな
503デフォルトの名無しさん (ﾜｯﾁｮｲ 115f-Cc6k [106.73.78.34])
垢版 |
2021/05/06(木) 13:39:08.91ID:3t4KZ2ob0
月1000円ちょっとだから家で機械学習で遊ぶのにいいかなと思って
2021/05/06(木) 19:23:34.81ID:ySmiiGpmd
https://colab.research.google.com/github/cedro3/others/blob/master/DALL_e_sample.ipynb

プログラミング初心者は、このcolabでopenAIのテキスト→画像生成モデルをテスト実行できるぞ
505デフォルトの名無しさん (ﾜｯﾁｮｲ ee73-dxvU [153.200.72.220])
垢版 |
2021/05/12(水) 11:00:45.44ID:lwPC+Em40
我勉強中なんだけど、
「RMSE(平均平方二乗誤差)を使い求まる解は、誤差が正規分布に従うという前提の下で求まる最尤解と同じになる」

これってどういう意味？
2021/05/12(水) 12:02:35.00ID:cBo9TB3z0
>>505
正規分布を使って最尤推定の式を立ててみな
式変形したら結果がRMSEと同じになる
2021/05/12(水) 12:34:56.40ID:aZwuBi2/0
誤差分布と正規分布の違いとか最近基礎を忘れてきたな。。。
508デフォルトの名無しさん (ﾜｯﾁｮｲ ee73-7ir8 [153.200.72.220])
垢版 |
2021/05/13(木) 09:33:19.17ID:LL50QdoW0
>>506
THX！
やってみるわ
2021/05/14(金) 03:55:13.35ID:+CUnWEgy0
colaboratory使えばGPU買わなくても大丈夫？
2021/05/14(金) 06:00:37.69ID:YMhl4ox20
>>509
はい
511デフォルトの名無しさん (ﾜｯﾁｮｲ d073-gSvD [153.200.72.220])
垢版 |
2021/05/16(日) 18:14:37.34ID:BCvV60Hy0
>>510
マジ！？
本番サーバのバッチでも使える？
512デフォルトの名無しさん (ﾜｯﾁｮｲ d073-gSvD [153.200.72.220])
垢版 |
2021/05/17(月) 11:56:47.57ID:AazcJmIk0
「X_train, X_test」の大文字ってどうしてます？
面倒なので小文字にしたいのですが、不都合ありますか？
513デフォルトの名無しさん (ﾜｯﾁｮｲ a45f-+AhK [106.73.78.34])
垢版 |
2021/05/17(月) 13:27:31.17ID:50pYDYVJ0
ないよ
2021/05/17(月) 16:02:53.44ID:x42zKMo10
>>512
その変数名にしてる人たいていクソコード書いてるから
ちゃんとした入力変数の名前にしたほうがいい
515デフォルトの名無しさん (ﾌﾞｰｲﾓ MM4d-Rf8T [202.214.198.113])
垢版 |
2021/05/17(月) 19:41:41.86ID:3TA+gznAM
クソチョンw
2021/05/17(月) 21:45:08.12ID:sdljpxakM
>>514
Xの大文字を打つのにシフトすら面倒だって言ってる奴にちゃんとした変数名付けろって言っても、馬の耳に念仏なんじゃないか

概念の説明にはx,yが出て来るのは仕方ないとしても、
実際の分析では意味のある名前付けた方がいいというのには完全に同意だけど。
x2やy2に相当するものを使いたくなるときもあるし、
将来コードを見返す自分は赤の他人だと思って分かりやすく書いておかないと折角の努力が資産にならないよね。
2021/05/17(月) 22:50:20.67ID:TxYncY5F0
行列だから大文字Xなのかと思ってた
2021/05/18(火) 04:49:22.56ID:XMy91+oY0
>>516
その辺の機械学習の概念を理解するお薦め本ありますか？
2021/05/18(火) 11:04:58.96ID:K5WN/Dsi0
いや、pythonの規約を普通に守ればそこは小文字始まりだろ。
それを破るならそれなりの理由が必要だわ。
520デフォルトの名無しさん (ｵｯﾍﾟｹ Sr10-X/Xr [126.237.70.93])
垢版 |
2021/05/18(火) 12:41:52.89ID:FgenxOxPr
jupyter notebookみたいな書き捨てコードだったら何でもいいよ
2021/05/18(火) 15:26:01.83ID:QNG9JUM6a
ていうか変数名くらいAIでわかりやすいの勝手に付けて欲しい
人間が考えるのはおかしい
2021/05/18(火) 16:19:30.43ID:oyqcAYpS0
テンソルの変換するからXだの言われても辛いのよ
前処理も一緒にやる場合はどの段階のXなの？ってなる
2021/05/18(火) 17:17:37.19ID:K5WN/Dsi0
>>521
そこまでAIができるなら、お前らなんかいらんわ
2021/05/18(火) 18:13:53.05ID:WCK1jWazM
行列だとしても、単に大文字だとわかりにくいから、mat_Rとか名前つけることあるな。回転行列だけど。
数式ですら字体や添字で区別を色々つけないと訳分からなくなる。
2021/05/18(火) 18:44:16.23ID:ONMU+Hso0
回転行列？
転置のことか？
転置は昔からTと相場が決まっとる
2021/05/18(火) 19:49:43.85ID:oyqcAYpS0
転置ではないよ。。
2021/05/18(火) 19:50:07.22ID:UWVHwMarr
回転行列は回転変換の話で転置とは無関係だろ
2021/05/18(火) 19:55:16.40ID:CtrctolZa
長くてもいいから読めば分かる名前にする。これが原理原則
メモ帳でプログラミングでもしない限り補完してくれるので変数名の長さは問題にはならない
2021/05/18(火) 20:07:18.39ID:Q90nYKbd0
ぬるぽ
530デフォルトの名無しさん (ｱｳｱｳｳｰ Sa15-swby [106.154.1.162])
垢版 |
2021/05/18(火) 20:46:05.40ID:puQpLL01a
コメントを書いても良いけどな
2021/05/19(水) 08:09:56.86ID:k7Ue1zjEM
配列の形はよくコメントに残すようにしている
532デフォルトの名無しさん (ﾜｯﾁｮｲ d073-gSvD [153.200.72.220])
垢版 |
2021/05/19(水) 10:50:43.72ID:V3eiLHp10
pycharm使っている人います？
有料の価値ありますか？

VSCodeを使ってますが、プラグインやカスタマイズが面倒なので、pycharmに乗り換えようかと
ワタシは初学者です
2021/05/19(水) 10:57:03.47ID:oIwzetOOM
ない
2021/05/19(水) 11:25:18.51ID:NOe9g/vN0
>>528
実際やってみればわかるが長すぎる変数名、関数名ばっかりだと視認性を恐ろしく悪くする。
適切なスコープに対する長さが重要。
2021/05/19(水) 13:02:44.62ID:4kQYZl+6M
>>532
ない
どうせ必ずPython以外の言語や設定も扱うことになるんだからVSCodeに慣れたほうがいい
2021/05/19(水) 21:31:22.29ID:tQFRmjgq0
vscode一択
業務でPython, JS, powershell, bash行き来してるけど全部vscodeだわ
2021/05/19(水) 21:31:55.19ID:tQFRmjgq0
RのサポートはRstudioのほうが気が利いてるかな
2021/05/19(水) 23:43:35.01ID:mou1RjBP0
どうみてもEmacs使った方がいい
2021/05/20(木) 10:22:19.40ID:99tkUSER0
vscode,vim,emasなんでもいいけど、ある程度汎用のエディタのがいいと思うわ。
2021/05/20(木) 15:31:26.90ID:kTI71Gb40
俺はvim
補完とかpythonで必要な場合がほとんどない
特に機械学習では型もテンソルなんだけど
shapeを型として認識しないからあってないようなもん
2021/05/20(木) 19:33:02.88ID:8YO0kqZM0
jupyter使っててすら、define-and-run方式の深層学習フレームワーク使ってたら、結局実行時にしか型のエラーってわからないしね。
printするしかないときよくあるね。
542デフォルトの名無しさん (ｽｯﾌﾟ Sd44-+AhK [1.72.9.58])
垢版 |
2021/05/20(木) 20:21:47.84ID:NM6JuDeVd
Keras使ってたけど、Pytorchも使うようにしたわ
最新の論文で実装されてるのがPytorchが多くなってきたんで
2021/05/20(木) 21:59:17.03ID:CHi0SRjg0
caffe2=pytorchだし
YOLOV5がこれ専用だし
544デフォルトの名無しさん (ﾜｯﾁｮｲ 0f01-7S+s [126.242.196.142])
垢版 |
2021/05/21(金) 01:19:06.45ID:QTMvWd2k0
プロはvi一択と、あわしろ氏が言ってた。
545デフォルトの名無しさん (ﾜｯﾁｮｲ e673-7S+s [153.200.72.220])
垢版 |
2021/05/21(金) 13:48:33.54ID:+DlIiJwi0
商品レコメンドをやりたいのですが、pythonでおすすめのライブラリありますか？

データはアクセスログ、クリックログなどの暗黙データです。
調べたところ、レコメンドに関してはライブラリが少ない感じだったので。
implicitパッケージくらい？
2021/05/21(金) 15:31:54.44ID:zKEaAw9a0
タダで商売のアドバイスをしろと
2021/05/21(金) 15:32:57.16ID:zKEaAw9a0
タダで商売のアドバイスをしろと
548デフォルトの名無しさん (ﾜｯﾁｮｲ e673-7S+s [153.200.72.220])
垢版 |
2021/05/21(金) 16:25:46.28ID:+DlIiJwi0
>>547
仕事といえば仕事なんだけど、自宅待機中の勉強ってことで機械学習やってる
会社のためというよりは、転職に備えてという感じなんだ
2021/05/21(金) 16:27:47.08ID:r3L1GEKvH
>>545
scipy
2021/05/21(金) 19:12:12.46ID:vJ65WEpWM
>>548
へえ
2021/05/21(金) 20:36:46.93ID:XRGlJQOp0
>>544
誰？
2021/05/21(金) 20:53:06.55ID:B6CXIi7z0
>>551
ぐぐった感じでは製材所の所長らしい
https://www.toeinavi.jp/spots/detail/180/
553デフォルトの名無しさん (ﾌﾞｰｲﾓ MM0b-FiBr [202.214.125.229])
垢版 |
2021/05/23(日) 13:52:05.04ID:Ki6GpCCwM
クソチョンw
554デフォルトの名無しさん (ﾜｯﾁｮｲ b308-Hn6W [120.143.50.171])
垢版 |
2021/05/26(水) 23:12:49.71ID:doCbFXDd0
>>546
んじゃ、お前はこのスレで一切情報を得なかったんだな
得てたら金払えよ
2021/05/28(金) 09:52:49.33ID:jQHjx/Sg0
逆に同業者が知ってないと迷惑って話もあるからそれは極論だわな。
2021/05/28(金) 10:33:05.14ID:TOGA1KHu0
逆切れｗ
2021/05/28(金) 18:02:12.37ID:I38f0A1ga
仕事で専門でやってるのに基本的な知識もなく自力で調べようとする能力もないならこっちとしては今後は関わらないようにするだけでしょ
わざわざ教育してやる必要もない
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況