【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/07/31(土) 10:13:29.77

>>800
tritonの下側でcudaが動いてんの？

流行んないんじゃない？

2021/07/31(土) 13:26:01.70

Pytorchでモデルを実装してCUDAは利用するけど、
CUDAの動作について特別なことはしたことない
既存のフレームワークを使ってない人用？

2021/07/31(土) 13:56:54.00

無料で使えるPythonドキュメントオープンプロジェクトが10月より公開
https://news.yahoo.co.jp/articles/24ec3d856956027b50dec14eef4c22213a1e7b01

これはいい試み
でもai関連の肝心の松尾豊周りは金の亡者か

2021/07/31(土) 16:44:31.30

NHKがからむとろくなことにならない

2021/07/31(土) 17:01:39.24

>>804
pythonの開発団体に寄付もしないのに金儲けばっか

2021/07/31(土) 17:37:09.17

>>799
勉強にGPUは必須じゃなかったので、そこから間違ってる
もっとも、マイニングしなくとも転売すれば8割方戻ってくるけど

2021/07/31(土) 21:04:02.33

aiの人材は足りないと思うよ
ただちょっと勉強をした人とが欲しいんじゃなくて
問題の構造を考えて、チューニングまできちっとできる人が欲しい
そんだけ能力がある人はそうそういない
資格で保障される能力よりもはるか先の能力が要求される

2021/07/31(土) 21:52:11.51

そんな能力を持っている人かどうかを誰がどうやって判断できるのか
どうやったらその能力を得られるのか
能力を持つ人がAI関係で仕事するより他の仕事の方に魅力を感じるかもしれないし

2021/08/01(日) 00:02:55.11

だいぶ敷居が下がったから論文のモデルを実装して実データに適用する程度ならAI専門家じゃなくてもできるしね。
自分の部署だと普段物理シミュレーションメインにやってるような人らが、実験データやシミュレーションデータに対して機械学習適用して解析したりしてるわ。

2021/08/01(日) 12:53:10.29

>>809
判断できる人が面接をしないとそのプロジェクトはうまくいかないことは明白

2021/08/01(日) 13:09:16.08

>>811
で、どうやったら適切に判断できるのかは判らないと
上手く行ったプロジェクトと失敗プロジェクトでどんな人がいたらどうなるのかをAIで分析したら良いんじゃね？
それもできない人がこんな人材が良いとか言っても説得力はない

2021/08/01(日) 21:43:51.48

先行事例でうまくいったパターンをなぞるのであれば
成功する確率も高いけど(それでもノウハウとか制約とかいろいろある)
未知の分野で試すのはそもそも挑戦的だからなあ

2021/08/01(日) 22:09:27.90

前例主義、失敗しない方法を追求する旧来の日本的思考だとうまくいかないだろうね

2021/08/02(月) 00:36:33.98

>>796
「〜人材が足りない」ていうのは日本では「（安く使える）〜人材が足りない」て意味だぞ

2021/08/02(月) 00:53:17.93

GAFA３社が採用内定の理系日本人へ「年収6000万円」のオファー、「AI人材の争奪戦」 | AVILEN AI Trend

新卒で年収3000万円も！激化する高度人材争奪戦 | 就活最前線 | ダイヤモンド・オンライン

富士通「年収3500万円」の衝撃　ソニー、NECも戦々恐々の「グローバル採用競争」　 - ITmedia ビジネスオンライン

2021/08/02(月) 01:59:57.33

「新卒でも年収1000万円可！」とか言われても、
既存社員の年収データ見せてもらわないと信用できないよね

2021/08/02(月) 07:10:17.43

新卒でも年収1000万円可＝できるやつには金をやる。できないやつはクビ。

2021/08/02(月) 07:13:09.28

できない奴がクビになるのは極めて健全な組織だと思う

2021/08/02(月) 08:04:32.49

できる人に多く払うのは健全
と同時にそれほどでもない人にもほどほど払い
できない人に会社のできる範囲で最低額払うのも健全だと思う
だから大企業こそできない人を多く雇うべきかと

2021/08/02(月) 12:19:31.45

大企業も近頃(っていうかバブル崩壊以降)経営が苦しいので
余計な人は切りたいのですよ

2021/08/02(月) 12:44:33.86

それほどでもない人は派遣で事足りるのでわざわざ直接雇用する必要性がない

2021/08/02(月) 18:59:16.39

ミニバッチのサイズはどう決めたらいいの？

2021/08/02(月) 19:07:16.40

メモリが耐えうるまで

2021/08/03(火) 01:06:18.62

>>822
そういえば今
大卒、院卒で都心1人暮らしで派遣やってる人っているの？
吸われまくりじゃないか
ホリエモンやらひろゆきやらが固定費高いところに住んでいる奴は馬鹿だとか
田舎に行った方が給料安くてもゆとりが出来る
どうせ家に帰ってもやるのはゲーム、映画、youtubeでしょ
とか言いまくってるけど

2021/08/03(火) 13:09:41.89

optimizerって色々あるけど
時間か許せるならsgdで十分？

2021/08/03(火) 14:00:05.16

>>826
はい

2021/08/03(火) 14:13:31.63

>>826
今ほぼ使われてないです

2021/08/03(火) 16:53:25.25

>>827
>>828
えっ、どっち？

2021/08/03(火) 17:09:33.69

>>829
別に矛盾はせんやろ

2021/08/03(火) 17:20:30.37

https://arxiv.org/pdf/2105.04339.pdf

sentence-roberta-largeの結果を出してなくて草
たぶん差がでなかったんだろうな

2021/08/04(水) 00:32:37.20

脳死adamが強すぎてsgdは勉強しているときにお世話になった程度だな
ちなみにadamの計算まったくわからん！

2021/08/04(水) 10:21:46.29

動画像の過去の数フレームを使って将来のフレームを予測するみたいな研究でうまくいってるやつってないのかね

2021/08/04(水) 11:32:00.70

adamでうまくいったとか過学習ぽくて実際に使うのは不安残るわ

2021/08/04(水) 12:16:33.20

>>833
うまく行ってるの基準が分からんが、研究はあるでしょ

>>834
adamは収束速くなるだけじゃないの？

2021/08/04(水) 13:37:42.82

>>835
そんな単純ではない。deepの汎化性能がどこから来るかはいまだに謎。
learning rateだけでも何がいいか結論出てないが変に速い収束が問題視されてるのは事実。

2021/08/05(木) 00:36:56.29

>>836
多様体の変な極小点にハマりやすいかもしれない、ってことかな？
ユークリッド空間に埋め込んだときに何百万次元にもなってしまう多様体の形を求めるってのは普通に簡単じゃない感じするもんなあ。

2021/08/05(木) 04:05:50.17

>>833
深層強化学習がまさにそれでしょ
ゲームの自動攻略とか

2021/08/05(木) 12:04:21.61

多様体上のアルゴリズムってあるの？

2021/08/05(木) 12:10:08.37

>>837
それってディープラーニングというより最適化問題？

2021/08/05(木) 12:40:57.09

>>837
それもあるし、
そもそもトレーニングデータにおける最適解が汎化性能が高いかどうかもわかってない。

2021/08/05(木) 13:18:44.73

>>840
ディープラーニングは最適化問題とかぶる部分かなりあるでしょ

2021/08/05(木) 13:20:43.08

>>839
質問が漠然としすぎていて、何をもってあるといえるのかわからないが、
スイスロールデータセットの次元圧縮がうまくできるように工夫しているアルゴリズムは多様体らしいアルゴリズムじゃないかね？

2021/08/05(木) 15:14:43.80

>>843
この質問は多様体上で解いてる前提でしょ、だから聞いてみた
>多様体の変な極小点にハマりやすいかもしれない、ってことかな？

2021/08/05(木) 15:16:19.67

>>843
曲面の上の話に過ぎないと思うが

2021/08/05(木) 15:32:28.42

>>839
次元圧縮は多様体仮説の上で成り立っている

2021/08/05(木) 16:38:46.82

>>846
なるほど

2021/08/05(木) 16:44:30.35

多様体学習という用語があるんだ

2021/08/05(木) 16:54:01.39

スイスロールすき

2021/08/06(金) 00:20:19.84

>>845
曲面は多様体じゃないって意味の発言？

2021/08/06(金) 00:23:09.93

>>844
多様体の形を推定することも、多様体の形を決めるパラメータ群を多様体としてとらえれば多様体上の最適化問題になると言う意味ね

2021/08/06(金) 00:55:06.00

多様体言いたいだけ

2021/08/06(金) 09:08:23.67

それでも精度に有意差がつかない機械学習コンペティションに躍起になる香具師よりまし

2021/08/06(金) 10:31:56.33

曲面しか扱っていないのに多様体といったら話盛ってるだろうｗ

2021/08/06(金) 13:22:10.03

君たち「多様体の基礎」ぐらい読んでから喋ってる？
俺は教科書指定されたけど挫折した

2021/08/06(金) 13:27:08.97

あーあのラノベ？
昔のラノベってレベル高いね

2021/08/06(金) 13:35:17.72

「多様体の基礎」でわからなきゃもう無理だろ。
でも実際はテンソルの変換の計算するだけだから多様体を考える必要はほとんどないけど。

2021/08/06(金) 14:25:37.37

二次元で理解して
それが高次元になっているのね
という理解で十分

2021/08/06(金) 16:58:50.71

>>858
その理解だと関係式になってない関数は多様体で取り扱えなくなってしまうのでは？
関係式の例として単位円の方程式、x^2+y^2=1はxが定まればyも即座に定まるからその理解でもいいけど、
関係式ではない正規分布の母数のように平均が定まっても標準偏差は即座に定まらないから、統計多様体で矛盾が生じてしまう
やっぱりちゃんと多様体を理解した方がいいと思うよ
ただし、自民党政権下ではどんなに数学頑張っても無駄だと思う
法人税の特別減税措置を大量に作って大手ばかり優遇し、富の再分配と真逆の行いをしてビジネスの世界から本質が消えてしまった
内部留保ばかり増えて労働者の平均賃金も長年上がってない
労働者は共に現政権にNOを突きつけ、IT業界に蔓延する「今だけ、金だけ、自分だけ」の考え方を変え、本質を取り戻そう！
数学の勉強はその後、皆んなで一緒にすればいい

2021/08/06(金) 17:04:16.10

どっかいい政党あったら教えてくれ

2021/08/06(金) 17:16:47.29

2次元多様体は3次元で見ると曲面になるから
n次元多様体はn+1次元でみたら曲面になるんじゃね？
その曲面上で損失が最小になる点を見つけるのが学習だと思うけどな

**デフォルトの名無しさん** · 2021/08/06(金) 17:48:36.83

非線形学習の基礎概念じゃん
何を長々やってんの

2021/08/06(金) 17:56:15.73

>>855
流石に読んでるぞ
てか読まなきゃ多様体が何だかわかんないじゃん

2021/08/06(金) 18:22:31.29

最近多様体のお勉強でもして、お話ししたくなったのかな？

2021/08/06(金) 18:57:54.44

多様体言いたいだけ

2021/08/06(金) 19:00:20.98

多様体

2021/08/07(土) 23:07:23.06

チビタレビ接続、アルファ接続なんて使用しません

2021/08/08(日) 01:36:39.38

実務未経験、kaggle初挑戦でソロゴールド取れたけど転職活動で評価されますかね
kaggleやる前は経験がないという理由でさんざん落とされまくった
masterまで取ってしまった方が評価高まるんかな
grandmasterまで取れたら引く手あまた？

2021/08/08(日) 09:58:13.80

実務はkaggleみたいに整備された環境ではないのでkaggle実績など実務経験としてカウントされません
実務でデータサイエンスやっている人が転職時にアピールポイントとして使うならまだ分かる

2021/08/08(日) 12:13:58.31

>>868
DeNAがkaggle経験重視してるから受けてみたら？

**デフォルトの名無しさん** · 2021/08/08(日) 13:13:50.96

Kaggleｗｗｗｗｗｗｗｗｗ
競プロer笑と同レベルって気付け

2021/08/08(日) 13:34:01.94

実務マウントもイタイよな

2021/08/08(日) 14:34:01.87

>>868
今の会社でデータ分析の部署に転属させてもらうか、プロジェクトに参加させてもらったら？
部長クラスに相談すれば悪いようにはならないかと。

2021/08/08(日) 15:35:49.38

>>868
数多ではないだろうがある程度評価はされると思うからそのままグラマスまでやれ

2021/08/08(日) 22:18:53.80

転職サイトでkaggleで検索すると何件かヒットするよ

2021/08/09(月) 11:23:28.16

ありがとう

データ分析の職種もいろいろあるね
研究開発もあればコンサルもあったり、データの活用方法の立案から任せたいところもあれば、データを集めるところからやらせたいところもある
この違いのせいで人によって言うことが全然違うというのは面接でも経験した

kaggleのような精度出しを重視するのは研究開発なのかな

grandmasterまでは少し時間かかりそうだから考えてしまう
ソロ金取れたからあとはチーム組みまくればさくっと取れるのかもしれないけど

2021/08/09(月) 11:36:38.45

>>873
今の会社のデータ分析やってる部署は機械学習の仕事は2割しかないらしい
古典的な統計手法がほとんどなんだとか
試しに社内公募で面接受けてみたら機械学習についてまったく質問されなかったから辞退した
業界はAIを活用し始めてるし会社もビッグデータを持ってるんだけど、そこの部長が機械学習に疎いようだから社外に出た方がよいと判断した

2021/08/09(月) 12:05:10.95

kaggleなんて初めて知った

2021/08/09(月) 12:34:48.65

>>877
まずはその部署で実務経験を積めばよかったのに。
機械学習プロジェクトでも古典的な統計手法は使うよ。

2021/08/09(月) 12:49:06.77

俺もそう思う
データサイエンスなんて実際は本当に泥くさい仕事だよ

2021/08/09(月) 12:50:30.94

>>879
いやまあそれだけじゃなくてあの部長とは反りが合わないと思った。

面接でケーススタディやらされたんだけど、こっちの解答が不正解で扱われたから模範解答を聞いてみて、
その模範解答間違ってるよと間違ってる理由を言ったら、間違ってないの一点張りで、根拠を聞いても今後の採用でも同じ問題使うから答えられないと。
いや出題ミス隠蔽のうえに間違った問題を使い続けるって…
人事に話したが俺の言い分は正しいように思うが人事は試験問題には立ち入れないんだと。何のための人事なんだか。

とりあえずこの人の下では働きたくないと思った。

今の仕事も統計関連ではあるから古典的な分析手法を異動してまで経験する必要はないかな。

2021/08/09(月) 12:51:41.18

>>880
どの仕事もそうだね。今の仕事もそうだから想像はつく。

2021/08/09(月) 13:48:53.19

>>868
kaggleのことよく知らないんだけどソロゴールドってどういう状態なの？

2021/08/09(月) 13:54:33.72

機械学習だけでなく古典的統計もちゃんとわかってる方が価値あると思うなぁ

2021/08/09(月) 14:43:49.71

皆さんが言う古典的統計って、計量経済のこと？

2021/08/09(月) 15:05:05.53

全く違う
そもそも古典的統計なんて言葉ほとんどつかわない

2021/08/09(月) 15:15:37.04

ナイチンゲール？

2021/08/09(月) 15:18:02.99

この発想はないわ、経済屋さんか？
>古典的統計って、計量経済のこと？

2021/08/09(月) 15:28:53.04

むしろ経済とは無縁の人の発想だろ

2021/08/09(月) 15:32:54.86

計量経済という言葉自体経済をかじってないとしらないだろ

2021/08/09(月) 16:07:47.57

古典的統計って単語でt値とかp値とか連想して質問してみました

2021/08/09(月) 16:29:06.17

p値や帰無仮説の類いは、統計分析で使われているが、本来は検定では？
古典的統計って、古典的統計分析の省略形？

2021/08/09(月) 16:48:39.03

そうなんです、私は仮説検定で育ってきて最近機械学習を勉強し始めたところで、二つの世界観の違いに少なからず戸惑っておりまして、漠然とした質問を投げて、何かヒントを頂けたらと思った次第です

2021/08/09(月) 17:14:20.50

機械学習でinsightを得て、統計的検定で確認するもんじゃろ
どこの現場もそうやっとるじゃろ?

2021/08/09(月) 19:50:41.35

その感覚がわからなくて。tks

2021/08/09(月) 19:55:34.56

tksとは珍しい略語を使うのう

2021/08/09(月) 21:20:56.44

古典的というのは別に用語ってわけでなくて比較的最近流行の的になっている機械学習以外の昔ながらのデータ分析手法という意味で言ったつもり。
セグメンテーションとか主成分分析とかいろいろあると思うけどデータ分析業界でどういう言葉が使われてるのか分からないので深く突っ込まず察してほしい。

ところでスレ違い申し訳ないけどひとつお聞きしたい。
皆さんとこのデータサイエンティストの女性率は何割くらいだろう？
うちの会社のその部署は部長(男)の下に4人の女性と3人の男性が所属していて、それぞれデータサイエンティストまたはデータエンジニアの肩書きが付いている。
しかしこの仕事を志望する人の大半は男性だと思う。ネットで調べても9割は男性だと出る。
意図的に女性を優遇して採用しない限り部署の過半数が女性になることは考えにくいと思うのだけど、この感覚は皆さんも一緒だろうか？

その部長はデータ分析部署立ち上げ当初から採用に関わっているらしい。
なんだかものすごく気持ち悪く感じた。合理的理由なく女性優遇してるとしたら法律違反でもある。

2021/08/09(月) 21:34:44.42

ベイズ推定勉強すれば

2021/08/09(月) 21:58:25.58

女性の割合をクォータ制とかで割合を決めたりするところもあるから違法とは言えないんじゃね？
海外では国会議員の割合とか会社役員の割合とかクォータ制導入してるとこもあるだろうし

人事のことは会社の人事権限を持つ人が決めることで
成果の責任を取るのも責任者になるはず
何故かそうならないこともあるけどな

自分のやりたいことをしたいのなら出世するか独立したら良い

2021/08/09(月) 22:04:18.62

成果は俺の物、失敗は部下の物ｗ

2021/08/09(月) 22:27:09.99

>>877
某メーカーの中で少し働いたことがあるがコテコテの統計学だったよ
それこそt検定とかF検定
しかも秘伝のタレと化した自前Fortranのライブラリを使わなきゃダメだった