【統計分析】機械学習・データマイニング30

2021/01/01(金) 09:10:55.46

!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-

VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured

2021/07/30(金) 17:22:40.69

>>788
お前に心はない

**デフォルトの名無しさん** · 2021/07/30(金) 17:25:07.20

>>788
こいつC++スレとか鍵盤楽器板荒らしてる固定ハンドルだよ
あえてコテ外して書き込んだりしてる悪質な荒らし
しかもここに来てRoninで書き込んでるの確定か

スルー推奨

2021/07/30(金) 17:29:32.45

うちのAIによると
心というのは
観測できた事象から導出した関数では計算できない特異点であるとのことです

2021/07/30(金) 17:57:10.45

心の存在は証明できないからね

2021/07/30(金) 17:57:28.12

>>792
なぜローニンにで書き込んだら駄目なんですか？
あと荒らしではなく話題提供といってほしいですね‥‥

>>791
最近そんな気がしてきました‥‥

2021/07/30(金) 23:33:54.49

ai人材が足らないってウソだと思う

逼迫してるなら無料でテキスト公開したり講義をyoutubeで流したりすりゃ独学できるし資格が欲しい人だけ試験を有料で受ければいい

この資格を持った人材が欲しいわけでもないんだろうな
人材が多く欲しいんなら独学しやすい環境を整えればいいのにそうしてないし

結局資格ビジネスか

2021/07/30(金) 23:36:01.49

新キャラ登場しててワロタ

2021/07/31(土) 01:14:14.07

>>796
「〇〇講座で勉強して月〇〇万円稼ぐことが出来ました」って言う
CMも結局そのCMのview数で稼いでるんだろ？確か
そうやって稼ぐことを勧められるとかで

2021/07/31(土) 01:38:02.68

AIブームが来た時
機械学習の勉強するのにそれなりの値段のGPUを買っただろ？
そこで機械学習の勉強をしたのがそもそもの間違いで
すぐ諦めてマイニングをしないといけなかったんだな
そこが吸われる人と吸われない人の差で
真面目な人は結局吸われる道に行ってしまうんだな

2021/07/31(土) 02:57:25.03

流行ると思う？https://gigazine.net/amp/20210730-triton

2021/07/31(土) 08:45:00.18

>>800
ドキュメントが増えて、コミュニティが成熟したら（というかこれで実装されたNNフレームワークで書かれたモデルが増えてきたら）流行るだろうね。それを使わざるを得なくなるし
今のPythonでは限界はきてるし、CUDAで書くのも難しいから、なにかブレークスルーは欲しかった

2021/07/31(土) 10:13:29.77

>>800
tritonの下側でcudaが動いてんの？

流行んないんじゃない？

2021/07/31(土) 13:26:01.70

Pytorchでモデルを実装してCUDAは利用するけど、
CUDAの動作について特別なことはしたことない
既存のフレームワークを使ってない人用？

2021/07/31(土) 13:56:54.00

無料で使えるPythonドキュメントオープンプロジェクトが10月より公開
https://news.yahoo.co.jp/articles/24ec3d856956027b50dec14eef4c22213a1e7b01

これはいい試み
でもai関連の肝心の松尾豊周りは金の亡者か

2021/07/31(土) 16:44:31.30

NHKがからむとろくなことにならない

2021/07/31(土) 17:01:39.24

>>804
pythonの開発団体に寄付もしないのに金儲けばっか

2021/07/31(土) 17:37:09.17

>>799
勉強にGPUは必須じゃなかったので、そこから間違ってる
もっとも、マイニングしなくとも転売すれば8割方戻ってくるけど

2021/07/31(土) 21:04:02.33

aiの人材は足りないと思うよ
ただちょっと勉強をした人とが欲しいんじゃなくて
問題の構造を考えて、チューニングまできちっとできる人が欲しい
そんだけ能力がある人はそうそういない
資格で保障される能力よりもはるか先の能力が要求される

2021/07/31(土) 21:52:11.51

そんな能力を持っている人かどうかを誰がどうやって判断できるのか
どうやったらその能力を得られるのか
能力を持つ人がAI関係で仕事するより他の仕事の方に魅力を感じるかもしれないし

2021/08/01(日) 00:02:55.11

だいぶ敷居が下がったから論文のモデルを実装して実データに適用する程度ならAI専門家じゃなくてもできるしね。
自分の部署だと普段物理シミュレーションメインにやってるような人らが、実験データやシミュレーションデータに対して機械学習適用して解析したりしてるわ。

2021/08/01(日) 12:53:10.29

>>809
判断できる人が面接をしないとそのプロジェクトはうまくいかないことは明白

2021/08/01(日) 13:09:16.08

>>811
で、どうやったら適切に判断できるのかは判らないと
上手く行ったプロジェクトと失敗プロジェクトでどんな人がいたらどうなるのかをAIで分析したら良いんじゃね？
それもできない人がこんな人材が良いとか言っても説得力はない

2021/08/01(日) 21:43:51.48

先行事例でうまくいったパターンをなぞるのであれば
成功する確率も高いけど(それでもノウハウとか制約とかいろいろある)
未知の分野で試すのはそもそも挑戦的だからなあ

2021/08/01(日) 22:09:27.90

前例主義、失敗しない方法を追求する旧来の日本的思考だとうまくいかないだろうね

2021/08/02(月) 00:36:33.98

>>796
「〜人材が足りない」ていうのは日本では「（安く使える）〜人材が足りない」て意味だぞ

2021/08/02(月) 00:53:17.93

GAFA３社が採用内定の理系日本人へ「年収6000万円」のオファー、「AI人材の争奪戦」 | AVILEN AI Trend

新卒で年収3000万円も！激化する高度人材争奪戦 | 就活最前線 | ダイヤモンド・オンライン

富士通「年収3500万円」の衝撃　ソニー、NECも戦々恐々の「グローバル採用競争」　 - ITmedia ビジネスオンライン

2021/08/02(月) 01:59:57.33

「新卒でも年収1000万円可！」とか言われても、
既存社員の年収データ見せてもらわないと信用できないよね

2021/08/02(月) 07:10:17.43

新卒でも年収1000万円可＝できるやつには金をやる。できないやつはクビ。

2021/08/02(月) 07:13:09.28

できない奴がクビになるのは極めて健全な組織だと思う

2021/08/02(月) 08:04:32.49

できる人に多く払うのは健全
と同時にそれほどでもない人にもほどほど払い
できない人に会社のできる範囲で最低額払うのも健全だと思う
だから大企業こそできない人を多く雇うべきかと

2021/08/02(月) 12:19:31.45

大企業も近頃(っていうかバブル崩壊以降)経営が苦しいので
余計な人は切りたいのですよ

2021/08/02(月) 12:44:33.86

それほどでもない人は派遣で事足りるのでわざわざ直接雇用する必要性がない

2021/08/02(月) 18:59:16.39

ミニバッチのサイズはどう決めたらいいの？

2021/08/02(月) 19:07:16.40

メモリが耐えうるまで

2021/08/03(火) 01:06:18.62

>>822
そういえば今
大卒、院卒で都心1人暮らしで派遣やってる人っているの？
吸われまくりじゃないか
ホリエモンやらひろゆきやらが固定費高いところに住んでいる奴は馬鹿だとか
田舎に行った方が給料安くてもゆとりが出来る
どうせ家に帰ってもやるのはゲーム、映画、youtubeでしょ
とか言いまくってるけど

2021/08/03(火) 13:09:41.89

optimizerって色々あるけど
時間か許せるならsgdで十分？

2021/08/03(火) 14:00:05.16

>>826
はい

2021/08/03(火) 14:13:31.63

>>826
今ほぼ使われてないです

2021/08/03(火) 16:53:25.25

>>827
>>828
えっ、どっち？

2021/08/03(火) 17:09:33.69

>>829
別に矛盾はせんやろ

2021/08/03(火) 17:20:30.37

https://arxiv.org/pdf/2105.04339.pdf

sentence-roberta-largeの結果を出してなくて草
たぶん差がでなかったんだろうな

2021/08/04(水) 00:32:37.20

脳死adamが強すぎてsgdは勉強しているときにお世話になった程度だな
ちなみにadamの計算まったくわからん！

2021/08/04(水) 10:21:46.29

動画像の過去の数フレームを使って将来のフレームを予測するみたいな研究でうまくいってるやつってないのかね

2021/08/04(水) 11:32:00.70

adamでうまくいったとか過学習ぽくて実際に使うのは不安残るわ

2021/08/04(水) 12:16:33.20

>>833
うまく行ってるの基準が分からんが、研究はあるでしょ

>>834
adamは収束速くなるだけじゃないの？

2021/08/04(水) 13:37:42.82

>>835
そんな単純ではない。deepの汎化性能がどこから来るかはいまだに謎。
learning rateだけでも何がいいか結論出てないが変に速い収束が問題視されてるのは事実。

2021/08/05(木) 00:36:56.29

>>836
多様体の変な極小点にハマりやすいかもしれない、ってことかな？
ユークリッド空間に埋め込んだときに何百万次元にもなってしまう多様体の形を求めるってのは普通に簡単じゃない感じするもんなあ。

2021/08/05(木) 04:05:50.17

>>833
深層強化学習がまさにそれでしょ
ゲームの自動攻略とか

2021/08/05(木) 12:04:21.61

多様体上のアルゴリズムってあるの？

2021/08/05(木) 12:10:08.37

>>837
それってディープラーニングというより最適化問題？

2021/08/05(木) 12:40:57.09

>>837
それもあるし、
そもそもトレーニングデータにおける最適解が汎化性能が高いかどうかもわかってない。

2021/08/05(木) 13:18:44.73

>>840
ディープラーニングは最適化問題とかぶる部分かなりあるでしょ

2021/08/05(木) 13:20:43.08

>>839
質問が漠然としすぎていて、何をもってあるといえるのかわからないが、
スイスロールデータセットの次元圧縮がうまくできるように工夫しているアルゴリズムは多様体らしいアルゴリズムじゃないかね？

2021/08/05(木) 15:14:43.80

>>843
この質問は多様体上で解いてる前提でしょ、だから聞いてみた
>多様体の変な極小点にハマりやすいかもしれない、ってことかな？

2021/08/05(木) 15:16:19.67

>>843
曲面の上の話に過ぎないと思うが

2021/08/05(木) 15:32:28.42

>>839
次元圧縮は多様体仮説の上で成り立っている

2021/08/05(木) 16:38:46.82

>>846
なるほど

2021/08/05(木) 16:44:30.35

多様体学習という用語があるんだ

2021/08/05(木) 16:54:01.39

スイスロールすき

2021/08/06(金) 00:20:19.84

>>845
曲面は多様体じゃないって意味の発言？

2021/08/06(金) 00:23:09.93

>>844
多様体の形を推定することも、多様体の形を決めるパラメータ群を多様体としてとらえれば多様体上の最適化問題になると言う意味ね

2021/08/06(金) 00:55:06.00

多様体言いたいだけ

2021/08/06(金) 09:08:23.67

それでも精度に有意差がつかない機械学習コンペティションに躍起になる香具師よりまし

2021/08/06(金) 10:31:56.33

曲面しか扱っていないのに多様体といったら話盛ってるだろうｗ

2021/08/06(金) 13:22:10.03

君たち「多様体の基礎」ぐらい読んでから喋ってる？
俺は教科書指定されたけど挫折した

2021/08/06(金) 13:27:08.97

あーあのラノベ？
昔のラノベってレベル高いね

2021/08/06(金) 13:35:17.72

「多様体の基礎」でわからなきゃもう無理だろ。
でも実際はテンソルの変換の計算するだけだから多様体を考える必要はほとんどないけど。

2021/08/06(金) 14:25:37.37

二次元で理解して
それが高次元になっているのね
という理解で十分

2021/08/06(金) 16:58:50.71

>>858
その理解だと関係式になってない関数は多様体で取り扱えなくなってしまうのでは？
関係式の例として単位円の方程式、x^2+y^2=1はxが定まればyも即座に定まるからその理解でもいいけど、
関係式ではない正規分布の母数のように平均が定まっても標準偏差は即座に定まらないから、統計多様体で矛盾が生じてしまう
やっぱりちゃんと多様体を理解した方がいいと思うよ
ただし、自民党政権下ではどんなに数学頑張っても無駄だと思う
法人税の特別減税措置を大量に作って大手ばかり優遇し、富の再分配と真逆の行いをしてビジネスの世界から本質が消えてしまった
内部留保ばかり増えて労働者の平均賃金も長年上がってない
労働者は共に現政権にNOを突きつけ、IT業界に蔓延する「今だけ、金だけ、自分だけ」の考え方を変え、本質を取り戻そう！
数学の勉強はその後、皆んなで一緒にすればいい

2021/08/06(金) 17:04:16.10

どっかいい政党あったら教えてくれ

2021/08/06(金) 17:16:47.29

2次元多様体は3次元で見ると曲面になるから
n次元多様体はn+1次元でみたら曲面になるんじゃね？
その曲面上で損失が最小になる点を見つけるのが学習だと思うけどな

**デフォルトの名無しさん** · 2021/08/06(金) 17:48:36.83

非線形学習の基礎概念じゃん
何を長々やってんの

2021/08/06(金) 17:56:15.73

>>855
流石に読んでるぞ
てか読まなきゃ多様体が何だかわかんないじゃん

2021/08/06(金) 18:22:31.29

最近多様体のお勉強でもして、お話ししたくなったのかな？

2021/08/06(金) 18:57:54.44

多様体言いたいだけ

2021/08/06(金) 19:00:20.98

多様体

2021/08/07(土) 23:07:23.06

チビタレビ接続、アルファ接続なんて使用しません

2021/08/08(日) 01:36:39.38

実務未経験、kaggle初挑戦でソロゴールド取れたけど転職活動で評価されますかね
kaggleやる前は経験がないという理由でさんざん落とされまくった
masterまで取ってしまった方が評価高まるんかな
grandmasterまで取れたら引く手あまた？

2021/08/08(日) 09:58:13.80

実務はkaggleみたいに整備された環境ではないのでkaggle実績など実務経験としてカウントされません
実務でデータサイエンスやっている人が転職時にアピールポイントとして使うならまだ分かる

2021/08/08(日) 12:13:58.31

>>868
DeNAがkaggle経験重視してるから受けてみたら？

**デフォルトの名無しさん** · 2021/08/08(日) 13:13:50.96

Kaggleｗｗｗｗｗｗｗｗｗ
競プロer笑と同レベルって気付け

2021/08/08(日) 13:34:01.94

実務マウントもイタイよな

2021/08/08(日) 14:34:01.87

>>868
今の会社でデータ分析の部署に転属させてもらうか、プロジェクトに参加させてもらったら？
部長クラスに相談すれば悪いようにはならないかと。

2021/08/08(日) 15:35:49.38

>>868
数多ではないだろうがある程度評価はされると思うからそのままグラマスまでやれ

2021/08/08(日) 22:18:53.80

転職サイトでkaggleで検索すると何件かヒットするよ

2021/08/09(月) 11:23:28.16

ありがとう

データ分析の職種もいろいろあるね
研究開発もあればコンサルもあったり、データの活用方法の立案から任せたいところもあれば、データを集めるところからやらせたいところもある
この違いのせいで人によって言うことが全然違うというのは面接でも経験した

kaggleのような精度出しを重視するのは研究開発なのかな

grandmasterまでは少し時間かかりそうだから考えてしまう
ソロ金取れたからあとはチーム組みまくればさくっと取れるのかもしれないけど

2021/08/09(月) 11:36:38.45

>>873
今の会社のデータ分析やってる部署は機械学習の仕事は2割しかないらしい
古典的な統計手法がほとんどなんだとか
試しに社内公募で面接受けてみたら機械学習についてまったく質問されなかったから辞退した
業界はAIを活用し始めてるし会社もビッグデータを持ってるんだけど、そこの部長が機械学習に疎いようだから社外に出た方がよいと判断した

2021/08/09(月) 12:05:10.95

kaggleなんて初めて知った

2021/08/09(月) 12:34:48.65

>>877
まずはその部署で実務経験を積めばよかったのに。
機械学習プロジェクトでも古典的な統計手法は使うよ。

2021/08/09(月) 12:49:06.77

俺もそう思う
データサイエンスなんて実際は本当に泥くさい仕事だよ

2021/08/09(月) 12:50:30.94

>>879
いやまあそれだけじゃなくてあの部長とは反りが合わないと思った。

面接でケーススタディやらされたんだけど、こっちの解答が不正解で扱われたから模範解答を聞いてみて、
その模範解答間違ってるよと間違ってる理由を言ったら、間違ってないの一点張りで、根拠を聞いても今後の採用でも同じ問題使うから答えられないと。
いや出題ミス隠蔽のうえに間違った問題を使い続けるって…
人事に話したが俺の言い分は正しいように思うが人事は試験問題には立ち入れないんだと。何のための人事なんだか。

とりあえずこの人の下では働きたくないと思った。

今の仕事も統計関連ではあるから古典的な分析手法を異動してまで経験する必要はないかな。

2021/08/09(月) 12:51:41.18

>>880
どの仕事もそうだね。今の仕事もそうだから想像はつく。

2021/08/09(月) 13:48:53.19

>>868
kaggleのことよく知らないんだけどソロゴールドってどういう状態なの？

2021/08/09(月) 13:54:33.72

機械学習だけでなく古典的統計もちゃんとわかってる方が価値あると思うなぁ

2021/08/09(月) 14:43:49.71

皆さんが言う古典的統計って、計量経済のこと？

2021/08/09(月) 15:05:05.53

全く違う
そもそも古典的統計なんて言葉ほとんどつかわない

2021/08/09(月) 15:15:37.04

ナイチンゲール？

2021/08/09(月) 15:18:02.99

この発想はないわ、経済屋さんか？
>古典的統計って、計量経済のこと？

2021/08/09(月) 15:28:53.04

むしろ経済とは無縁の人の発想だろ

2021/08/09(月) 15:32:54.86

計量経済という言葉自体経済をかじってないとしらないだろ