【統計分析】機械学習・データマイニング33

■ このスレッドは過去ログ倉庫に格納されています
2023/03/17(金) 01:30:49.78ID:RQNAfc890
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
【統計分析】機械学習・データマイニング32
https://mevius.5ch.net/test/read.cgi/tech/1659286605/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2023/09/30(土) 16:35:59.24ID:5+eZGMxvd
エルビット・システムズ
2023/10/02(月) 07:14:15.84ID:WIo8d99m0
機械学習で自分で番号を選ぶ形式の宝くじを当てることは可能ですか？
2023/10/02(月) 10:22:22.86ID:WpXD7Mez0
ランダムで決まる答えを予測する方法があると本気で思っているのなら統計学を一から学び直すべき
343デフォルトの名無しさん (ﾜｯﾁｮｲ 999c-5C2y [250.93.230.9])
垢版 |
2023/10/03(火) 14:08:24.86ID:W4dvSM610
今から、人工知能について勉強する場合、ディープラーニングのみを勉強すれば十分ですか？
他の機械学習の手法についても勉強したほうがいいですか？
344デフォルトの名無しさん (ｱｳｱｳｳｰ Sa41-5C2y [106.180.4.155])
垢版 |
2023/10/03(火) 15:35:55.90ID:QaeBAOHSa
>>342
漏れも本気で思ってないけど
ブラックショールズってなんなんだろう
2023/10/03(火) 15:47:42.84ID:bY3t+8P30
>>343
他のとは？
2023/10/03(火) 15:58:09.09ID:GyzQZirnM
>>343
とても興味深い質問だね
詳しく説明してくれるかな？
347デフォルトの名無しさん (ﾜｯﾁｮｲ 999c-5C2y [250.93.230.9])
垢版 |
2023/10/03(火) 16:53:12.42ID:W4dvSM610
>>345-346

なんかサポートベクトルマシンとか、頑張ってちょっと賢い方法を考えだしたねっていう機械学習の手法があるじゃないですか。
あんな類の小物臭のする手法を、今でも、人工知能の初学者が勉強したほうがいいかという質問です。

ユニバーサルなディープラーニングだけでいいんじゃないかって思っちゃいます。


万能なディープラーニングだけでいいのではないかと思えるんですが。
2023/10/03(火) 17:03:38.35ID:g3768BZPM
そうですね😙
2023/10/03(火) 17:57:29.34ID:Qv75LCeg0
SVMは数理最適化の基礎が詰め込まれた良題材なので勉強すべきだしSVMすら学ばず人工知能やってますとか言われてもネタかなと思ってしまう
2023/10/04(水) 07:18:12.02ID:vb75+zVI0
ディープラーニングしか知らないで
AI出来ます！とか言うヤツいるよな

心の中では詐欺師と思って話してる
2023/10/04(水) 07:23:17.31ID:PftYailF0
小物臭のする手法…
2023/10/04(水) 07:24:13.97ID:PftYailF0
大物臭のする手法の使い手がここで一言ｗ
↓
2023/10/04(水) 08:23:49.46ID:5cb/kOPC0
サポートヴェクターマッスィーーーーーン！！！！！
2023/10/04(水) 10:13:49.37ID:h3Bg6Gx2M
ばぷにっく
2023/10/04(水) 10:40:49.94ID:mXZrpPQL0
>>347
AIのごく一部であるDLだけやりたいならそうすれば？
DLは万能でない、向き不向きある
2023/10/04(水) 13:33:55.05ID:5cb/kOPC0
ランダムフォレストやk-meansのクラスター分類やパーセプトロンも学ぶくらいはすべきかなw
2023/10/04(水) 17:19:40.82ID:AvfDlS6bM
ディープラーニングで偏相関は求められないんじゃないか？
ABテストみたいな実験をせずに結果から原因を推定する因果推論でディープラーニング使ってる香具師見たことないが。
DLや決定木みたいなノンパラメトリックモデルって特徴量の次元数に対してサンプル数が十分でない時、相関の強い特徴量に特化したモデルが出来上がり、相関が弱い特徴量は切り捨てるバイアスがかかることがあると思うんだよな
この事は人工データを使って実験すれば実際はどうなのかすぐ分かる
決定木で実験済みだが一応自分でもやってみてくれ
正規線形回帰モデルはそういうバイアスがかからない事が数学的に証明されている（宮川の統計的因果推論 4.1節を元に容易に証明できる）
そういった理由で因果推論では誰もDLを使わないのでは？
つまりDLが万能とか何の根拠があって言ってるのだろうと言うこと
2023/10/04(水) 19:47:49.92ID:SW8ubmWK0
そおゆう低レベルな判断タスクはしないから
2023/10/04(水) 20:01:29.68ID:xNBGe3B20
むしろ高い専門性が必要な高レベルな判断が求められるタスクなんだけど理解できてる？
360デフォルトの名無しさん (ﾜｯﾁｮｲ 559b-jYiE [254.206.42.254])
垢版 |
2023/10/04(水) 20:04:32.72ID:3slYl/5E0
全部ディープラーニングなバカは腐る程いて、一定数がデータサイエンス界に多大な迷惑をかけている
2023/10/04(水) 21:03:45.36ID:DZQ7OmnPM
機械学習うんぬん以前に書いている日本語が○○丸出しなんだが。
362デフォルトの名無しさん (ﾜｯﾁｮｲ 559b-jYiE [254.206.42.254])
垢版 |
2023/10/04(水) 21:11:35.50ID:3slYl/5E0
綺麗な日本語にこだわるのも馬鹿、低能あるある。マナー講師的なヤツ。
2023/10/04(水) 21:59:45.29ID:5IRJd05I0
○○ほどそう言うんだよなぁ
364デフォルトの名無しさん (ﾜｯﾁｮｲ 55fe-jYiE [254.206.42.254])
垢版 |
2023/10/04(水) 22:07:00.31ID:3slYl/5E0
しかし上のDL池沼や
>>363
みたいなタイプははロジスティック回帰もエントロピーも説明できない典型だろうｗ
2023/10/04(水) 22:09:18.21ID:4JLGbmHLM
「そおゆう」のことを言ってるのだと思う。
366デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MMba-amUd [153.251.66.97])
垢版 |
2023/10/05(木) 09:30:43.44ID:kFjTs3C8M
>>357
オジサン、知識古いよ
367デフォルトの名無しさん (ﾜﾝﾐﾝｸﾞｸ MMba-amUd [153.251.66.97])
垢版 |
2023/10/05(木) 09:30:57.32ID:kFjTs3C8M
>>357
オジサン、知識古いよ
368デフォルトの名無しさん (ﾜｯﾁｮｲ 5569-jYiE [254.206.42.254])
垢版 |
2023/10/05(木) 12:02:53.65ID:ULVS9Kiv0
スレがディープラーニングガイジに汚染
2023/10/05(木) 17:56:11.14ID:GaG//8Z10
likelihood functionが
よくわかんない。
2023/10/06(金) 04:46:20.73ID:008vFki80
尤度はKLダイバージェンスからの導出が分かりやすい
2023/10/06(金) 04:47:04.29ID:008vFki80
尤度はKLダイバージェンスからの導出が分かりやすい
2023/10/06(金) 15:36:24.65ID:kVEspnRm0
>>371
KLダイバージェンスと尤度と
クロスエントロピーとベイズ推定の関係を調べようとしたら、

数百ページで大変…
2023/10/06(金) 15:37:32.57ID:kVEspnRm0
>>372
あと、
英語版を見てると、
日本のWikipediaの解説はゴミだな…
2023/10/11(水) 02:56:06.81ID:ngTdeXMs0
すみませんレベルが低いと思うのですが独自で翻訳モデルを作りたい(精度は悪くて良い)のですが以下のアルゴリズムでは何が一番適していますか？

https://i.imgur.com/CVdOBZ1.png
2023/10/11(水) 04:05:52.39ID:L+u8m64k0
どう言葉をかけてあげればよいか見出せぬ…
2023/10/11(水) 07:39:58.97ID:ngTdeXMs0
>>375
上で上げたアルゴリズムだと厳しいですかね？
2023/10/11(水) 09:31:29.39ID:+/JwABnD0
GANの
loss functionのminmaxがよくわからない…
2023/10/11(水) 13:57:01.47ID:g/cpT0iV0
ミニマックス（min-max）戦略
https://note.com/anmo_suzuki/n/n60a31a93d114
2023/10/11(水) 14:08:38.79ID:g/cpT0iV0
損失関数
https://developers.google.com/machine-learning/gan/loss?hl=ja
2023/10/11(水) 20:33:21.22ID:g/cpT0iV0
レスがないということは欲しい答えではないということか
2023/10/16(月) 18:09:46.56ID:+R6gLKF10
ニューラルネットワークのリッジレッド解析て有効か？🤔
2023/10/16(月) 18:16:41.75ID:+R6gLKF10
調べたけど駄目だスジが悪すぎる
こんな調子じゃなんも成果出てこねえや
383デフォルトの名無しさん (ﾜｯﾁｮｲ cf6c-edRi [254.206.42.254])
垢版 |
2023/10/16(月) 18:31:59.96ID:wRuHThXc0
ニューラルネットは巨大すぎて、深く勉強しても使うことがない気がするので、
教養くらいにとどめてる。学習済みモデルを使うこと以外はほぼあり得んじゃろう。
2023/10/16(月) 18:41:22.51ID:GRnwNzlx0
精度が低くていいのであれば、何をつかってもいいんじゃないの?
さいころを転がして文を作ってもいい
2023/11/02(木) 14:59:28.50ID:DD7jjOr+M
nttもllmやんのかよ
イッチョカミwww
386デフォルトの名無しさん (ﾜｯﾁｮｲ 1b13-dQtH [250.93.230.9])
垢版 |
2023/11/03(金) 18:52:54.40ID:cbgvGuNU0
岡谷貴之著『深層学習第1版』

ソフトマックス関数は冗長だが、ユニットの一つを選びその入力を0にしてしまえば冗長性を回避できる。
選んだユニットに入る結合重みもきちんと出力に反映される。

というようなことが書かれているのですが、本当に、選んだユニットに入る結合重みもきちんと出力に反映されますか？
2023/11/03(金) 19:02:04.03ID:HpzMhRwM0
そもそも、ソフトマックスかんすうとかはしまょうたいりょうのかほうせい(f(x)+f(y)＝f(x*y))が大前提
2023/11/04(土) 09:21:40.60ID:d7Ss/xzS0
ハルシネーションて創造力の原動にならない？
人間が矯正して消しちゃうけど個性なんでわ？
389デフォルトの名無しさん (ﾜｯﾁｮｲ 3b56-/9BA [250.93.230.9])
垢版 |
2023/11/05(日) 10:24:18.73ID:iAGuwN4n0
確率的勾配降下法について質問です。

E(W) = E_1(W) + … + E_N(W)

の値をできるだけ小さくするような W を求めたい。

E_i(W) は i 番目のデータに対するニューラルネットワークの出力と i 番目の正解データとの誤差です。

確率的勾配降下法では、 (grad D)(W) を計算するのではなく、ランダムに i ∈ {1, …, N} を選んで、 (grad D_i)(W) を計算して
重み W を更新します。

こうすると、 W を更新する際に、 i 番目のデータに対する E_i(W) の値は小さくなると思いますが、全体として E(W) の値が小さくなることはどうやって分かるのでしょうか？

例えば、

(grad E_1)(W) を計算して、 W を更新する。 → E_1(W) の値が小さくなる。
(grad E_2)(W) を計算して、 W を更新する。 → E_2(W) の値は小さくなるが、直前にせっかく小さくした E_1(W) や他の E_i(W) の値は大きくなってしまう。

というようなことが起こらないのでしょうか？
390デフォルトの名無しさん (ﾜｯﾁｮｲ 3bb9-/9BA [250.93.230.9])
垢版 |
2023/11/05(日) 13:39:34.14ID:iAGuwN4n0
結局、もぐらたたきのように、いくら局所的な改善をしても全体としては一向に改善されないというような事態にはならないのでしょうか？
2023/11/05(日) 13:53:23.48ID:ol9bMVcca
大きくなったらキャンセルすれば良いんじゃないか
そもそもEってErrorのEか？EigenのEか？
2023/11/05(日) 16:29:42.61ID:M+aCXIKU0
データ量が大きくなって、ネットワーク構造を複雑にすると
なぜか全体として改善されることが経験的にわかっている
なぜかを研究する分野もある
2023/11/05(日) 17:11:37.33ID:nUzq/ZGt0
>>389
ミニバッチのロスの平均に対してgradient descentを行うので、
そのデータセットに対しては、ある程度は最適化できると思います。

局所解の可能性はともかくとして。
394デフォルトの名無しさん (ﾜｯﾁｮｲ 3bb9-/9BA [250.93.230.9])
垢版 |
2023/11/05(日) 17:18:34.99ID:iAGuwN4n0
>>391
>>392-393

ありがとうございました。
岡谷さんの本には、確率的勾配降下法により E(W) がどんどん小さくなっていくのは当たり前のことであるかのように何の説明もありませんでした。
2023/11/05(日) 20:15:53.11ID:NuL1PsARa
>>394
当たり前ではないよ
その証明はかなり難しい
2023/11/05(日) 20:45:36.83ID:wlYomXuO0
確率的勾配降下法
https://www.msi.co.jp/solution/nuopt/glossary/term_da265770bed70e5f0a764f3d20c0ce3d242e6467.html

難しいね、うん
2023/11/05(日) 23:32:13.01ID:6QUCKtJua
なんでみんな偏微分勉強しないの？
2023/11/06(月) 15:33:19.99ID:KM1ADC5yM
自由エネルギー原理、ちかまたオカルトみたいなことやってんのな😅
2023/11/06(月) 17:41:34.06ID:MSLupMxE0
機械学習における最適化理論と学習理論的側面
https://www.kurims.kyoto-u.ac.jp/coss/coss2020/suzuki-lecture1.pdf

確率的勾配降下法の収束の証明、ざっと眺めてみたら、まじめにやると禿げる
400デフォルトの名無しさん (ﾜｯﾁｮｲ abca-pScM [254.206.42.254])
垢版 |
2023/11/06(月) 18:13:52.90ID:jt8VLAcA0
確率勾配法も、transfomerやCNNもあんまり数理的に詳しくない人が思いついた気がするけど、数理的に深い方の統計機械学習はどのくらい価値があるのかイマイチわからない
2023/11/06(月) 23:02:03.53ID:syJ5nTa30
ヒューリスティックなことって結構あるよね
局所最適解に捕まってないという証明出来ないこと多いし
2023/11/07(火) 00:34:05.64ID:68QHudqSa
>>400
バックプロゲーションやNNの最適化を60年代にすでに完成させてた甘利先生が
ローカルミニマムに陥るのを防ぐことはできないと言って諦めた分野だからな

少なくとも数学的な理論では無理だと判断した
ローカルミニマムに陥らないようにする各種手法を小手先のテクニックと言って切り捨ててたし

確かにミニバッチ勾配降下法とかドロップアウトとかレイヤー正規化だとかの理論は
あくまでやってみたら有効だったというだけで証明は一切ない
2023/11/07(火) 07:26:59.94ID:QDtGzaCz0
現実の現象は決定論的でないしノイズまみれだから気にすることない
2023/11/07(火) 11:07:08.91ID:Se26FTX90
解空間が複雑で分からないと言ってるだけだろ、最適解の尺度（L2ノルム等）を決めた時に解を求める方法があるといってるんだよ。
万能な方法があるわけがない、甘利爺なんかを信じなるなよ
2023/11/07(火) 12:43:17.08ID:yYWpV8FYa
甘利先生の講義はめちゃくちゃわかりやすいんだよ
https://www.youtube.com/live/AVCjutAjtGs

論文はかなり難しいのだけど講義はすげー直感的にわかりやすい
2023/11/07(火) 12:51:38.81ID:LIk4YSRsa
>>404
甘利先生は万能な方法を探そうとして情報幾何やらの方向にいってしまって帰ってこなかった
そして深層学習が流行り出して戻ってきた
ジェダイの帰還
2023/11/07(火) 13:00:09.34ID:/4zMRPCKM
なにしに戻ってきたんだかwww
2023/11/07(火) 13:00:25.56ID:/4zMRPCKM
なにしに戻ってきたんだかwww
2023/11/07(火) 13:19:10.36ID:Se26FTX90
>>406
情報幾何は失敗だった草
2023/11/07(火) 13:35:21.83ID:LIk4YSRsa
>>409
結果的にはね
そこには「何もなかった」
しかし純粋な数学的理論としてNNを紐解こうとしたらそっちに行くしかないのはわかる
2023/11/07(火) 14:38:35.93ID:Se26FTX90
昔ある学会である人のは発表を聞いてそれは俺が前にやったと言っていた傲慢な爺
2023/11/07(火) 15:31:42.12ID:Nt2OyzQea
甘利先生の考えた「自然勾配」を最適化に使うと言う理論は今でこそ一般化した感じはあるが
これを70年代に生み出していたのはマジの天才としか言いようがないよ
2023/11/07(火) 15:33:49.11ID:/4zMRPCKM
理論的な綺麗さを求める人はそれはそれで必要だからやってくれればいいけど工学馬鹿にしたような感じがしてちょっと俺は

transformerの内部解析すらしようとしないし（笑）できないのかもしれんが
2023/11/07(火) 15:44:03.88ID:Nt2OyzQea
甘利先生が60年代と70年代に出した論文を超えるようなものを出した日本人はいないからね
この時期は福島先生という今のCNNとまんま同じNNを出した天才もいるし
時代が違っていれば日本人が世界していた可能性も高い
2023/11/07(火) 15:45:51.99ID:Nt2OyzQea
s/世界していた/世界を支配していた/
2023/11/07(火) 15:49:56.83ID:Se26FTX90
ハードウェアの発展（GPU、メモリ）があったからDLが発展した。それだけ。
2023/11/07(火) 15:52:40.77ID:Nt2OyzQea
>>416
でもその発展の時期にヒントンは現場にいた
甘利先生はいなかった
その差なんだよね
悲しいわ
2023/11/07(火) 15:59:17.64ID:Nt2OyzQea
本当のブレイクスルーはtransformersぐらいだしね
それ以外は全部元ネタはあったわけで
それをさも新しいもののように発表してるから
甘利先生は怒ってるのだろう
2023/11/07(火) 16:41:31.61ID:Se26FTX90
甘利爺さんも外野ｗ
2023/11/07(火) 16:48:34.03ID:/4zMRPCKM
自然勾配使われてねえじゃん
2023/11/07(火) 22:48:16.56ID:Se26FTX90
>>414
福島先生は日本放送協会の役に立たない基礎研究をやっていたと後輩がいってた
2023/11/07(火) 23:06:40.04ID:En25i7Ex0
>>414
↑
と言ってるバカ。

日本はソフトウェア技術が低いので当時も無理。
423デフォルトの名無しさん (ﾜｯﾁｮｲ 3be6-/9BA [250.93.230.9])
垢版 |
2023/11/10(金) 17:43:39.65ID:WbKAk9iL0
YouTubeの3Blue1BrownJapanのニューラルネットワークの動画を見ました。

「第2層が短い線を検出し、第3層がパターンを検出し、」という説明がありました。
ニューラルネットワークの重みやバイアスが何なのかはブラックボックスとして考えないのかと思っていましたがそうではないんですね。

ニューラルネットワークを学習させ、満足のいくものを完成させたとします。
このとき、例えば、第1層がどんな処理をしているのか人間が分かるような説明はどうやって見出すのでしょうか？
2023/11/10(金) 18:16:16.88ID:Fu2s73WNM
重みを可視化してこんなのかな～て当たりをつけて実際にサンプルを入れて反応を見る
425デフォルトの名無しさん (ﾜｯﾁｮｲ 3be6-/9BA [250.93.230.9])
垢版 |
2023/11/10(金) 18:31:10.70ID:WbKAk9iL0
>>424

ありがとうございました。

そういうことが分かると非常に満足度は高いと思いますが、よりよいニューラルネットワークを作るのに役立ちますか？
2023/11/10(金) 20:35:16.62ID:0kaXsg6n0
現状では説明できないんだよ
経済系の人とか説明が重要らしくて困っているらしいけど
ちなみに説明しようという研究分野があるけど難航している
複雑に分散されているのが説明困難な理由らしいけど
427デフォルトの名無しさん (ﾜｯﾁｮｲ aba6-OkTm [254.206.42.254])
垢版 |
2023/11/10(金) 20:50:38.03ID:8Gy2rkAk0
そもそも機械学習の手法の目的は予測する事で、介入効果については例えばRFでimportanceが高かろうが何も言えなく、実はテーブルデータに関しては役に立つ局面のは限定的だとおもう
2023/11/10(金) 21:25:01.31ID:3XhgP/+70
NNにwhyと聞いてもわからない
2023/11/11(土) 00:45:05.44ID:mw2Z4gxk0
>>423
それは、色々ある。

あと、その動画は、例えばのイメージとして、
第○層が何で、
とかっていう便宜上の説明だったかと。
430デフォルトの名無しさん (ｱｳｱｳｳｰ Sa59-Xzxn [106.180.5.115])
垢版 |
2023/11/11(土) 01:11:32.04ID:uDCEJA+aa
>>423
これ
https://www.youtube.com/watch?v=vU-JfZNBdYU
2023/11/16(木) 17:00:07.32ID:XiZUwLpp0
Microsoftが独自設計のAI特化型チップ「Maia 100」
https://gigazine.net/news/20231116-microsoft-maia-ai-accelerator-cobalt-arm-cpu/
2023/11/16(木) 17:58:58.50ID:XLf88XLv0
nnにllmつけて説明させた研究があったろ
あれでええやん😅
2023/11/16(木) 18:44:27.66ID:XiZUwLpp0
Microsoft、AI最適化チップ「Azure Maia 100」
https://www.itmedia.co.jp/news/articles/2311/16/news085.html
2023/11/18(土) 07:10:39.79ID:gzRhEgeE0
アルトマン退社？求心力落ちない？🤔
2023/11/18(土) 09:42:49.83ID:Fe/rTQgz0
ナチスの親衛隊に居そうな名前だな
2023/11/18(土) 10:03:41.84ID:rdSjQnXM0
>>434
カリスマ性無いし

アルトマン
2023/11/18(土) 10:21:57.21ID:PRDIldLB0
アルトマンと言えば結婚相談所
2023/11/18(土) 11:56:46.85ID:SNWdkqqU0
ブロックマンも？
2023/11/18(土) 15:33:38.13ID:rdSjQnXM0
>>438
ブロックマンは
まともな感じ
2023/11/18(土) 20:16:30.61ID:SNWdkqqU0
それがブロックマン他数名？もOpenAIを出ていったらしい
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況