【統計分析】機械学習・データマイニング33

■ このスレッドは過去ログ倉庫に格納されています
2023/03/17(金) 01:30:49.78ID:RQNAfc890
!extend:on:vvvvvv:1000:512
!extend:on:vvvvvv:1000:512
↑すれたてる毎に１つずつ減るので、減ってたら３回に増やしてたてること。

機械学習とデータマイニングについて語れ若人

＊機械学習に意識・知能は存在しません。
　人の意識に触れたい方はスレ違いです。

■前スレ
【統計分析】機械学習・データマイニング29
https://mevius.5ch.net/test/read.cgi/tech/1597882603/
-EOF-
【統計分析】機械学習・データマイニング30
https://mevius.5ch.net/test/read.cgi/tech/1609459855/
【統計分析】機械学習・データマイニング31
https://mevius.5ch.net/test/read.cgi/tech/1632587566/
【統計分析】機械学習・データマイニング32
https://mevius.5ch.net/test/read.cgi/tech/1659286605/
VIPQ2_EXTDAT: default:vvvvvv:1000:512:: EXT was configured
2023/11/07(火) 00:34:05.64ID:68QHudqSa
>>400
バックプロゲーションやNNの最適化を60年代にすでに完成させてた甘利先生が
ローカルミニマムに陥るのを防ぐことはできないと言って諦めた分野だからな

少なくとも数学的な理論では無理だと判断した
ローカルミニマムに陥らないようにする各種手法を小手先のテクニックと言って切り捨ててたし

確かにミニバッチ勾配降下法とかドロップアウトとかレイヤー正規化だとかの理論は
あくまでやってみたら有効だったというだけで証明は一切ない
2023/11/07(火) 07:26:59.94ID:QDtGzaCz0
現実の現象は決定論的でないしノイズまみれだから気にすることない
2023/11/07(火) 11:07:08.91ID:Se26FTX90
解空間が複雑で分からないと言ってるだけだろ、最適解の尺度（L2ノルム等）を決めた時に解を求める方法があるといってるんだよ。
万能な方法があるわけがない、甘利爺なんかを信じなるなよ
2023/11/07(火) 12:43:17.08ID:yYWpV8FYa
甘利先生の講義はめちゃくちゃわかりやすいんだよ
https://www.youtube.com/live/AVCjutAjtGs

論文はかなり難しいのだけど講義はすげー直感的にわかりやすい
2023/11/07(火) 12:51:38.81ID:LIk4YSRsa
>>404
甘利先生は万能な方法を探そうとして情報幾何やらの方向にいってしまって帰ってこなかった
そして深層学習が流行り出して戻ってきた
ジェダイの帰還
2023/11/07(火) 13:00:09.34ID:/4zMRPCKM
なにしに戻ってきたんだかwww
2023/11/07(火) 13:00:25.56ID:/4zMRPCKM
なにしに戻ってきたんだかwww
2023/11/07(火) 13:19:10.36ID:Se26FTX90
>>406
情報幾何は失敗だった草
2023/11/07(火) 13:35:21.83ID:LIk4YSRsa
>>409
結果的にはね
そこには「何もなかった」
しかし純粋な数学的理論としてNNを紐解こうとしたらそっちに行くしかないのはわかる
2023/11/07(火) 14:38:35.93ID:Se26FTX90
昔ある学会である人のは発表を聞いてそれは俺が前にやったと言っていた傲慢な爺
2023/11/07(火) 15:31:42.12ID:Nt2OyzQea
甘利先生の考えた「自然勾配」を最適化に使うと言う理論は今でこそ一般化した感じはあるが
これを70年代に生み出していたのはマジの天才としか言いようがないよ
2023/11/07(火) 15:33:49.11ID:/4zMRPCKM
理論的な綺麗さを求める人はそれはそれで必要だからやってくれればいいけど工学馬鹿にしたような感じがしてちょっと俺は

transformerの内部解析すらしようとしないし（笑）できないのかもしれんが
2023/11/07(火) 15:44:03.88ID:Nt2OyzQea
甘利先生が60年代と70年代に出した論文を超えるようなものを出した日本人はいないからね
この時期は福島先生という今のCNNとまんま同じNNを出した天才もいるし
時代が違っていれば日本人が世界していた可能性も高い
2023/11/07(火) 15:45:51.99ID:Nt2OyzQea
s/世界していた/世界を支配していた/
2023/11/07(火) 15:49:56.83ID:Se26FTX90
ハードウェアの発展（GPU、メモリ）があったからDLが発展した。それだけ。
2023/11/07(火) 15:52:40.77ID:Nt2OyzQea
>>416
でもその発展の時期にヒントンは現場にいた
甘利先生はいなかった
その差なんだよね
悲しいわ
2023/11/07(火) 15:59:17.64ID:Nt2OyzQea
本当のブレイクスルーはtransformersぐらいだしね
それ以外は全部元ネタはあったわけで
それをさも新しいもののように発表してるから
甘利先生は怒ってるのだろう
2023/11/07(火) 16:41:31.61ID:Se26FTX90
甘利爺さんも外野ｗ
2023/11/07(火) 16:48:34.03ID:/4zMRPCKM
自然勾配使われてねえじゃん
2023/11/07(火) 22:48:16.56ID:Se26FTX90
>>414
福島先生は日本放送協会の役に立たない基礎研究をやっていたと後輩がいってた
2023/11/07(火) 23:06:40.04ID:En25i7Ex0
>>414
↑
と言ってるバカ。

日本はソフトウェア技術が低いので当時も無理。
423デフォルトの名無しさん (ﾜｯﾁｮｲ 3be6-/9BA [250.93.230.9])
垢版 |
2023/11/10(金) 17:43:39.65ID:WbKAk9iL0
YouTubeの3Blue1BrownJapanのニューラルネットワークの動画を見ました。

「第2層が短い線を検出し、第3層がパターンを検出し、」という説明がありました。
ニューラルネットワークの重みやバイアスが何なのかはブラックボックスとして考えないのかと思っていましたがそうではないんですね。

ニューラルネットワークを学習させ、満足のいくものを完成させたとします。
このとき、例えば、第1層がどんな処理をしているのか人間が分かるような説明はどうやって見出すのでしょうか？
2023/11/10(金) 18:16:16.88ID:Fu2s73WNM
重みを可視化してこんなのかな～て当たりをつけて実際にサンプルを入れて反応を見る
425デフォルトの名無しさん (ﾜｯﾁｮｲ 3be6-/9BA [250.93.230.9])
垢版 |
2023/11/10(金) 18:31:10.70ID:WbKAk9iL0
>>424

ありがとうございました。

そういうことが分かると非常に満足度は高いと思いますが、よりよいニューラルネットワークを作るのに役立ちますか？
2023/11/10(金) 20:35:16.62ID:0kaXsg6n0
現状では説明できないんだよ
経済系の人とか説明が重要らしくて困っているらしいけど
ちなみに説明しようという研究分野があるけど難航している
複雑に分散されているのが説明困難な理由らしいけど
427デフォルトの名無しさん (ﾜｯﾁｮｲ aba6-OkTm [254.206.42.254])
垢版 |
2023/11/10(金) 20:50:38.03ID:8Gy2rkAk0
そもそも機械学習の手法の目的は予測する事で、介入効果については例えばRFでimportanceが高かろうが何も言えなく、実はテーブルデータに関しては役に立つ局面のは限定的だとおもう
2023/11/10(金) 21:25:01.31ID:3XhgP/+70
NNにwhyと聞いてもわからない
2023/11/11(土) 00:45:05.44ID:mw2Z4gxk0
>>423
それは、色々ある。

あと、その動画は、例えばのイメージとして、
第○層が何で、
とかっていう便宜上の説明だったかと。
430デフォルトの名無しさん (ｱｳｱｳｳｰ Sa59-Xzxn [106.180.5.115])
垢版 |
2023/11/11(土) 01:11:32.04ID:uDCEJA+aa
>>423
これ
https://www.youtube.com/watch?v=vU-JfZNBdYU
2023/11/16(木) 17:00:07.32ID:XiZUwLpp0
Microsoftが独自設計のAI特化型チップ「Maia 100」
https://gigazine.net/news/20231116-microsoft-maia-ai-accelerator-cobalt-arm-cpu/
2023/11/16(木) 17:58:58.50ID:XLf88XLv0
nnにllmつけて説明させた研究があったろ
あれでええやん😅
2023/11/16(木) 18:44:27.66ID:XiZUwLpp0
Microsoft、AI最適化チップ「Azure Maia 100」
https://www.itmedia.co.jp/news/articles/2311/16/news085.html
2023/11/18(土) 07:10:39.79ID:gzRhEgeE0
アルトマン退社？求心力落ちない？🤔
2023/11/18(土) 09:42:49.83ID:Fe/rTQgz0
ナチスの親衛隊に居そうな名前だな
2023/11/18(土) 10:03:41.84ID:rdSjQnXM0
>>434
カリスマ性無いし

アルトマン
2023/11/18(土) 10:21:57.21ID:PRDIldLB0
アルトマンと言えば結婚相談所
2023/11/18(土) 11:56:46.85ID:SNWdkqqU0
ブロックマンも？
2023/11/18(土) 15:33:38.13ID:rdSjQnXM0
>>438
ブロックマンは
まともな感じ
2023/11/18(土) 20:16:30.61ID:SNWdkqqU0
それがブロックマン他数名？もOpenAIを出ていったらしい
2023/11/18(土) 20:28:43.34ID:rdSjQnXM0
>>440
いや、
ブロックマンは残るらしい

会長は解任
2023/11/18(土) 20:56:56.14ID:SNWdkqqU0
>>441
情報が古い
twitter.com/gdb/status/1725667410387378559
www.theinformation.com/articles/three-senior-openai-researchers-resign-as-crisis-deepens
https://twitter.com/thejimwatkins
2023/11/18(土) 21:20:46.49ID:rdSjQnXM0
>>442
というと？
2023/11/18(土) 21:50:49.06ID:WoIxjYhA0
で結局OpenAIはMSに買収されてしまうの？
2023/11/19(日) 12:10:17.89ID:hd0WYi1o0
グーグルにおけるアンソロピック的なナニかになるかと
2023/11/19(日) 12:16:41.68ID:YteVvgO90
>>440
あ

Brockmanも退職するっぽいね

いろいろ、クーデターっぽいな…
2023/11/19(日) 14:05:22.99ID:hd0WYi1o0
取締役会てのがなんか怪しくね？
何もしとらんやん
448デフォルトの名無しさん (ﾜｯﾁｮｲ 2dc6-nXTY [240d:1a:632:db00:*])
垢版 |
2023/11/19(日) 14:37:40.63ID:6yX2EY8S0
資本主義とはそういうものやで。日本のIT企業も経営陣は何もしてないし、コードもかけない。
2023/11/19(日) 14:50:44.00ID:9b5NsbkP0
日本のIT企業は錬金術をやっているところ
450デフォルトの名無しさん (ｱｳｱｳｳｰ Saa1-UHOz [106.180.4.112])
垢版 |
2023/11/19(日) 14:52:27.66ID:/G2k3fWta
儲かると観ると役員入れ替えと買収乗っ取りが進む
そして糞企業に成り下がる
sunもoracleもgifもgoogleもyoutubeも歩んだ道
2023/11/19(日) 16:39:16.02ID:9b5NsbkP0
それらは立派な技術で世界制覇した、揚げ足とってもみじめになるだけ
2023/11/19(日) 21:13:19.79ID:9b5NsbkP0
アルトマン氏の復職、マイクロソフト含むオープンＡＩ株主が要求
https://www.bloomberg.co.jp/news/articles/2023-11-19/S4CGWWT0G1KW01
2023/11/19(日) 21:18:57.99ID:YteVvgO90
>>452
やっぱ、
大株主抜きでアルトマン解任とか、おかしいよな…
2023/11/20(月) 17:08:59.18ID:IGl0cS/iM
アルトマンはMSに合流だってさ
2023/11/20(月) 20:52:56.88ID:Og7ELo6m0
【速報】サム・アルトマン氏　マイクロソフトに入社へ
https://news.yahoo.co.jp/articles/ced32c8d9c93a2f4b58d47b82dfa3389a2f3b536
2023/11/22(水) 12:34:29.92ID:OwYtBEmW0
OpenAI理事会、アルトマン氏の復帰を協議　米報道
2023/11/22(水) 12:37:59.34ID:LGKIBQbA0
>>456
ゴタゴタすぎｗ
2023/11/22(水) 13:39:12.51ID:OkHSaxJz0
アルトマンの解雇に動いた取締役のヤツも
旗幟を変えて沈没する反アルトマンから逃げ出したな
2023/11/22(水) 14:26:44.88ID:FQO0e9KYM
gptsと似たようなサービス出してるやつが取締役会にいるらしいな

それで追い出したんじゃないか、て話が出てる
2023/11/22(水) 15:46:09.11ID:1XUVLzBa0
CEOとして復帰合意
https://twitter.com/OpenAI/status/1727206187077370115
https://twitter.com/thejimwatkins
2023/11/22(水) 15:49:54.53ID:LGKIBQbA0
>>460

クーデターを仕組んだ奴らはどうなるのか？　ｗ
2023/11/22(水) 16:30:54.75ID:Nm24GmIda
従業員の9割退職するとか言い出したからな
そんな絞りカスみたいなのだけ残されても会社の体をなさないし復帰しか選択肢はなかっただろう
2023/11/22(水) 20:27:59.27ID:mLbH07bVM
結局首謀者は誰だったのか
2023/11/23(木) 19:14:55.48ID:K32BUH0oa
最近CNNについて勉強してるんだけどなんでCNNの進化EfficentNetで止まっちゃってるの？
ViTが出たからもうCNNはオワコン扱いなのかな
465デフォルトの名無しさん (ﾜｯﾁｮｲ 2ddf-nXTY [240d:1a:632:db00:*])
垢版 |
2023/11/23(木) 19:26:22.56ID:/IrV1b/40
なんと、ViT言葉からキーバリューで畳み込みと似たことをやってるのかと思ったら、畳み込みしないモデルなのか
2023/11/24(金) 09:23:51.32ID:qvF3qj7qM
畳み込みはしないけどパターン認識の基本だから
結局畳込み的なフィルタ処理はやってる
2023/11/25(土) 18:55:08.72ID:Db2RbKpf0
>>448
それは会社組織・社会の機能不全の要にも思えるけどな
幕末の藩制の非効化みたいに
2023/11/26(日) 10:28:58.39ID:59LZT78S0
音声合成VALL-E-Xってのを使ってみたが、評判はいいのに俺が使ったら全然似てなかった。
だれか使った人いる？
2023/11/30(木) 09:11:46.36ID:Pbr0EWAn0
llmがファインチューニングかけるとアホになるのは
ファインチューニングで使うコーパスや方針が非論理的だからだろ
2023/12/02(土) 03:20:12.89ID:XAS82Mg10
LoRAは絵ではうまく言ったけどLLMでは思ったほど成果がないらしいな
2023/12/03(日) 16:40:58.19ID:yd0YzEc7a
GPT-nとBERTの違いがイマイチあやふやなんだけど
TransformerのEncoderを使って事前学習して特徴量を生成するのがBERT
TransformerのDecoderを使ってBERTが生成した特徴量をもとに自然言語を生成するのがGPT-nって理解であってるのかな？

GPT-4も学習時はBERT使って学習してるのよね？
2023/12/03(日) 16:59:59.16ID:POEAPkcja
>>471
全然ちゃいまんがな
GPTとBERTはtransformers使ってるだけで中身は別だぞ
473デフォルトの名無しさん (ﾜｯﾁｮｲ 8917-vBln [240d:1a:632:db00:*])
垢版 |
2023/12/03(日) 17:01:30.18ID:KjJi6E/00
多分99％以上の人は自力で学習する事はないだろうから、その辺全部まとめてtransfomerでいい気がするｗｗ
2023/12/03(日) 17:08:21.32ID:POEAPkcja
あとGPTもEncoderとDecoderでモデルを分けてるわけじゃない
同じモデルを使ってるから単に用途の的な意味でしかない
コード読んだらわかるけど
2023/12/03(日) 17:18:35.64ID:tIQpSdkpa
>>472
GPTとBERTの立ち位置が良く分からなくて混乱してくる…
単方向か双方向かの違いなのかな？
それだと双方向に学習するBERTの方が精度高そうなのになんでGPTの方が流行ってるんだろう

論文とかコードは数式が難しくて読める気がしない…
2023/12/03(日) 17:21:29.12ID:6i/6hVjh0
>>471
別個の言語モデル
アーキテクチャが違う
つかbingに聞けよ😅
2023/12/03(日) 17:37:00.52ID:EqP19IVs0
タスク分解を備えた自律エージェントがAGI開発の次の壁を破りそうだけど、これが完成すると設計の壁が無くなるので、コーダーだけじゃなくSEも失業危機
2023/12/03(日) 18:45:24.95ID:ynYZS9P30
そんなことができるなら誰も苦労はしない
2023/12/03(日) 20:32:11.51ID:PuZI2f4Xa
>>475
主に違うのは学習方法だよ
GPTはRNNみたいに次の文字を推定するように学習する
一方BERTは任意の位置の穴埋め問題を解くような推定をする
2023/12/03(日) 20:47:26.62ID:PuZI2f4Xa
あとBERTは最後に線形層などを追加して分類問題として使えたり
様々なタスクに使えるようにできてる

GPTはそうではないが結局プロンプトを分類問題として指定することで同じことができることが判明した
つまりGPTこそあらゆる機能に応用可能な存在だった訳だ
2023/12/03(日) 22:08:28.11ID:ynYZS9P30
export PS1="$ "
2023/12/04(月) 03:45:46.09ID:GuHykRkTH
マイニングが今儲かるのか儲からないのかの確認方法
を調べたらマイニング爆益やんけ
2023/12/04(月) 12:42:48.87ID:EqOxc786d
>>471
全然あってなくて草🌿

>>479
基本的にはそれだね、今では学習方法のバリエーションは多いけど
2023/12/09(土) 14:12:39.62ID:yLX9lJOg0
いまいちllmが浸透してこないよな
もっとこうグッと仕事に絡んでくるかと思ったけど
2023/12/09(土) 14:29:27.66ID:ksnI+CSba
単純に日本企業が無能過ぎてよくわかってないのと
既存の業務を変えたくない老害的な存在になってるからだろう
基本的に保守の塊だから生産性すらそのままにしていたい
2023/12/09(土) 14:39:33.32ID:hNxBYzU70
LLMは人間っぽい口調の入出力に対応しただけのポンコツAIなのでお遊びにはいいけど金が絡む仕事の場合は出力結果の人力チェックが大変すぎて
出力自体を自分でやってた方が早かったじゃんってなる
2023/12/09(土) 15:06:06.26ID:ksnI+CSba
その体裁を整える部分も学習に入るぞ
その体裁を整えるプロンプトこそChatGPTのキモなのだ
そこだけは論文でも隠されている
2023/12/09(土) 15:23:44.91ID:yLX9lJOg0
俺自身はコーディングやらメールの下書きでガンガンに使ってて重宝してるけど
ソレ以外の職種の人にとって有用なのかどうかわからん
2023/12/09(土) 15:37:29.90ID:ksnI+CSba
俺も使ってるけど流石に社内のソースを貼り付けたりまではしていないな
このソースのテストを書いてとか
リファクタリングしてとかできるのだろうけどね
情報漏洩になりかねないから
2023/12/09(土) 15:40:09.61ID:ksnI+CSba
そういう意味ではやはり日本企業が遅れてるのだろうね
俺なら全社でChatGPTを解放する
社内のソースもどんどん貼り付けて利用しろというね
2023/12/09(土) 16:13:42.79ID:yLX9lJOg0
plus使っときゃ漏洩心配なくない？
2023/12/09(土) 17:13:59.22ID:2UWzshUT0
そういう俺様有能妄想は良いから
2023/12/09(土) 17:37:42.44ID:qlpSTh0a0
>>484-486
LLMの本領は読解にこそあると思うな
論文や知的財産調査等の難解文まで検索して要点整理してくれるのは有難い
2023/12/09(土) 17:44:05.84ID:Kd9t/33Ca
でもその内容が本当に合ってる保証は無くない？
2023/12/10(日) 15:57:09.38ID:Ne0vvx410
bardはソースコード読ませてもそのソースコード内に関する質問出してもまったく別のコードについて回答してくるから全然ダメだわ

ChatGPTなら3.5でも問題なくソースコード内について回答できるのに
2023/12/10(日) 16:32:49.09ID:sj1kOhbM0
レビューもAIで
2023/12/10(日) 19:01:10.34ID:Ko0EL9Lr0
bardは応答の速さは良いけど全然ダメ
geminiはどうなんだろうね🤔
2023/12/10(日) 20:10:35.64ID:sj1kOhbM0
RFPもAIで
2023/12/10(日) 20:11:41.17ID:sj1kOhbM0
次の全銀ネットはコボルからJavaらしいから美味しいぞ
2023/12/10(日) 20:16:56.29ID:gEithDTm0
コボル？
ラテン語とか古代ヘブライ語より以前に滅びたと言われるあの幻の言語？
2023/12/10(日) 20:35:54.11ID:jn3j6Y11a
なぜRustにしないのか
どうせインデックステーブルとかの構造は変えられないなら安全な言語使うのがベストだよ
2023/12/10(日) 20:47:23.03ID:VX39iGSt0
全銀ネットの開発できる規模のRustプログラマーなんて頭数確保できるわけないだろ
現実見ろ
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況