人工知能ディープラーニング機械学習の数学 ★3

**デフォルトの名無しさん** · 2020/08/30(日) 14:03:08.57

人工知能ディープラーニング機械学習の数学 ★2
https://mevius.5ch.net/test/read.cgi/tech/1551746188/

**デフォルトの名無しさん** · 2021/10/26(火) 11:08:30.32

MNIST分類問題をアテンションで組んだら11%から全く正解率が上がらなかった
でも先に進んでる論文を見つけて、真似して二次元の位置エンコーディングをフィルタ2カーネルサイズ1で畳み込んだらエポック5しか学習ループさせてないのに40%の正解率になってなお上昇中
Conv2Dの何がそんなに効果をもたらしているんだろう？

**デフォルトの名無しさん** · 2021/10/26(火) 11:17:22.85

>>59
なお、MNISTのデータが[32, 28, 28, 1]で、位置エンコーディングとして[32, 28, 28, 2]を組み込んで、アテンション出力とスキップ結合させるためにDenseで次元を増やしたものを入力にするという流れ
アテンションは一層のみで実装

**デフォルトの名無しさん** · 2021/10/26(火) 11:31:40.82

>>59
見なくても分類では問題がないピクセルは位置エンコーディングを省くような学習がされてたりするのだろうか？

**デフォルトの名無しさん** · 2021/10/26(火) 19:32:40.99

>>59
なぜかチューンアップしたら5エポックで90%まで正解率が上がった
画像解析にアテンション使った時に位置エンコーディングを畳み込むのって効果がありすぎて引くわ
理由はわからんけど

**デフォルトの名無しさん** · 2021/10/26(火) 19:37:04.29

まぁあれだ、今はMNISTの精度はほぼ100%なんだ

**デフォルトの名無しさん** · 2021/10/27(水) 13:28:52.80

>>63
アテンションによる画像分類を、自作のモデルで試行しようとしてる話に何を言ってるんだ？
MNISTはただのテストデータに過ぎんわ

**デフォルトの名無しさん** · 2021/10/27(水) 14:14:25.25

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw

**デフォルトの名無しさん** · 2021/11/05(金) 10:38:46.85

tensorboard のサブプロセスの Python が2GBもメモリを確保して、すっごくウザい
どうにか減らせないだろうか？

**デフォルトの名無しさん** · 2021/11/09(火) 13:31:09.81

tensorflow を訳あって2.7にしたんだけど
Jupiter 上で keras の fit() を verbose=1 で実行したときの途中経過表示が崩れる
2.5 に戻さないと治らない？

**デフォルトの名無しさん** · 2021/11/11(木) 11:41:22.97

Jupiter?

**デフォルトの名無しさん** · 2021/11/11(木) 12:44:51.97

TYPOをスルーできないのか

**デフォルトの名無しさん** · 2021/11/20(土) 14:46:55.97

「ブラウン管のやわやわ文字をパソコンのAI様が識別できるか？
人間にはかんたんにできるぞ

なん　だと　液晶に変換してくれだと？
なぜだなぜつまづく
このＡＩめ！　人工知能め！　ばしっ　ばしっ

**デフォルトの名無しさん** · 2021/11/20(土) 19:17:12.57

ネタに乗っかりたいんだけど、何のネタなのかわからない……

**デフォルトの名無しさん** · 2021/11/20(土) 19:40:06.75

今更だけど環境再構築したら旧来のkerasは一切使えなくなった
tensorflow-kerasに完全移行なんだもんな
今さら独立したkeras入れ直すのもアレだ
変換プログラムは用意されてるけど一つもそのまま動かねぇ…

**デフォルトの名無しさん** · 2021/11/20(土) 22:04:06.61

一昨日から、急にJupyterNotebookのフォントが変わって気持ち悪いんだけど、使ってるブラウザのアップデートのせい？？

**デフォルトの名無しさん** · 2021/11/20(土) 22:30:06.74

多分…def とか目立ってナンダコレ感が

**デフォルトの名無しさん** · 2021/11/28(日) 21:06:11.06

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw

**デフォルトの名無しさん** · 2021/12/15(水) 15:18:18.17

訓練時の損失とか正解率よりも、検証のほうがかなり良い成績
ドロップアウトレートを0.1にしているのは高すぎるのかな？

**デフォルトの名無しさん** · 2021/12/15(水) 23:48:35.55

訓練データと検証データは何個？

**デフォルトの名無しさん** · 2021/12/16(木) 01:37:02.44

訓練データは24000個、検証データは1200個くらい
エポック毎に損失値と正解率を出してプロットすると検証の方が結構安定して良い数値

**デフォルトの名無しさん** · 2021/12/16(木) 01:56:21.08

考えてみれば検証が良いスコア叩き出すぶんには構わないか
色々とハイパーパラメータ弄ってエポック数を増やしたら検証での正解率が99.99～100%まで到達した
ドロップアウトはうまく働いて過学習は乗り越えてるってことだろう

**デフォルトの名無しさん** · 2022/09/11(日) 23:47:31.68

公開されてる学習済みデータって特徴あるの？

**デフォルトの名無しさん** · 2022/09/12(月) 07:57:44.80

無かったら価値がないよ

**デフォルトの名無しさん** · 2022/12/24(土) 03:00:02.80

今、深層学習の論文読んでてわからないことがあるんだけど、知ってるｴﾛい人いたら教えて下さい。

https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf

P.2 の Fig. 2 の説明に出てくる「held-out set」ってどういうこと?
教師あり学習の「hold-out」ならわかるけど、深層Q学習での「held-out set」てのは
通常のQ学習で得た重みってこと?

**デフォルトの名無しさん** · 2023/01/01(日) 16:14:14.82

データサイエンスで最近持て囃されている嘘のノルムであるL0ノルム、
それの緩和近似としてのL1ノルム。そういうテクニック・コツは
普通の数学では使われているのだろうか？

**デフォルトの名無しさん** · 2023/04/04(火) 08:44:37.02

川ﾟдﾟ川y─┛~~

**デフォルトの名無しさん** · 2023/08/08(火) 09:02:46.77

分野によっては教師データ集めるのは大変だな

**デフォルトの名無しさん** · 2023/09/13(水) 18:08:13.74

人間並みの精度を出すには訓練データが10000個も必要なのか

**デフォルトの名無しさん** · 2023/12/14(木) 17:49:14.34

このスレ俺しかいねぇw

**デフォルトの名無しさん** · 2024/02/07(水) 16:15:02.37

130億程度のパラメータの言語モデルを国内各社が作ってるけど
あれちゃんと日本語理解できんの？🤔
初めから志低くない？😅

**デフォルトの名無しさん** · 2024/02/10(土) 14:26:01.10

今からNLPやるのってどういうモチベなんだろう？
日本語も外国が作ったAIがあっさりクリアしたし

**デフォルトの名無しさん** · 2024/02/10(土) 14:44:46.46

ちょっと不思議なんだけど
データベースだとそこにあるデータしか無いけど
何でこんなに小さなサイズで膨大な知識を作り出せるの？
逆に言えばこのサイズが大きくなれば何でも出来るようになるの？

**デフォルトの名無しさん** · 2024/02/10(土) 17:49:39.29

ものすごく単純に言うと
データ間の関係かな
データベースは単なるデータの集合だけど
機械学習では、多数のデータ間の関係を学習している
二つ、三つ、四つ・・・のデータが同時に使われいてるかどうか

当然サイズが大きくなると網羅できる範囲は大きくなる
未知のデータに対しても似たものを探してくる

20世紀には if 文を重ねてやっていたんだけど
あまりにデータの規模が大きくなると管理できなくなるし
新たなケースに関してはお手上げだった

**デフォルトの名無しさん** · 2024/02/10(土) 18:03:39.87

そうすると、DB同士を同じ様にネットワークで繋げばそのまま出来上がるの？
あと、人間と同じ程度のLLMなら、そもそも何GBくらいの容量になるんだろ？

**デフォルトの名無しさん** · 2024/02/10(土) 20:00:16.76

「同じ様にネットワークで繋げば」
ここが微妙
実際にはデータをどんどんプログラムに入力していくイメージ
例をたくさん入力するとルールみたいなものを自動で獲得する
古くは example based な学習と呼ばれた

人間のニューロンの数が10の10乗といわれているから
1TBぐらいか?
実際にはニューロン間の連結が必要なのでさらにもう二桁ぐらい上

実際に計算するにはメモリ上に展開するだけでは遅くてしょうがないので
10の10乗ぐらいの数の素子が必要となる

あくまで人間そっくりに作った場合だけど
ディープラーニングは人間の思考の仕方からは相当離れたものになってしまったけど

実際には外部とのデータのやり取りも必要になるよね
聴覚、視覚、嗅覚、味覚、触覚みたいなもの

**デフォルトの名無しさん** · 2024/02/10(土) 20:06:10.40

「繋ぎ方」が問題よな。それこそが学習というか。

AIには本能がないから人間足り得ないんだけど、特定の条件で学習関係なく反応するって典型的なプログラムそのものだから、本能って実は簡単に実装できそうなのよね。

**デフォルトの名無しさん** · 2024/02/10(土) 20:18:25.94

人間がやっていることって
外部から入力がなくでも
自主的に考えることができるよね
これが人間らしさの本質のような気がする
これだけだったら入力がなくても
内部状態を入力として
学習を進めればできるような気はする

**デフォルトの名無しさん** · 2024/02/11(日) 07:24:58.09

>>95
外部からの入力なしに出力できないのはAIも人も共通じゃないかな？
もし仮に獣に育てられて成長したら人間みたいな思考回路は形成されないような気がする
昔獣に育てられた人間がいたけど人間社会には結局馴染めなかったような

例えばWikipediaやネットの論文だけを頭に詰め込んで、ランダムなSeedで色々自動で考えたとして
果たしてどこまで新しい理論なら話が生まれるのかは気になるな

ただ、一定数までは組み合わせでできても、そこから先は外部からの新しい刺激がないと成長しない気もする
それとも、外部からの入力無しでもアイデアがアイデアを呼び無制限に想像ができるのか・・・

**デフォルトの名無しさん** · 2024/02/12(月) 19:43:05.97

MoEはモエと読めばいいの？

**デフォルトの名無しさん** · 2024/02/13(火) 03:53:58.65

人間には思いもよらない組み合わせ
あるいは人間には複雑すぎて考えつかない意味ある組み合わせを
自動的に発見できる可能性がある

**デフォルトの名無しさん** · 2024/02/13(火) 04:06:42.28

それってむしろAIの方が得意な気が
しかも寝ることもなしに出来るし

**デフォルトの名無しさん** · 2024/02/13(火) 05:49:26.30

しかも超並列にできるし

**デフォルトの名無しさん** · 2024/02/13(火) 19:24:10.74

トヨタが採用にE資格を歓迎する条件に入れるようになったな

多少は役に立つ資格になったな

**デフォルトの名無しさん** · 2024/02/14(水) 07:38:55.08

よく考えてみると場当たり的に総当たりすると
サルがシェークスピアを書けるのかと同じ話のような気がする

**デフォルトの名無しさん** · 2024/02/14(水) 07:43:13.33

何の話？🤔

**デフォルトの名無しさん** · 2024/02/14(水) 12:06:51.68

>>101
E資格スレを建てたのでぜひ来てください！

https://kizuna.5ch.net/test/read.cgi/lic/1707695783/

**デフォルトの名無しさん** · 2024/02/15(木) 10:13:38.92

トヨタで使うん？

**デフォルトの名無しさん** · 2024/02/15(木) 11:27:59.84

期間労働者だろ

**デフォルトの名無しさん** · 2024/02/20(火) 15:27:38.82

E資格って難しいんだろ
実務経験でaiやってる人とかが受けてる

**デフォルトの名無しさん** · 2024/02/20(火) 18:35:35.06

選択式で合格率70%、何処が難しいｗ

**デフォルトの名無しさん** · 2024/02/21(水) 13:05:00.39

あいてーぱすぽーとくらいじゃねえの？🤔

**デフォルトの名無しさん** · 2024/02/23(金) 21:22:56.26

ベースをllama2に選択肢はもうないよな

**デフォルトの名無しさん** · 2024/02/26(月) 17:15:24.80

【AI】Stable Diffusion 3発表、Soraで話題の拡散トランスフォーマーを採用 [すらいむ★]
http://egg.5ch.net/test/read.cgi/scienceplus/1708865670/l50

ボイス・トォ・スカるしている者も攻撃を受けるようになりました

**デフォルトの名無しさん** · 2024/02/29(木) 02:23:05.97

技術的特異点/シンギュラリティ【総合】避難所17
https://jbbs.shitaraba.net/bbs/read.cgi/study/13463/1707569032/

**デフォルトの名無しさん** · 2024/03/01(金) 22:51:26.19

＞中身を1と0と-1で表現してる
＞なので4値の2bitではないけど3値必要なので正確には1.58bit
＞こうすることでかけ算があったはずの行列の計算を強制的に足し算引き算無の3種類に落とし込める
＞加えて演算を進めていくにつれて浮動小数だとノイズが混じっていくが、こっちは精度が落ちようがない

ニュース記事
『1.58ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も』
https://wirelesswire.jp/2024/02/86094/

かねてから「1ビット量子化」の研究を続けて来たMicrosoftのがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
https://i.imgur.com/VMD8HyS.png
最近主流になっている70B(700億)パラメータモデルでの比較である。Llamaの70BとBitNetの70Bモデルを比較すると、BitNetは8.9倍のスループットを誇るという。
「速いだけで回答が微妙なのでは」と心配するのが普通だろう。
そこでLlamaモデルとの比較が載っている。
https://i.imgur.com/zmgoo1X.png
BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
Llamaよりも性能劣化してないどころか性能は上がっている。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
https://i.imgur.com/1tcsItA.png

**デフォルトの名無しさん** · 2024/03/01(金) 23:24:46.53

ひらけーごま

**デフォルトの名無しさん** · 2024/03/11(月) 14:55:06.11

mixtralから継続学習したなら日本語性能高くなるの当たり前でしょ
なんなん？お手軽な研究してんのな

**デフォルトの名無しさん** · 2024/03/11(月) 15:12:53.76

ヒント：シナMS

**デフォルトの名無しさん** · 2024/03/13(水) 09:57:26.46

イライザも新しいの出してきたね

**デフォルトの名無しさん** · 2024/03/14(木) 13:27:12.08

gpt-3.5－turboにギリギリ勝てるか勝てないかってところなのに
日本語に得意とかいい出すの、どうなんだろうね😅

**デフォルトの名無しさん** · 2024/03/16(土) 18:01:22.17

生成AIばかり注目されて悲しい

**デフォルトの名無しさん** · 2024/03/20(水) 21:54:59.41

猫も杓子も生成AI

認識、異常検知、予測への転用は難しかろうし

**ランベルト星人** · 2024/03/21(木) 06:40:09.03

x2 = x1 * POWER(SQRT(r),x1)　─①
の逆関数∧厳密でない解∧ランベルト関数は使用ない

ま、それは、数値解析的な方法なら
プロマネ🤡でも出来るぢゃないか
完成１版の中規模なPG改造だ
完成２版として緊急開発し、
現状の総合テストは中止という
方法もあろう。ま、その判断は、
プロマネの仕事だ。どうなるかは未知数
∴ワシの霊的確率は、それは50％ジャスト

by 👤

**デフォルトの名無しさん** · 2024/03/23(土) 17:58:36.35

sakana aiのllmが出たぞ
日本勢の研究はどれも負けてる

**デフォルトの名無しさん** · 2024/03/23(土) 22:36:53.35

日本語NLPですら外国人に勝てないのに、なんで同じ土俵に上がろうとするかね

**デフォルトの名無しさん** · 2024/03/24(日) 07:01:45.95

そこまでは言わんけど
なんでもっと真面目にやらないのかなと思う
いい加減な仕事してんなあって

**デフォルトの名無しさん** · 2024/03/24(日) 14:00:45.31

プレスリリース見たけど驚いてばっかり

**デフォルトの名無しさん** · 2024/03/24(日) 17:01:52.50

キャッチーな単語がずらりｗ

**デフォルトの名無しさん** · 2024/03/26(火) 18:10:24.53

nttのtuzumiだっけ？
パラメータの少なさは理解力、論理的思考力の低さと同義
専用線でセキュアに使えるのはいいとしても性能が低かったらアンケートの要約くらいにしか使えないじゃん
そんなもんセキュアに実行する必要なくない？秘密のアンケートなん？😅

**デフォルトの名無しさん** · 2024/04/01(月) 09:00:58.89

openaiが日本に拠点作るってよ😅

**デフォルトの名無しさん** · 2024/04/02(火) 06:24:17.35

tensorflowのニューラルネットをchatGPTに作らせるというシュールな作業

**デフォルトの名無しさん** · 2024/04/02(火) 13:19:40.05

え？なんかへん？

**デフォルトの名無しさん** · 2024/04/02(火) 19:29:42.21

AIって脱がすことも可能なんだねえ
一日一回使えるみたい
https://nudefusion.com/ja?referral=kjtj4k6kop6emod
https://nudefusion.com/ja?referral=pbmsbfo7myo6z8t
https://clothoff.app/r/clmd0jl3n164ezy6089glizot
https://drawnudes.app/r/clq4xlk3u312auuji

**デフォルトの名無しさん** · 2024/04/03(水) 14:19:34.64

画像を集めるのが辛すぎる

**デフォルトの名無しさん** · 2024/04/05(金) 08:07:05.65

エッジAI時代の到来が後押し、STマイクロが18nm FD-SOIをマイコンに適用する理由
https://news.mynavi.jp/techplus/article/20240405-2921132/

**デフォルトの名無しさん** · 2024/04/05(金) 10:38:24.00

オープンAIが東京にオフィス構えたら
NTTだのベンチャーのなんちゃってLLMの出番ないじゃん

**デフォルトの名無しさん** · 2024/04/06(土) 17:16:19.50

CPUの命令セットアーキテクチャ「x86」は近い未来に滅ぶだろうという主張
https://gigazine.net/news/20240406-x86-needs-to-die/

**デフォルトの名無しさん** · 2024/04/07(日) 08:23:42.16

疑似的ボイス・トォ・スカル
組織はある程度大きくなるけれど構築方法

①Bluetooth v5.4
マルチ説ぞ可能なので同時に100に接続可能
飛距離は最大400メートル
②ピンマイク.完全ワイヤレスイヤフォン【マイク付き】
★これで司令塔を中心としたエリアが構築官僚
③ピンマイクのみの者は超指向性スピーカーにて指示を受けている
少し上のシステム
④家の防犯カメラを道路が映るように設置
⑤すまふぉのai機能拡張により仲間の未認識させる
⑥口パクによる読み取りやジェスチャーやアイコンタクトによりさらに指示できる内容を増やしている

①司令塔となる者にスマフォと全てのBluetoothをペアーリング
②aIアシストにより各仲間に隠語で話すウ
③警察にばれてモスク罪にAIによるアシストで行動パターンの変化をさせる

空き巣後の闘争中に路地に引き込んでの警察車両の足止め
仲間は通貨そのあとに車の故障で立ち往生これを繰り返す
万引きもチームプレイをすれば店員.万引きジーメンなどもかいくぐれる

ネットを返していない特設通信なのでサイバー警察からも逃げれる

**デフォルトの名無しさん** · 2024/04/08(月) 13:04:38.77

人間の脳も結構スペースなんかもね

**デフォルトの名無しさん** · 2024/04/08(月) 13:51:56.15

アルツハイマーかｗ

**デフォルトの名無しさん** · 2024/04/08(月) 18:38:24.78

リコーのllmがllm－jp-evalで67.0らしいけどコレあってんの？
1.2.0で計測してんだよな？

**デフォルトの名無しさん** · 2024/04/11(木) 13:04:01.05

ゴミみたいな用途なら10Bでいいけど
mistralやcohereが100B超え出してきてて普通に負けてんだよ

**デフォルトの名無しさん** · 2024/04/19(金) 18:33:07.06

生成AIに関しては学習データ枯渇問題がやってくるらしい

**デフォルトの名無しさん** · 2024/04/20(土) 16:04:02.97

>>134
雇用を生むならいいんじゃない？
知らんけど

**デフォルトの名無しさん** · 2024/04/20(土) 16:06:19.89

>>132
分かる
ニッチなエロ画像集めてるけど数が揃うまで数年かかりそうw

**デフォルトの名無しさん** · 2024/04/28(日) 22:04:02.21

AIのおかげで地球温暖化が加速しましたとさ
めでたしめでたし

**デフォルトの名無しさん** · 2024/04/29(月) 00:44:45.69

大量に電力使いやがって

**デフォルトの名無しさん** · 2024/04/29(月) 11:28:17.12

電気使わないで暮らしてるんだ、偉いね

**デフォルトの名無しさん** · 2024/07/11(木) 19:10:11.17

なんでそうなるんだよ
アスペか？

**デフォルトの名無しさん** · 2024/07/12(金) 06:05:33.41

AI用のデータセンター実際めっちゃ電気食うよ

**デフォルトの名無しさん** · 2024/07/12(金) 17:05:44.35

アスペか

**デフォルトの名無しさん** · 2024/07/12(金) 17:30:04.99

これめちゃくちゃ臭くて鳥肌立つけど音楽時代は悪くないクオリティだからささった
レンタカー代を使ってもあと15キロ痩せていく

**デフォルトの名無しさん** · 2024/07/12(金) 17:31:28.96

やっぱり夜勤が好きそうなのにいまだに発売日は休みでええ
去年一昨年よく働いたやろ
偽物にはテレビでやってる風ならまだいいのにな

**デフォルトの名無しさん** · 2024/07/16(火) 17:57:52.53

>>148
ローカルで生成AIやってるけどどう考えても家の電気代のほうが高い
例えば日本の自動販売機って17億Wだけど、これと比べて本当に大きいのか？

**デフォルトの名無しさん** · 2024/07/16(火) 18:05:27.58

ローカルで生成AIって学習もやってるんだよね？

**デフォルトの名無しさん** · 2024/07/17(水) 16:57:06.20

6600V引き込みと自家用変電設備はAIやるならデフォだよ

**デフォルトの名無しさん** · 2024/07/18(木) 16:57:46.95

麻取がアップを始めました

**デフォルトの名無しさん** · 2024/09/14(土) 12:16:30.75

ニューラルネットワークってFP8とFP16程度でいいらしいな
FP32,FP64使ってわざわざ重くする理由って何？
標準だから？
もっと軽量かつ高速にできるよね

**デフォルトの名無しさん** · 2024/09/14(土) 18:04:21.92

今時FP8は速いのか

**デフォルトの名無しさん** · 2024/09/26(木) 13:20:19.96

バックプロパゲーションの計算したんだけど
出てきた値を対象の重みから減算すりゃいいのかな？と感覚的にはわかるんだけど
dL/dw = dL/dy dy/dh dh/du du/dx
x = xw のxを係数、wを変数として上式を求めた
出てきたdL/dwって何ですか？