人工知能ディープラーニング機械学習の数学 ★2
https://mevius.5ch.net/test/read.cgi/tech/1551746188/
人工知能ディープラーニング機械学習の数学 ★3
1デフォルトの名無しさん
2020/08/30(日) 14:03:08.57ID:984l5rTT2021/04/14(水) 12:30:55.60ID:7tHprJG0
PCRはウイルスが居る時期でないと判定できないからと、別口では抗体で調査してなかったっけか?
2021/04/15(木) 09:57:51.71ID:jdDCDO+f
現在、日本で認可されてるコロナウィルス感染キット
https://www.mhlw.go.jp/stf/newpage_11331.html
コーラでも陽性になったとかよく解らん噂があるけど、
偽陰性より偽陽性が高い傾向が有るから、検査数を増やせば名目上の感染者数が実数より増える
https://www.mhlw.go.jp/stf/newpage_11331.html
コーラでも陽性になったとかよく解らん噂があるけど、
偽陰性より偽陽性が高い傾向が有るから、検査数を増やせば名目上の感染者数が実数より増える
2021/04/15(木) 21:21:07.98ID:hEZqbZva
>>33
それは系統誤差として処理できるはずだが
それは系統誤差として処理できるはずだが
2021/04/15(木) 22:15:00.55ID:SpboC3ge
>>33
各種派生タイプに感染出来るキット?
各種派生タイプに感染出来るキット?
2021/04/16(金) 00:41:15.11ID:7lcLQumv
>>34
一部のキットだけの系統誤差なら除外できるが、全てのキットで偽陽性が出るから、測定自体に系統誤差があって役に立たないという話ではないかな?
一部のキットだけの系統誤差なら除外できるが、全てのキットで偽陽性が出るから、測定自体に系統誤差があって役に立たないという話ではないかな?
2021/04/16(金) 10:36:53.48ID:FQV4JS2l
38デフォルトの名無しさん
2021/04/16(金) 11:54:29.70ID:QiXYIn6/ 異なる測定方法を交差させて精度を上げるテストなんて実際にやってないだろう
重症者数はニュース性があるかもしれんが、感染者数を毎日速報で流すような茶番は早く終わらせ欲しい
重症者数はニュース性があるかもしれんが、感染者数を毎日速報で流すような茶番は早く終わらせ欲しい
2021/04/16(金) 22:15:32.50ID:Yv5TctbW
Σ(日々の感染者数)>日本の総人口
を証明せよ
を証明せよ
2021/07/15(木) 09:23:29.14ID:LCRWqaSJ
Conv2D に color channels が 3 のカラー画像を食わせたとき、チャンネル 1 のグレイスケール画像と同じでフィルタ数分の結果が出力されます
入力(横、縦、チャンネル)、出力(畳み込み横、畳み込み縦、フィルタ数)
カラー画像のチャンネルはどのように扱われているのか、どこかに書いてないでしょうか?
足し合わせてグレイスケールにしてフィルタが生成されるのでしょうか?
APIではchannels_firstとか指定した場合にはバッチ形状にくっつく様に結果が出力される様に読めますが、その指定は無いので上記の出力です(API仕様書にある通常の例と同じ
入力(横、縦、チャンネル)、出力(畳み込み横、畳み込み縦、フィルタ数)
カラー画像のチャンネルはどのように扱われているのか、どこかに書いてないでしょうか?
足し合わせてグレイスケールにしてフィルタが生成されるのでしょうか?
APIではchannels_firstとか指定した場合にはバッチ形状にくっつく様に結果が出力される様に読めますが、その指定は無いので上記の出力です(API仕様書にある通常の例と同じ
2021/07/15(木) 09:24:54.54ID:LCRWqaSJ
>>40
あ、TensorFlow2です
あ、TensorFlow2です
42デフォルトの名無しさん
2021/09/23(木) 12:50:26.66ID:7tGJmFKP >>39
再感染はあるから QED
再感染はあるから QED
2021/10/13(水) 08:01:14.53ID:z/Yv2X4i
2021/10/13(水) 08:28:18.46ID:bbUpF8cy
実のところディープラーニングが人工知能かと言われると、首を傾げちゃう
知能をどう定義するか次第の話なんだけど
GTPだっていつかはOCRのように、やっぱこれも人工知能じゃないとか言われだすと思うから
知能をどう定義するか次第の話なんだけど
GTPだっていつかはOCRのように、やっぱこれも人工知能じゃないとか言われだすと思うから
2021/10/13(水) 11:48:10.88ID:O3tkKphu
ディープラーニングは人工知能の一部ってだけ
2021/10/13(水) 23:06:09.38ID:gIAgExkG
そそコホーネンこそ正義だよね〜
2021/10/14(木) 07:49:47.69ID:hPcjD3kO
ディープラーニング自体はアーキテクチャに過ぎないからね
ノイマン型が現代の一般的なコンピューターのアーキテクチャだからと言って、コンピューターとはノイマン型のことであるとは言わないように
ノイマン型が現代の一般的なコンピューターのアーキテクチャだからと言って、コンピューターとはノイマン型のことであるとは言わないように
2021/10/14(木) 08:04:08.89ID:hPcjD3kO
tensorflow.orgのtransformerサンプルでわかんないところが
SparseCategoricalCrossentropyをfrom_logits=Trueで作ってるけど、食わせるtransformerの出力ってDenseで全結合しただけ
ロジットなのこれ?
SparseCategoricalCrossentropyをfrom_logits=Trueで作ってるけど、食わせるtransformerの出力ってDenseで全結合しただけ
ロジットなのこれ?
2021/10/14(木) 08:24:33.42ID:hPcjD3kO
transformerの出力はargmaxで最大値のインデックス求めてその語彙を翻訳結果にしてるから、いわばスコアだと理解してる
でもロジットではないからSCCに食わせていいのかな?と
でもロジットではないからSCCに食わせていいのかな?と
2021/10/14(木) 08:28:59.61ID:hPcjD3kO
順位さえあれば大雑把にはロジットであると見なしても問題はないということなの?
2021/10/17(日) 15:29:56.00ID:4iYCqoRy
2021年最新*話題のGPT-3はやっぱりすごい
www.macnica.co.jp/business/ai_iot/columns/136353/
Transformer解説:GPT-3、BERT、T5の背後にあるモデルを理解する
ainow.ai/2021/06/25/256107/
OpenAIが1,750億のパラメーターを持つGPT-3 AI言語モデルを発表
www.infoq.com/jp/news/2020/08/openai-gpt3-language-model/
www.macnica.co.jp/business/ai_iot/columns/136353/
Transformer解説:GPT-3、BERT、T5の背後にあるモデルを理解する
ainow.ai/2021/06/25/256107/
OpenAIが1,750億のパラメーターを持つGPT-3 AI言語モデルを発表
www.infoq.com/jp/news/2020/08/openai-gpt3-language-model/
2021/10/17(日) 16:11:34.40ID:Gb5xFPFx
GPTの背後にある思想ったら Scaling Law だろ
GPTはその実証だと言う人もいる
TransformerとAttentionはもう基盤になってて今さら背後とか言われても……
GPTはその実証だと言う人もいる
TransformerとAttentionはもう基盤になってて今さら背後とか言われても……
53デフォルトの名無しさん
2021/10/18(月) 21:27:08.02ID:ZDKm7GMa これから機会学習を触ってみようと思ってるんだけどどういう環境で開発してますか?
グーグルコラボとかでやってる?
TPUv4は性能がすごいとかニュースになってたけど
12時間を超える機会学習ってそうそうない?
グーグルコラボとかでやってる?
TPUv4は性能がすごいとかニュースになってたけど
12時間を超える機会学習ってそうそうない?
2021/10/18(月) 23:02:31.20ID:vvHfCZ9q
初めはコラボがいいと思う
そしていずれGPUの利用時間制限に引っ掛かるようになって、ローカルにAnaconda入れてtensorflow-gpu動かすようになる
jupiterもあるし
そしていずれGPUの利用時間制限に引っ掛かるようになって、ローカルにAnaconda入れてtensorflow-gpu動かすようになる
jupiterもあるし
2021/10/19(火) 01:44:17.75ID:LRc9N3QG
>>53
機会学習w
機会学習w
56デフォルトの名無しさん
2021/10/19(火) 08:33:02.76ID:EE1ry6lu2021/10/21(木) 06:39:08.03ID:6ET3jZMm
>>54
メモリ12GBを積んだ RTX 3060 が3万円台ならローカルで気軽に始められるのに、現状は6万円台だからね
メモリ12GBを積んだ RTX 3060 が3万円台ならローカルで気軽に始められるのに、現状は6万円台だからね
58デフォルトの名無しさん
2021/10/25(月) 21:44:34.43ID:i1JdqDPj > お前は毎朝起きるたびに俺に負けたことを思い出すよ^^
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
2021/10/26(火) 11:08:30.32ID:jRF91jUl
MNIST分類問題をアテンションで組んだら11%から全く正解率が上がらなかった
でも先に進んでる論文を見つけて、真似して二次元の位置エンコーディングをフィルタ2カーネルサイズ1で畳み込んだらエポック5しか学習ループさせてないのに40%の正解率になってなお上昇中
Conv2Dの何がそんなに効果をもたらしているんだろう?
でも先に進んでる論文を見つけて、真似して二次元の位置エンコーディングをフィルタ2カーネルサイズ1で畳み込んだらエポック5しか学習ループさせてないのに40%の正解率になってなお上昇中
Conv2Dの何がそんなに効果をもたらしているんだろう?
2021/10/26(火) 11:17:22.85ID:jRF91jUl
>>59
なお、MNISTのデータが[32, 28, 28, 1]で、位置エンコーディングとして[32, 28, 28, 2]を組み込んで、アテンション出力とスキップ結合させるためにDenseで次元を増やしたものを入力にするという流れ
アテンションは一層のみで実装
なお、MNISTのデータが[32, 28, 28, 1]で、位置エンコーディングとして[32, 28, 28, 2]を組み込んで、アテンション出力とスキップ結合させるためにDenseで次元を増やしたものを入力にするという流れ
アテンションは一層のみで実装
2021/10/26(火) 11:31:40.82ID:jRF91jUl
>>59
見なくても分類では問題がないピクセルは位置エンコーディングを省くような学習がされてたりするのだろうか?
見なくても分類では問題がないピクセルは位置エンコーディングを省くような学習がされてたりするのだろうか?
2021/10/26(火) 19:32:40.99ID:jRF91jUl
63デフォルトの名無しさん
2021/10/26(火) 19:37:04.29ID:Dkte2Lcc まぁあれだ、今はMNISTの精度はほぼ100%なんだ
2021/10/27(水) 13:28:52.80ID:2NOsLjEZ
65デフォルトの名無しさん
2021/10/27(水) 14:14:25.25ID:SL+cB4sA > お前は毎朝起きるたびに俺に負けたことを思い出すよ^^
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw
2021/11/05(金) 10:38:46.85ID:P9BBm+pJ
tensorboard のサブプロセスの Python が2GBもメモリを確保して、すっごくウザい
どうにか減らせないだろうか?
どうにか減らせないだろうか?
2021/11/09(火) 13:31:09.81ID:8qmTEk8+
tensorflow を訳あって2.7にしたんだけど
Jupiter 上で keras の fit() を verbose=1 で実行したときの途中経過表示が崩れる
2.5 に戻さないと治らない?
Jupiter 上で keras の fit() を verbose=1 で実行したときの途中経過表示が崩れる
2.5 に戻さないと治らない?
68デフォルトの名無しさん
2021/11/11(木) 11:41:22.97ID:mCOYpHbI Jupiter?
2021/11/11(木) 12:44:51.97ID:f067sxj/
TYPOをスルーできないのか
70デフォルトの名無しさん
2021/11/20(土) 14:46:55.97ID:40+C6g4/ 「ブラウン管のやわやわ文字をパソコンのAI様が識別できるか?
人間にはかんたんにできるぞ
なん だと 液晶に変換してくれだと?
なぜだなぜつまづく
このAIめ! 人工知能め! ばしっ ばしっ
人間にはかんたんにできるぞ
なん だと 液晶に変換してくれだと?
なぜだなぜつまづく
このAIめ! 人工知能め! ばしっ ばしっ
2021/11/20(土) 19:17:12.57ID:ZVzRCh5a
ネタに乗っかりたいんだけど、何のネタなのかわからない……
2021/11/20(土) 19:40:06.75ID:fqoe1X+V
今更だけど環境再構築したら旧来のkerasは一切使えなくなった
tensorflow-kerasに完全移行なんだもんな
今さら独立したkeras入れ直すのもアレだ
変換プログラムは用意されてるけど一つもそのまま動かねぇ…
tensorflow-kerasに完全移行なんだもんな
今さら独立したkeras入れ直すのもアレだ
変換プログラムは用意されてるけど一つもそのまま動かねぇ…
2021/11/20(土) 22:04:06.61ID:Om+WszvL
一昨日から、急にJupyterNotebookのフォントが変わって気持ち悪いんだけど、使ってるブラウザのアップデートのせい??
2021/11/20(土) 22:30:06.74ID:GbVm564q
多分…def とか目立ってナンダコレ感が
75デフォルトの名無しさん
2021/11/28(日) 21:06:11.06ID:jvvYPFKj > お前は毎朝起きるたびに俺に負けたことを思い出すよ^^
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw
あー、ホンッとに思い出すなあ(笑)
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い!」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君!
クソチョンw
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw
2021/12/15(水) 15:18:18.17ID:W+EUCi5R
訓練時の損失とか正解率よりも、検証のほうがかなり良い成績
ドロップアウトレートを0.1にしているのは高すぎるのかな?
ドロップアウトレートを0.1にしているのは高すぎるのかな?
77デフォルトの名無しさん
2021/12/15(水) 23:48:35.55ID:ciqq937e 訓練データと検証データは何個?
2021/12/16(木) 01:37:02.44ID:jDXSflwY
訓練データは24000個、検証データは1200個くらい
エポック毎に損失値と正解率を出してプロットすると検証の方が結構安定して良い数値
エポック毎に損失値と正解率を出してプロットすると検証の方が結構安定して良い数値
2021/12/16(木) 01:56:21.08ID:jDXSflwY
考えてみれば検証が良いスコア叩き出すぶんには構わないか
色々とハイパーパラメータ弄ってエポック数を増やしたら検証での正解率が99.99〜100%まで到達した
ドロップアウトはうまく働いて過学習は乗り越えてるってことだろう
色々とハイパーパラメータ弄ってエポック数を増やしたら検証での正解率が99.99〜100%まで到達した
ドロップアウトはうまく働いて過学習は乗り越えてるってことだろう
80デフォルトの名無しさん
2022/09/11(日) 23:47:31.68ID:zMEseO/g 公開されてる学習済みデータって特徴あるの?
2022/09/12(月) 07:57:44.80ID:/ckPAnlx
無かったら価値がないよ
2022/12/24(土) 03:00:02.80ID:MAFfdP+Q
今、深層学習の論文読んでてわからないことがあるんだけど、知ってるエロい人いたら教えて下さい。
https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf
P.2 の Fig. 2 の説明に出てくる「held-out set」ってどういうこと?
教師あり学習の「hold-out」ならわかるけど、深層Q学習での「held-out set」てのは
通常のQ学習で得た重みってこと?
https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf
P.2 の Fig. 2 の説明に出てくる「held-out set」ってどういうこと?
教師あり学習の「hold-out」ならわかるけど、深層Q学習での「held-out set」てのは
通常のQ学習で得た重みってこと?
2023/01/01(日) 16:14:14.82ID:Ji6mSYaZ
データサイエンスで最近持て囃されている嘘のノルムであるL0ノルム、
それの緩和近似としてのL1ノルム。そういうテクニック・コツは
普通の数学では使われているのだろうか?
それの緩和近似としてのL1ノルム。そういうテクニック・コツは
普通の数学では使われているのだろうか?
2023/04/04(火) 08:44:37.02ID:8xF99Wku
川゚д゚川y─┛~~
2023/08/08(火) 09:02:46.77ID:g9hmAmTu
分野によっては教師データ集めるのは大変だな
2023/09/13(水) 18:08:13.74ID:5j7sbQtO
人間並みの精度を出すには訓練データが10000個も必要なのか
2023/12/14(木) 17:49:14.34ID:tzJFcTjA
このスレ俺しかいねぇw
88デフォルトの名無しさん
2024/02/07(水) 16:15:02.37ID:Ij5o8j+y 130億程度のパラメータの言語モデルを国内各社が作ってるけど
あれちゃんと日本語理解できんの?🤔
初めから志低くない?😅
あれちゃんと日本語理解できんの?🤔
初めから志低くない?😅
89デフォルトの名無しさん
2024/02/10(土) 14:26:01.10ID:GuYEN8zb 今からNLPやるのってどういうモチベなんだろう?
日本語も外国が作ったAIがあっさりクリアしたし
日本語も外国が作ったAIがあっさりクリアしたし
2024/02/10(土) 14:44:46.46ID:MZPPbmOK
ちょっと不思議なんだけど
データベースだとそこにあるデータしか無いけど
何でこんなに小さなサイズで膨大な知識を作り出せるの?
逆に言えばこのサイズが大きくなれば何でも出来るようになるの?
データベースだとそこにあるデータしか無いけど
何でこんなに小さなサイズで膨大な知識を作り出せるの?
逆に言えばこのサイズが大きくなれば何でも出来るようになるの?
2024/02/10(土) 17:49:39.29ID:6ZZO7tOM
ものすごく単純に言うと
データ間の関係かな
データベースは単なるデータの集合だけど
機械学習では、多数のデータ間の関係を学習している
二つ、三つ、四つ・・・のデータが同時に使われいてるかどうか
当然サイズが大きくなると網羅できる範囲は大きくなる
未知のデータに対しても似たものを探してくる
20世紀には if 文を重ねてやっていたんだけど
あまりにデータの規模が大きくなると管理できなくなるし
新たなケースに関してはお手上げだった
データ間の関係かな
データベースは単なるデータの集合だけど
機械学習では、多数のデータ間の関係を学習している
二つ、三つ、四つ・・・のデータが同時に使われいてるかどうか
当然サイズが大きくなると網羅できる範囲は大きくなる
未知のデータに対しても似たものを探してくる
20世紀には if 文を重ねてやっていたんだけど
あまりにデータの規模が大きくなると管理できなくなるし
新たなケースに関してはお手上げだった
2024/02/10(土) 18:03:39.87ID:MZPPbmOK
そうすると、DB同士を同じ様にネットワークで繋げばそのまま出来上がるの?
あと、人間と同じ程度のLLMなら、そもそも何GBくらいの容量になるんだろ?
あと、人間と同じ程度のLLMなら、そもそも何GBくらいの容量になるんだろ?
2024/02/10(土) 20:00:16.76ID:6ZZO7tOM
「同じ様にネットワークで繋げば」
ここが微妙
実際にはデータをどんどんプログラムに入力していくイメージ
例をたくさん入力するとルールみたいなものを自動で獲得する
古くは example based な学習と呼ばれた
人間のニューロンの数が10の10乗といわれているから
1TBぐらいか?
実際にはニューロン間の連結が必要なのでさらにもう二桁ぐらい上
実際に計算するにはメモリ上に展開するだけでは遅くてしょうがないので
10の10乗ぐらいの数の素子が必要となる
あくまで人間そっくりに作った場合だけど
ディープラーニングは人間の思考の仕方からは相当離れたものになってしまったけど
実際には外部とのデータのやり取りも必要になるよね
聴覚、視覚、嗅覚、味覚、触覚みたいなもの
ここが微妙
実際にはデータをどんどんプログラムに入力していくイメージ
例をたくさん入力するとルールみたいなものを自動で獲得する
古くは example based な学習と呼ばれた
人間のニューロンの数が10の10乗といわれているから
1TBぐらいか?
実際にはニューロン間の連結が必要なのでさらにもう二桁ぐらい上
実際に計算するにはメモリ上に展開するだけでは遅くてしょうがないので
10の10乗ぐらいの数の素子が必要となる
あくまで人間そっくりに作った場合だけど
ディープラーニングは人間の思考の仕方からは相当離れたものになってしまったけど
実際には外部とのデータのやり取りも必要になるよね
聴覚、視覚、嗅覚、味覚、触覚みたいなもの
2024/02/10(土) 20:06:10.40ID:csewjQfG
「繋ぎ方」が問題よな。それこそが学習というか。
AIには本能がないから人間足り得ないんだけど、特定の条件で学習関係なく反応するって典型的なプログラムそのものだから、本能って実は簡単に実装できそうなのよね。
AIには本能がないから人間足り得ないんだけど、特定の条件で学習関係なく反応するって典型的なプログラムそのものだから、本能って実は簡単に実装できそうなのよね。
2024/02/10(土) 20:18:25.94ID:6ZZO7tOM
人間がやっていることって
外部から入力がなくでも
自主的に考えることができるよね
これが人間らしさの本質のような気がする
これだけだったら入力がなくても
内部状態を入力として
学習を進めればできるような気はする
外部から入力がなくでも
自主的に考えることができるよね
これが人間らしさの本質のような気がする
これだけだったら入力がなくても
内部状態を入力として
学習を進めればできるような気はする
2024/02/11(日) 07:24:58.09ID:pwhzOWcx
>>95
外部からの入力なしに出力できないのはAIも人も共通じゃないかな?
もし仮に獣に育てられて成長したら人間みたいな思考回路は形成されないような気がする
昔獣に育てられた人間がいたけど人間社会には結局馴染めなかったような
例えばWikipediaやネットの論文だけを頭に詰め込んで、ランダムなSeedで色々自動で考えたとして
果たしてどこまで新しい理論なら話が生まれるのかは気になるな
ただ、一定数までは組み合わせでできても、そこから先は外部からの新しい刺激がないと成長しない気もする
それとも、外部からの入力無しでもアイデアがアイデアを呼び無制限に想像ができるのか・・・
外部からの入力なしに出力できないのはAIも人も共通じゃないかな?
もし仮に獣に育てられて成長したら人間みたいな思考回路は形成されないような気がする
昔獣に育てられた人間がいたけど人間社会には結局馴染めなかったような
例えばWikipediaやネットの論文だけを頭に詰め込んで、ランダムなSeedで色々自動で考えたとして
果たしてどこまで新しい理論なら話が生まれるのかは気になるな
ただ、一定数までは組み合わせでできても、そこから先は外部からの新しい刺激がないと成長しない気もする
それとも、外部からの入力無しでもアイデアがアイデアを呼び無制限に想像ができるのか・・・
97デフォルトの名無しさん
2024/02/12(月) 19:43:05.97ID:/4tzRp4y MoEはモエと読めばいいの?
2024/02/13(火) 03:53:58.65ID:QIUviIGO
人間には思いもよらない組み合わせ
あるいは人間には複雑すぎて考えつかない意味ある組み合わせを
自動的に発見できる可能性がある
あるいは人間には複雑すぎて考えつかない意味ある組み合わせを
自動的に発見できる可能性がある
2024/02/13(火) 04:06:42.28ID:ho1CTtgC
それってむしろAIの方が得意な気が
しかも寝ることもなしに出来るし
しかも寝ることもなしに出来るし
100デフォルトの名無しさん
2024/02/13(火) 05:49:26.30ID:QIUviIGO しかも超並列にできるし
101デフォルトの名無しさん
2024/02/13(火) 19:24:10.74ID:FJ91gj78 トヨタが採用にE資格を歓迎する条件に入れるようになったな
多少は役に立つ資格になったな
多少は役に立つ資格になったな
102デフォルトの名無しさん
2024/02/14(水) 07:38:55.08ID:FsvTGsok よく考えてみると場当たり的に総当たりすると
サルがシェークスピアを書けるのかと同じ話のような気がする
サルがシェークスピアを書けるのかと同じ話のような気がする
103デフォルトの名無しさん
2024/02/14(水) 07:43:13.33ID:tWw+mBW4 何の話?🤔
104デフォルトの名無しさん
2024/02/14(水) 12:06:51.68ID:ucHmd7Sf105デフォルトの名無しさん
2024/02/15(木) 10:13:38.92ID:vdruzJlw トヨタで使うん?
106デフォルトの名無しさん
2024/02/15(木) 11:27:59.84ID:fgu+wVAs 期間労働者だろ
107デフォルトの名無しさん
2024/02/20(火) 15:27:38.82ID:CFRKHuhJ E資格って難しいんだろ
実務経験でaiやってる人とかが受けてる
実務経験でaiやってる人とかが受けてる
108デフォルトの名無しさん
2024/02/20(火) 18:35:35.06ID:f6YuYurO 選択式で合格率70%、何処が難しいw
109デフォルトの名無しさん
2024/02/21(水) 13:05:00.39ID:BZz39MCC あいてーぱすぽーとくらいじゃねえの?🤔
110デフォルトの名無しさん
2024/02/23(金) 21:22:56.26ID:5Pidh17v ベースをllama2に選択肢はもうないよな
111デフォルトの名無しさん
2024/02/26(月) 17:15:24.80ID:M3Fy4uSP 【AI】Stable Diffusion 3発表、Soraで話題の拡散トランスフォーマーを採用 [すらいむ★]
http://egg.5ch.net/test/read.cgi/scienceplus/1708865670/l50
ボイス・トォ・スカるしている者も攻撃を受けるようになりました
http://egg.5ch.net/test/read.cgi/scienceplus/1708865670/l50
ボイス・トォ・スカるしている者も攻撃を受けるようになりました
112デフォルトの名無しさん
2024/02/29(木) 02:23:05.97ID:SozX9gQp 技術的特異点/シンギュラリティ【総合】避難所17
https://jbbs.shitaraba.net/bbs/read.cgi/study/13463/1707569032/
https://jbbs.shitaraba.net/bbs/read.cgi/study/13463/1707569032/
113デフォルトの名無しさん
2024/03/01(金) 22:51:26.19ID:Y2FpEKvZ >中身を1と0と-1で表現してる
>なので4値の2bitではないけど3値必要なので正確には1.58bit
>こうすることでかけ算があったはずの行列の計算を強制的に足し算引き算無の3種類に落とし込める
>加えて演算を進めていくにつれて浮動小数だとノイズが混じっていくが、こっちは精度が落ちようがない
ニュース記事
『1.58ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も』
https://wirelesswire.jp/2024/02/86094/
かねてから「1ビット量子化」の研究を続けて来たMicrosoftのがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
https://i.imgur.com/VMD8HyS.png
最近主流になっている70B(700億)パラメータモデルでの比較である。Llamaの70BとBitNetの70Bモデルを比較すると、BitNetは8.9倍のスループットを誇るという。
「速いだけで回答が微妙なのでは」と心配するのが普通だろう。
そこでLlamaモデルとの比較が載っている。
https://i.imgur.com/zmgoo1X.png
BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
Llamaよりも性能劣化してないどころか性能は上がっている。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
https://i.imgur.com/1tcsItA.png
>なので4値の2bitではないけど3値必要なので正確には1.58bit
>こうすることでかけ算があったはずの行列の計算を強制的に足し算引き算無の3種類に落とし込める
>加えて演算を進めていくにつれて浮動小数だとノイズが混じっていくが、こっちは精度が落ちようがない
ニュース記事
『1.58ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も』
https://wirelesswire.jp/2024/02/86094/
かねてから「1ビット量子化」の研究を続けて来たMicrosoftのがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
https://i.imgur.com/VMD8HyS.png
最近主流になっている70B(700億)パラメータモデルでの比較である。Llamaの70BとBitNetの70Bモデルを比較すると、BitNetは8.9倍のスループットを誇るという。
「速いだけで回答が微妙なのでは」と心配するのが普通だろう。
そこでLlamaモデルとの比較が載っている。
https://i.imgur.com/zmgoo1X.png
BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
Llamaよりも性能劣化してないどころか性能は上がっている。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
https://i.imgur.com/1tcsItA.png
114デフォルトの名無しさん
2024/03/01(金) 23:24:46.53ID:3diTBnzF ひらけーごま
115デフォルトの名無しさん
2024/03/11(月) 14:55:06.11ID:AfaJcERc mixtralから継続学習したなら日本語性能高くなるの当たり前でしょ
なんなん?お手軽な研究してんのな
なんなん?お手軽な研究してんのな
116デフォルトの名無しさん
2024/03/11(月) 15:12:53.76ID:5mWKSb/v ヒント:シナMS
117デフォルトの名無しさん
2024/03/13(水) 09:57:26.46ID:inrm7MKc イライザも新しいの出してきたね
118デフォルトの名無しさん
2024/03/14(木) 13:27:12.08ID:XTerv41X gpt-3.5−turboにギリギリ勝てるか勝てないかってところなのに
日本語に得意とかいい出すの、どうなんだろうね😅
日本語に得意とかいい出すの、どうなんだろうね😅
119デフォルトの名無しさん
2024/03/16(土) 18:01:22.17ID:tOHDZoL5 生成AIばかり注目されて悲しい
120デフォルトの名無しさん
2024/03/20(水) 21:54:59.41ID:GzdRVYIj 猫も杓子も生成AI
認識、異常検知、予測への転用は難しかろうし
認識、異常検知、予測への転用は難しかろうし
121ランベルト星人
2024/03/21(木) 06:40:09.03ID:O+6PFfVS x2 = x1 * POWER(SQRT(r),x1) ─@
の逆関数∧厳密でない解∧ランベルト関数は使用ない
ま、それは、数値解析的な方法なら
プロマネ🤡でも出来るぢゃないか
完成1版の中規模なPG改造だ
完成2版として緊急開発し、
現状の総合テストは中止という
方法もあろう。ま、その判断は、
プロマネの仕事だ。どうなるかは未知数
∴ワシの霊的確率は、それは50%ジャスト
by 👤
の逆関数∧厳密でない解∧ランベルト関数は使用ない
ま、それは、数値解析的な方法なら
プロマネ🤡でも出来るぢゃないか
完成1版の中規模なPG改造だ
完成2版として緊急開発し、
現状の総合テストは中止という
方法もあろう。ま、その判断は、
プロマネの仕事だ。どうなるかは未知数
∴ワシの霊的確率は、それは50%ジャスト
by 👤
122デフォルトの名無しさん
2024/03/23(土) 17:58:36.35ID:Te2FRrmf sakana aiのllmが出たぞ
日本勢の研究はどれも負けてる
日本勢の研究はどれも負けてる
123デフォルトの名無しさん
2024/03/23(土) 22:36:53.35ID:c1pupOrk 日本語NLPですら外国人に勝てないのに、なんで同じ土俵に上がろうとするかね
124デフォルトの名無しさん
2024/03/24(日) 07:01:45.95ID:/GZ2lYad そこまでは言わんけど
なんでもっと真面目にやらないのかなと思う
いい加減な仕事してんなあって
なんでもっと真面目にやらないのかなと思う
いい加減な仕事してんなあって
125デフォルトの名無しさん
2024/03/24(日) 14:00:45.31ID:/GZ2lYad プレスリリース見たけど驚いてばっかり
126デフォルトの名無しさん
2024/03/24(日) 17:01:52.50ID:GMGvnUD/ キャッチーな単語がずらりw
127デフォルトの名無しさん
2024/03/26(火) 18:10:24.53ID:xpVB44e+ nttのtuzumiだっけ?
パラメータの少なさは理解力、論理的思考力の低さと同義
専用線でセキュアに使えるのはいいとしても性能が低かったらアンケートの要約くらいにしか使えないじゃん
そんなもんセキュアに実行する必要なくない?秘密のアンケートなん?😅
パラメータの少なさは理解力、論理的思考力の低さと同義
専用線でセキュアに使えるのはいいとしても性能が低かったらアンケートの要約くらいにしか使えないじゃん
そんなもんセキュアに実行する必要なくない?秘密のアンケートなん?😅
128デフォルトの名無しさん
2024/04/01(月) 09:00:58.89ID:TAJ7D6EF openaiが日本に拠点作るってよ😅
129デフォルトの名無しさん
2024/04/02(火) 06:24:17.35ID:N2zyq1vR tensorflowのニューラルネットをchatGPTに作らせるというシュールな作業
130デフォルトの名無しさん
2024/04/02(火) 13:19:40.05ID:wEcXCrlc え?なんかへん?
131デフォルトの名無しさん
2024/04/02(火) 19:29:42.21ID:OeGxjYYI132デフォルトの名無しさん
2024/04/03(水) 14:19:34.64ID:H0vzXUPr 画像を集めるのが辛すぎる
レスを投稿する
ニュース
- 地方で深刻移動貧困の実態「車のために働いてる」手取り15万円のシンママ月3.2万円が軽自動車の維持費 [七波羅探題★]
- 【芸能】奈良・橿原市に「エドモンド本田」突っ張り銅像…市長「世界中の人に楽しんでもらいたい」 [湛然★]
- 「これらも違反として検挙しています」岡山県警の注意喚起に「教習所行き直したほうがいい」 [試オ波羅探題★]
- 室蘭 日本製鉄の製鉄所で爆発 火災発生し消火活動続く [蚤の市★]
- 【芸能】ジョン・トラヴォルタの25歳の愛娘、刺激的なルックで雑誌の表紙を飾る [湛然★]
- 【ファッション】「同級生に笑われたことも」現役女子大生が「全身レギンス姿」で大学に通う理由…日本に「アスレジャー」は定着するのか [湛然★]
- 古市憲寿「スタジオでも中国批判して気持ち良くなってる人はいるが高市答弁で日本人は損してる。国益を害した」スタジオ凍りつく★2 [931948549]
- 【悲報】自転車乗り、4月から終わる 普通に乗ってても2万3000円くらい罰金を取られる [455031798]
- 【悲報】ありがとう高市自民党!いま「ふりかけ」が熱い!売り上げ過去最高を記録 [115996789]
- イケメンなのにナチュってきた
- ファブルの佐藤の嫁のミサキちゃんって枕やってたのかよ
- 【悲報】立憲岡田、民意を批判してしまう。「国民の5割が高市さんの発言に肯定的というのは問題」議員辞職しろよ [519511584]
