人工知能ディープラーニング機械学習の数学 ★3

**デフォルトの名無しさん** · 2020/08/30(日) 14:03:08.57

人工知能ディープラーニング機械学習の数学 ★2
https://mevius.5ch.net/test/read.cgi/tech/1551746188/

**デフォルトの名無しさん** · 2020/08/30(日) 15:41:31.62

「カーネル法と深層学習の数理」
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2020/index.html

**デフォルトの名無しさん** · 2020/08/31(月) 09:30:41.96

>>1 O2
https://www.youtube.com/watch?v=vU-JfZNBdYU
https://www.youtube.com/watch?v=TLY2NPpxd58

**デフォルトの名無しさん** · 2020/08/31(月) 23:14:47.60

DL SEMINAR
https://deeplearning.jp/seminar-2/

**デフォルトの名無しさん** · 2020/09/01(火) 12:31:10.94

キテマス

**デフォルトの名無しさん** · 2020/09/01(火) 14:46:43.38

キマス

**デフォルトの名無しさん** · 2020/09/01(火) 17:55:43.73

キマシタ

**デフォルトの名無しさん** · 2020/09/01(火) 20:13:50.16

脳裏にMr.マリックのテーマソングが鳴り響いた。

**デフォルトの名無しさん** · 2020/09/11(金) 08:21:49.22

来る　きっと来る　季節は白く～

**デフォルトの名無しさん** · 2020/09/12(土) 15:29:17.81

来るではなくウーウーだという9にとって残酷な真実

**デフォルトの名無しさん** · 2020/11/05(木) 13:57:31.18

母集団が3,240,549件で割合がほぼ50％（厳密には、49.6：48.9）で
棒グラフが直角に動く変動をすることがあるのかな
https://www.lifesitenews.com/news/voter-fraud-concerns-surface-over-sudden-unexpected-biden-jump-in-wisconsin-michigan

**デフォルトの名無しさん** · 2020/11/05(木) 14:02:22.89

↑
今朝の虎ニュースで指摘された問題点
垂直に上がるとしてなぜ売電だけで切り札のは(わずかでも)上がってないのか
票数の上がった割合とその瞬間での投票率の比率が可笑しい(全人口が急に10倍になったか)
とか色々言われてた

**デフォルトの名無しさん** · 2020/11/08(日) 21:30:19.97

>>11
全体でみると半々かもしれないが、局所は違うから…

**デフォルトの名無しさん** · 2020/11/10(火) 20:07:57.17

https://twitter.com/i/status/1326100599948013571
統計的に有り得ないとニュースでも言われてるぞ
https://twitter.com/5chan_nel (5ch newer account)

**デフォルトの名無しさん** · 2020/11/11(水) 09:54:50.16

母数が有効人口を超えることは統計的に有り得ないな

**デフォルトの名無しさん** · 2020/11/11(水) 19:07:33.73

AIcia Solid Project わかりやすいしおもしれーと思って来てみたら、既に貼られてた
この人、ヨビノリの放送でエントロピーに関して質問してて、東大博士だとか言われてたな

**デフォルトの名無しさん** · 2020/11/11(水) 20:34:58.09

何のことかと思ったら売電のことか

**デフォルトの名無しさん** · 2020/11/12(木) 11:31:23.46

AIciaは可愛いし話の内容も面白いけど
聲のギャップで脱落者多いと思うのが残念
最期まで聴ける人は多分少ない

**デフォルトの名無しさん** · 2020/11/12(木) 14:32:14.75

まぁでもおっさんが変声して完全受肉するよりは好感

**デフォルトの名無しさん** · 2020/11/12(木) 23:27:36.22

ちなみに物理教えてくれる美少女AIも最近よく見てる
Sabine Hossenfelder って言うんだけど、感情の載った表情ほとんどしないのでちょっと怖い
ディープラーニング使ってもう少し表情豊かにした方が良いと思う

**デフォルトの名無しさん** · 2020/11/25(水) 19:13:24.21

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

**デフォルトの名無しさん** · 2020/11/29(日) 00:00:03.46

https://kuizy.net/sketch/8419/20201128/8419_111661_940778

判定がガバガバなので、誰かちゃんと作り直したほうがいいのでは

**デフォルトの名無しさん** · 2021/01/01(金) 14:13:39.35

AlciaのCNNの内積説明は感動した。

**デフォルトの名無しさん** · 2021/01/01(金) 21:49:07.67

そもそも画像データとかの類似度を図るのは大体内積だね
正規化したりなんか小細工してても基本内積だよね

**デフォルトの名無しさん** · 2021/01/14(木) 09:49:01.32

googleのTensorFlowガイドの一部、訓練をkerasで実装したサンプルで__call__をオーバーライドするんじゃねーよ！
fitしたのにbuildが呼び出されてなくてsummary出来ないじゃないか！
正しくcallを定義しろ！

**デフォルトの名無しさん** · 2021/01/15(金) 09:34:06.07

TensorFlowのAPIマニュアルのcustom_gradientのlog1pexpについて
これをテープで自動微分させても勾配はNoneのままなんだが、なんで？
tf.exp(100)=infだからgrad()が計算できてないからじゃないかと思うんだけど、どうなん？

**デフォルトの名無しさん** · 2021/01/21(木) 15:51:55.02

tensorflow.orgのTensorFlowガイドのNumPy APIの
unvectorized_per_example_graeients 関数が、
ColaboratoryのGPUで動かすとCPUで動かした時の7倍の実行時間になる 7ms vs 49ms
なんだろ
GPUに転送するオーバーヘッド？

**デフォルトの名無しさん** · 2021/03/27(土) 11:55:18.61

文系は黙ってろ
京大准教授なのになぜか名古屋大学で出版

「数学苦手な」研究者が説く統計学の可能性　PCR検査からAiまで
https://www.kyoto-np.co.jp/articles/-/536424

amazon
dp/4815810036

**デフォルトの名無しさん** · 2021/03/27(土) 12:40:52.51

PyTorchは良いぞ

**デフォルトの名無しさん** · 2021/04/14(水) 11:02:51.16

FP率が高いPCR検査で感染者の実数の把握を試みると、
誤差が指数関数的に増大するアルファインフレーションの典型例のような現象が起きるけど
統計の専門家の立場から指摘する奴は居なかったのか？

8割おじさんとか、疫病の数理モデル作ってるなら、知らないはずないだろう

**デフォルトの名無しさん** · 2021/04/14(水) 12:26:35.10

そもそも「感染者」の測定の仕方があまりにも恣意的なので
統計的な議論をするのは困難

**デフォルトの名無しさん** · 2021/04/14(水) 12:30:55.60

PCRはウイルスが居る時期でないと判定できないからと、別口では抗体で調査してなかったっけか？

**デフォルトの名無しさん** · 2021/04/15(木) 09:57:51.71

現在、日本で認可されてるコロナウィルス感染キット
https://www.mhlw.go.jp/stf/newpage_11331.html

コーラでも陽性になったとかよく解らん噂があるけど、
偽陰性より偽陽性が高い傾向が有るから、検査数を増やせば名目上の感染者数が実数より増える

**デフォルトの名無しさん** · 2021/04/15(木) 21:21:07.98

>>33
それは系統誤差として処理できるはずだが

**デフォルトの名無しさん** · 2021/04/15(木) 22:15:00.55

>>33
各種派生タイプに感染出来るキット？

**デフォルトの名無しさん** · 2021/04/16(金) 00:41:15.11

>>34
一部のキットだけの系統誤差なら除外できるが、全てのキットで偽陽性が出るから、測定自体に系統誤差があって役に立たないという話ではないかな？

**デフォルトの名無しさん** · 2021/04/16(金) 10:36:53.48

>>36
数を知りたいだけなら他の方法論と組み合わせれば
系統誤差がかなり正確に求まるのでは

**デフォルトの名無しさん** · 2021/04/16(金) 11:54:29.70

異なる測定方法を交差させて精度を上げるテストなんて実際にやってないだろう
重症者数はニュース性があるかもしれんが、感染者数を毎日速報で流すような茶番は早く終わらせ欲しい

**デフォルトの名無しさん** · 2021/04/16(金) 22:15:32.50

Σ(日々の感染者数)＞日本の総人口
を証明せよ

**デフォルトの名無しさん** · 2021/07/15(木) 09:23:29.14

Conv2D に color channels が 3 のカラー画像を食わせたとき、チャンネル 1 のグレイスケール画像と同じでフィルタ数分の結果が出力されます
入力（横、縦、チャンネル）、出力（畳み込み横、畳み込み縦、フィルタ数）
カラー画像のチャンネルはどのように扱われているのか、どこかに書いてないでしょうか？
足し合わせてグレイスケールにしてフィルタが生成されるのでしょうか？

APIではchannels_firstとか指定した場合にはバッチ形状にくっつく様に結果が出力される様に読めますが、その指定は無いので上記の出力です（API仕様書にある通常の例と同じ

**デフォルトの名無しさん** · 2021/07/15(木) 09:24:54.54

>>40
あ、TensorFlow2です

**デフォルトの名無しさん** · 2021/09/23(木) 12:50:26.66

>>39
再感染はあるから QED

**オーバーテクナナシー** · 2021/10/13(水) 08:01:14.53

人工知能
https://rio2016.5ch.net/test/read.cgi/future/1286353655/

**デフォルトの名無しさん** · 2021/10/13(水) 08:28:18.46

実のところディープラーニングが人工知能かと言われると、首を傾げちゃう
知能をどう定義するか次第の話なんだけど
GTPだっていつかはOCRのように、やっぱこれも人工知能じゃないとか言われだすと思うから

**デフォルトの名無しさん** · 2021/10/13(水) 11:48:10.88

ディープラーニングは人工知能の一部ってだけ

**デフォルトの名無しさん** · 2021/10/13(水) 23:06:09.38

そそコホーネンこそ正義だよね～

**デフォルトの名無しさん** · 2021/10/14(木) 07:49:47.69

ディープラーニング自体はアーキテクチャに過ぎないからね
ノイマン型が現代の一般的なコンピューターのアーキテクチャだからと言って、コンピューターとはノイマン型のことであるとは言わないように

**デフォルトの名無しさん** · 2021/10/14(木) 08:04:08.89

tensorflow.orgのtransformerサンプルでわかんないところが
SparseCategoricalCrossentropyをfrom_logits=Trueで作ってるけど、食わせるtransformerの出力ってDenseで全結合しただけ
ロジットなのこれ？

**デフォルトの名無しさん** · 2021/10/14(木) 08:24:33.42

transformerの出力はargmaxで最大値のインデックス求めてその語彙を翻訳結果にしてるから、いわばスコアだと理解してる
でもロジットではないからSCCに食わせていいのかな？と

**デフォルトの名無しさん** · 2021/10/14(木) 08:28:59.61

順位さえあれば大雑把にはロジットであると見なしても問題はないということなの？

**デフォルトの名無しさん** · 2021/10/17(日) 15:29:56.00

2021年最新＊話題のGPT-3はやっぱりすごい
www.macnica.co.jp/business/ai_iot/columns/136353/
Transformer解説：GPT-3、BERT、T5の背後にあるモデルを理解する
ainow.ai/2021/06/25/256107/
OpenAIが1,750億のパラメーターを持つGPT-3 AI言語モデルを発表
www.infoq.com/jp/news/2020/08/openai-gpt3-language-model/

**デフォルトの名無しさん** · 2021/10/17(日) 16:11:34.40

GPTの背後にある思想ったら Scaling Law だろ
GPTはその実証だと言う人もいる
TransformerとAttentionはもう基盤になってて今さら背後とか言われても……

**デフォルトの名無しさん** · 2021/10/18(月) 21:27:08.02

これから機会学習を触ってみようと思ってるんだけどどういう環境で開発してますか？
グーグルコラボとかでやってる？
TPUv4は性能がすごいとかニュースになってたけど
12時間を超える機会学習ってそうそうない？

**デフォルトの名無しさん** · 2021/10/18(月) 23:02:31.20

初めはコラボがいいと思う

そしていずれGPUの利用時間制限に引っ掛かるようになって、ローカルにAnaconda入れてtensorflow-gpu動かすようになる
jupiterもあるし

**デフォルトの名無しさん** · 2021/10/19(火) 01:44:17.75

>>53
機会学習w

**デフォルトの名無しさん** · 2021/10/19(火) 08:33:02.76

>>54
レスサンクス
とりあえずノートにしてコラボから始めてみようと思います

**デフォルトの名無しさん** · 2021/10/21(木) 06:39:08.03

>>54
メモリ12GBを積んだ RTX 3060 が3万円台ならローカルで気軽に始められるのに、現状は6万円台だからね

**デフォルトの名無しさん** · 2021/10/25(月) 21:44:34.43

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

**デフォルトの名無しさん** · 2021/10/26(火) 11:08:30.32

MNIST分類問題をアテンションで組んだら11%から全く正解率が上がらなかった
でも先に進んでる論文を見つけて、真似して二次元の位置エンコーディングをフィルタ2カーネルサイズ1で畳み込んだらエポック5しか学習ループさせてないのに40%の正解率になってなお上昇中
Conv2Dの何がそんなに効果をもたらしているんだろう？

**デフォルトの名無しさん** · 2021/10/26(火) 11:17:22.85

>>59
なお、MNISTのデータが[32, 28, 28, 1]で、位置エンコーディングとして[32, 28, 28, 2]を組み込んで、アテンション出力とスキップ結合させるためにDenseで次元を増やしたものを入力にするという流れ
アテンションは一層のみで実装

**デフォルトの名無しさん** · 2021/10/26(火) 11:31:40.82

>>59
見なくても分類では問題がないピクセルは位置エンコーディングを省くような学習がされてたりするのだろうか？

**デフォルトの名無しさん** · 2021/10/26(火) 19:32:40.99

>>59
なぜかチューンアップしたら5エポックで90%まで正解率が上がった
画像解析にアテンション使った時に位置エンコーディングを畳み込むのって効果がありすぎて引くわ
理由はわからんけど

**デフォルトの名無しさん** · 2021/10/26(火) 19:37:04.29

まぁあれだ、今はMNISTの精度はほぼ100%なんだ