人工知能ディープラーニング機械学習のための数学 [無断転載禁止]©2ch.net

1デフォルトの名無しさん2016/12/27(火) 12:09:04.01ID:MgmqZKtO
人工知能ディープラーニング機械学習のための数学

751デフォルトの名無しさん2018/08/22(水) 20:23:14.92ID:UCPmMQzw
一緒だよ

752デフォルトの名無しさん2018/08/22(水) 20:43:45.93ID:qbOJHKbO
>数学で良く使われる線形代数
お察しw

753デフォルトの名無しさん2018/08/23(木) 09:11:55.04ID:29gBK1aD
NHKω

754デフォルトの名無しさん2018/08/23(木) 15:06:06.83ID:Yll/HlKL
>>744
それ線形代数になれてないと、本当に最初混乱するけど
冷静にサイズチェックして行列の掛け算が実行可能なやり方にすればできる

一般化して簡単化してる講義ではnx1行列のθとXを想定してるから
スライドでもθ[θ1;θ2;θ3;....θi]、X[x1;x2;x3;....xi]って列ベクトル(orたまに行ベクトル)で表記してる
その場合、θ' has size 1 x n、X has size n x 1になって
θ' * Xで左からかける行列の列数と右の行数が一致してるから計算できる

要はθとXで内積取ればいいって考えれば,X has size m x 1、θ has size 1 x 1に
インターセプト項を加えて、Xがm x n行列、θがn x 1行列になった時
これらの行列の内積を取るには、(θ' * X') or X * θを計算すれば良いと分かるっていう
講義中の線形代数のチュートリアルでやってる簡単な話になる

755デフォルトの名無しさん2018/08/23(木) 15:14:07.22ID:Yll/HlKL
てか俺もまだMLやってる途中なんだけど
同じ教授のディープラーニングコースの方をやり終えた人いる?
いたらどの程度日本語字幕付いてるか教えてほしい
1週間の無料期間だとちょっとしか見れないだろうから

日本語字幕ありとなしじゃ倍以上理解に時間かかるわ…

756デフォルトの名無しさん2018/08/23(木) 15:41:42.39ID:nRYvmGHy
行列の内積や積の意味さっぱりわからずに単に数字の操作としてしかやってないからそんなつまんないところで躓くんだろうな
やっぱ線形代数の入門書ぐらいは読んどいた方がいい

757デフォルトの名無しさん2018/08/23(木) 15:45:33.72ID:9jntmGn7
■クソマウンティング警戒情報■

クラス1 大学の授業で線形代数をやっただけのおっさん
クラス2 大学には行かなかったが線形代数を独習したおっさん

このあたりが出没してるので気をつけましょう。

758デフォルトの名無しさん2018/08/23(木) 15:46:40.80ID:NPcuqlt3
AI関係はヤバいのがいるという噂は本当だった

759デフォルトの名無しさん2018/08/23(木) 15:57:35.51ID:dSKkSrpr
線形代数知らないと大損だよ!

人工知能
ディープラーニング
機械学習
だけじゃないよ!

プログラミングでかなり重要

760デフォルトの名無しさん2018/08/23(木) 15:58:56.38ID:0ACQCzra
そりゃ線形代数は大事だよ!!!

761デフォルトの名無しさん2018/08/23(木) 16:15:33.38ID:+UveuQfQ
>>757
ここは高卒率高い

762デフォルトの名無しさん2018/08/23(木) 20:57:35.73ID:n9wdMl+k
行列学ぶにはには画像処理がいいって、
それ一番言われてるから。
データサイエンスから派生してOPenCV
始めたけどかなり楽しいゾ。
数式見るだけより画像がどう変化するかを
確認するとアルゴリズムの意味や目的が
はっきりわかんだね。

763デフォルトの名無しさん2018/08/23(木) 21:42:01.92ID:hpTFsjjR
結局ライブラリ使ってるから数学関係ないよね

764デフォルトの名無しさん2018/08/23(木) 22:27:21.08ID:n9wdMl+k
ライブラリを使うには数学知識が必須
なんだよなぁ…
例えばnumpyを使うのに行列知識ゼロじゃ
使いこなせない。
逆にnumpyを使っているうちに行列への
理解が深まるってこともあるし。

765デフォルトの名無しさん2018/08/24(金) 01:04:01.12ID:1PBeUR3/
まあサラスの公式とかは覚える必要ないよね

766デフォルトの名無しさん2018/08/24(金) 03:41:37.45ID:6wpy6wRV
回答がつくか自信がないですがいくつか質問です
@ 右上の▽E(w)の定義を教えてください
A なんで式の3行目のβにはtがくっついているのですか

https://i.imgur.com/cqdg8pC.jpg

767デフォルトの名無しさん2018/08/24(金) 05:08:08.95ID:c+mh3mBZ
>>569
もちろんある程度大学の数学をやった上で言ってるんだと思うんだけど
ある程度やった上での発言だとしたら頭が悪いわ

768デフォルトの名無しさん2018/08/24(金) 05:59:54.55ID:/QW9Joy2
>>765
行列式の計算とかnumpyで楽チン。

769デフォルトの名無しさん2018/08/24(金) 06:29:31.37ID:dwzt+F5U
>>766
>@ 右上の▽E(w)の定義を教えてください
損失関数Eの勾配
=δE/δw

>A なんで式の3行目のβにはtがくっついているのですか
学習の経過に従って、mとvの寄与度を調整して学習を安定させる

770デフォルトの名無しさん2018/08/24(金) 06:32:34.83ID:dwzt+F5U
∂E/∂w だった(偏微分記号)

771デフォルトの名無しさん2018/08/24(金) 06:56:46.17ID:dwzt+F5U
Aの補足

学習の初期段階でtが小さい時にmとvを調整して学習を安定させる効果がある。

この式の分母はtが大きくなるとほぼ1になりほとんど変化しなくなる。

772デフォルトの名無しさん2018/08/24(金) 09:07:03.58ID:1nJvNU0i
>>766
BPから勉強しろ

773デフォルトの名無しさん2018/08/24(金) 12:44:28.77ID:TTydjelR
まさか今更微積や線形代数の復習する羽目になるとは

774デフォルトの名無しさん2018/08/24(金) 12:58:10.52ID:6wpy6wRV
>>766です
ありがとうございます、解決しました

tが0から始まるとすればbeta^0でそっから1引いたものが分母になるから分母0にならないですか?

775デフォルトの名無しさん2018/08/24(金) 13:09:28.12ID:KZ7MNsvQ
1から始めればよい

776デフォルトの名無しさん2018/08/25(土) 18:31:41.77ID:Dxvsv0A8
>>775
ありがとうございました!

下層からの誤差って具体的に何ですか?
https://i.imgur.com/y0O5glz.jpg

https://qiita.com/eijian/items/c947fb6b5e7a49858fb4

777デフォルトの名無しさん2018/08/25(土) 22:43:44.04ID:xNcAdL4l
>>776
その畳み込みの次にある層からの誤差

778デフォルトの名無しさん2018/08/26(日) 00:28:46.57ID:ZbBrZXXn
誤差逆伝播法では誤差が下層から上層に伝えられていく。誤差が具体的に何かと聞かれても、正解値と推定値の差を順次上層に向かって伝えられていく値としか答えようがない。

779デフォルトの名無しさん2018/08/26(日) 00:35:44.23ID:czFWrRej
>>777
例えば畳み込み層の前がプーリング層だった場合具体的に何が誤差になりますか?

780デフォルトの名無しさん2018/08/26(日) 00:59:20.08ID:ZbBrZXXn
例えばMAXプーリング層では、下層から伝えられた誤差(偏微分値)を、順伝播時のMAXだったノードに伝えられる。MAX以外のノードには0が伝えられる。このようにそのノードの性質によって何が伝えられるかは変わってくる。

781デフォルトの名無しさん2018/08/26(日) 02:15:36.01ID:czFWrRej
>>780
そのプーリング 層の前が全結合層だった場合その層での誤差は何になるのでしょう?全結合層での入力層と隠れ層の間の重みとかですか?

782デフォルトの名無しさん2018/08/26(日) 02:36:56.87ID:DVI2ghbE
東京大学理学部数学科に入って、数論幾何学を勉強したい。
でも脇見恐怖症だしなぁ・・・・・。

783デフォルトの名無しさん2018/08/26(日) 08:52:46.06ID:Eme/jpQ6
>>781
全結合部の出力層で誤差関数で誤差を求めて後は入力側に向かってその誤差を各ニューロン毎に重み掛け算して分配していく。
分配が終わったら誤差、学習率等を使って各重みを更新。間違ってたら指摘お願いします

784デフォルトの名無しさん2018/08/26(日) 09:59:18.87ID:1PWWH1+1
>>783
「重み掛け算」というのが違う。どのように分配していくかは、順伝播時ノードの処理によって変化する。足し算ノードなら何もかけずに逆伝播させるし、掛け算ノードであれば逆ノードの値を掛けて逆伝播させるし。

785デフォルトの名無しさん2018/08/26(日) 10:05:05.45ID:1PWWH1+1
上記についてはこのページが詳しいかな
ttps://qiita.com/t-tkd3a/items/031c0a4dbf25fd2866a3

786デフォルトの名無しさん2018/08/26(日) 12:56:14.32ID:lds9ox+q
リアルプログラムでは学習した結果ってどうやって永続化してるの?
ファイルに書き出すの?

787デフォルトの名無しさん2018/08/26(日) 13:49:35.32ID:1PWWH1+1
パラメータをファイルやDBに書き出します。

788デフォルトの名無しさん2018/08/26(日) 13:55:39.86ID:u+wmgHES
基本的には各サンプルを通して損失関数を最小化するθ(重み)が学習成果なわけだから
そのθをファイルに保存する
途中からの場合θのファイルをロードする
モデルによって他にドロップアウトやRegularization値など自動で最適化してるハイパーパラメータがあればそれもファイルに保存する

789デフォルトの名無しさん2018/08/26(日) 20:58:22.32ID:czFWrRej
>>785
ありがとうございます!

790デフォルトの名無しさん2018/08/26(日) 23:47:20.20ID:lds9ox+q
>>787
>>788
サンクス

791デフォルトの名無しさん2018/08/27(月) 12:03:01.85ID:Q4eMB8Ps
起動に15時間
シャットダウンに7時間

792デフォルトの名無しさん2018/09/01(土) 12:14:47.04ID:wGe/Loro
CNNの畳み込み層でも活性化関数使うのが普通なんですか?

あと3次元フィルタを使ってますが、私のフィルタは2次元です。一度グレイスケールにしてからフィルタ適用しているので...この3次元フィルタを使うことの方が普通なのかな?
http://iup.2ch-library.com/i/i1931933-1535771487.jpeg
http://iup.2ch-library.com/i/i1931932-1535771487.jpeg

https://www.google.co.jp/amp/s/deepage.net/amp/deep_learning/2016/11/07/convolutional_neural_network

あと1層目でエッジ検出はわかるのですが、次の層でテクスチャ検出できるのが意味がわかりません、テクスチャって水玉模様とかそんなのですよね?
http://iup.2ch-library.com/i/i1931934-1535771654.jpeg
3次元フィルタを使うことに関しては特徴マップが何層もあるから?

793デフォルトの名無しさん2018/09/01(土) 23:34:32.22ID:gvHsCwll
全部チューニングの問題。その設定で精度のが上がれば、そのタスクにとっては「正しい」設定となる。

794デフォルトの名無しさん2018/09/01(土) 23:35:20.62ID:gvHsCwll
チューニングというより設計の問題かな。

795デフォルトの名無しさん2018/09/02(日) 18:18:25.17ID:Gf+N3VgJ
色々深層学習のライブラリ弄ってて、モデルそのものを弄りたくなってきて調べたけど

既存の深層学習のライブラリ全部、iter中に計算速度稼ぐことメインに考えてて
気軽に独自モデル試せるようなもんじゃないんだな
ライブラリ使って新しいモデル作ってる研究者は低レベルで殴り合ってるわけだ
ソース見てもモジュール化されすぎてて全部理解するのには相当時間かかる

独自にモデル作ってる人らには頭が下がるわ
フルスクラッチでやったほうが実装そのものは相当楽だろ
でも今どきフルスクラッチでDNNの新モデル作ったところで研究者には見向きもされないんだろうな

796デフォルトの名無しさん2018/09/03(月) 01:01:43.69ID:esF28k94
そうでもない
がんがれ

797デフォルトの名無しさん2018/09/07(金) 20:14:05.61ID:bOuttf63

798デフォルトの名無しさん2018/09/08(土) 17:42:16.54ID:RrQSE86D
似非サイエンス0でやってた

799デフォルトの名無しさん2018/10/06(土) 11:09:34.88ID:KmIbUzui
NHK教育を見て56088倍賢く三連休
http://nhk2.5ch.net/test/read.cgi/liveetv/1538780245/

800デフォルトの名無しさん2018/10/08(月) 11:30:39.16ID:+5qyKWRv

801デフォルトの名無しさん2018/10/08(月) 13:54:24.56ID:Pg4k0kTf
memorandum

新着レスの表示
レスを投稿する