ワイ氏、AIアルゴリズムTransformer理解できない

**デフォルトの名無しさん** · 2024/08/16(金) 03:09:06.20

他人の組んだやつを少しいじったりはできるけど、パラメータ数とかのいじったりできんわ。誰かに聞きたいんやけどこんなやつ結構多いと思うんよ

**デフォルトの名無しさん** · 2024/08/16(金) 03:14:20.62

何が理解できないの？

**デフォルトの名無しさん** · 2024/08/16(金) 14:23:36.24

ところで開発環境はどうしてるの？
でっかいモデル学習させるのに必要なGPUって高いやろ？
ちっこいモデルで我慢するのかな？

**デフォルトの名無しさん** · 2024/08/16(金) 15:00:20.27

>>3
いろいろ理解できてないから分からないとすごく言いたい。
前提として今まで趣味でCNNとかをkerasで組んでます。
Transformerはtorchになるからそこで少しつまずいているのもあります。
__init__とforwardとかも__init__が定義でforwardが処理みたいなことぐらいしか理解できない。
self-attentionのqkvとかもよくわかってない。ネットで調べても数式の解説とかが多くて、私には分からんかった。高卒なので線形代数とか分からない。
漢検5級の人が1級の勉強をしている感覚です。ところどころわかるけど、全体通すと分からないです。

**デフォルトの名無しさん** · 2024/08/16(金) 15:09:07.96

>>4
Python開発環境は、Python 3.9.0を使用しています。Visual Studio Codeを仮想環境はvenvで管理しています。OSはWindows 10です。
CPUはryzen9 5900x
メモリ 96GB
グラボ RTX 3090
今は個人向けグラボで学習できる範囲でしています。
1bぐらいのモデル学習させてみたいです

**デフォルトの名無しさん** · 2024/08/16(金) 19:58:02.10

>>6
ちっこいモデルでだよね
さくらのサーバとか契約してる人はいないのかな？

**デフォルトの名無しさん** · 2024/08/16(金) 22:07:23.46

>>7
ちっこいモデルを作れないので考えてないです。
さくらインターネット系のレンタルグラボの契約してる人いないです。

**デフォルトの名無しさん** · 2024/08/17(土) 19:18:21.57

>>5
ちょっとその程度だとアドバイスのしようがない
頑張って勉強してくれ

**デフォルトの名無しさん** · 2024/08/18(日) 16:04:34.44

興味で数年前に理解したがすぐ忘れてしまったが生活に支障はないよ
qkvとか確かにあったね。それが成り立つように学習するってだけでしょ

**デフォルトの名無しさん** · 2024/08/18(日) 16:57:32.92

>すぐ忘れてしまったが
>生活に支障はないよ
ほんと最近これ

**デフォルトの名無しさん** · 2024/08/26(月) 21:45:56.55

Transformerの資料はNLPを想定して書かれてるから余計に混乱する
GPTなら解るが、Transformerは汎用性が高いのに