ワイ氏、AIアルゴリズムTransformer理解できない

**デフォルトの名無しさん** · 2024/08/16(金) 03:04:51.87

CNNとかRNNとか理解できて組めるけど、こいつだけ理解できんし組めん

**デフォルトの名無しさん** · 2024/08/16(金) 03:09:06.20

他人の組んだやつを少しいじったりはできるけど、パラメータ数とかのいじったりできんわ。誰かに聞きたいんやけどこんなやつ結構多いと思うんよ

**デフォルトの名無しさん** · 2024/08/16(金) 03:14:20.62

何が理解できないの？

**デフォルトの名無しさん** · 2024/08/16(金) 14:23:36.24

ところで開発環境はどうしてるの？
でっかいモデル学習させるのに必要なGPUって高いやろ？
ちっこいモデルで我慢するのかな？

**デフォルトの名無しさん** · 2024/08/16(金) 15:00:20.27

>>3
いろいろ理解できてないから分からないとすごく言いたい。
前提として今まで趣味でCNNとかをkerasで組んでます。
Transformerはtorchになるからそこで少しつまずいているのもあります。
__init__とforwardとかも__init__が定義でforwardが処理みたいなことぐらいしか理解できない。
self-attentionのqkvとかもよくわかってない。ネットで調べても数式の解説とかが多くて、私には分からんかった。高卒なので線形代数とか分からない。
漢検5級の人が1級の勉強をしている感覚です。ところどころわかるけど、全体通すと分からないです。

**デフォルトの名無しさん** · 2024/08/16(金) 15:09:07.96

>>4
Python開発環境は、Python 3.9.0を使用しています。Visual Studio Codeを仮想環境はvenvで管理しています。OSはWindows 10です。
CPUはryzen9 5900x
メモリ 96GB
グラボ RTX 3090
今は個人向けグラボで学習できる範囲でしています。
1bぐらいのモデル学習させてみたいです

**デフォルトの名無しさん** · 2024/08/16(金) 19:58:02.10

>>6
ちっこいモデルでだよね
さくらのサーバとか契約してる人はいないのかな？