某所のLora学習率lr算出方法の説明
> 目標学習度95%=0.95、目標エポック数:20
> 教師画像数:20枚、リピート数:10
> 正則画像:なし、バッチ数:2
> LR Scheduler係数:constant → 1.0
> オプティマイザー係数:AdamW → 1.0
> アルゴリズム係数:LoRA,LoCon → 1.0
> 学習率=(目標学習度/総Step数)×各Step毎の学習率係数
> 総step数=(教師画像数×リピート数+正則画像数×リピート数)* バッチ数* 目標エポック数
> 各Step毎の学習率係数 = LR Scheduler係数×オプティマイザー係数×アルゴリズム係数
> 学習率Lr=0.95/20/(20*10*2)
単に1/全数ってだけのことを、ここまでわかりにくく書ける才能に驚く
目標0.95て、0.05とか数値的に誤差だろ
学習率Lr=0.95/(20*20*10*2)
でいいのをわざわざ割り算入れたり無茶苦茶
探検
【StableDiffusion】AI画像生成技術15【NovelAI】
■ このスレッドは過去ログ倉庫に格納されています
2023/09/18(月) 10:04:12.89ID:yuaxrs9a
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 高市内閣、支持率横ばい75% (日経・テレ東 世論調査) ★3 [少考さん★]
- 【調査】クレジットカード、1人何枚持つのが「平均的」?★3 [ひぃぃ★]
- 【テレビ】池上彰氏 報道の自由度が高い国の特徴「どんどん政府を批判する。政治家は受け入れる」 一方独裁国家は… [冬月記者★]
- 【国防】防空ミサイル(中SAM) 輸出検討へ 政府、フィリピンと非公式協議 [シャチ★]
- 【作家】高市総理支持の背景に見えるヤンキー的「ケンカ上等!」と「日本人は特別だ」感がとても怖い 北原みのり [少考さん★]
- 「ヘイトスピーチをやめろ」 各地の「移民反対デモ」に抗議活動 [蚤の市★]
- 現役JKのお茶会スレ( ¨̮ )︎︎𖠚ᐝ174
- 高市が首相になってからSNSの雰囲気変わったよな。少しでも批判しようなら数の暴力で擁護、そして反論者へのデマ拡散 [472617201]
- 地震キタ━━━━(゚∀゚)━━━━!! [828897501]
- フィフィ「「歌唱強制中断」騒動、この時期に中国でライブ公演しようとするアーティストの方にも問題があるのでは?」 [377482965]
- 【菅悲報】発達チーズ、新幹線でマックを食し大炎上🐮 [559744496]
- 無観客フル公演の浜崎あゆみさん、中国でとんでもない尊敬を集めてしまう… これもうこの国の外交官だろ… [452836546]
