RT @kohya_tech: DyLoRAも実装した。DyLoRAは指定したrank以下の任意rankのLoRAを抽出できるらしい。dim(rank)=16で学習して、それぞれ4、8、12、16で抽出したLoRAの生成結果。
実装を見ながら適当に再現実装したけど、scaleするとおかしくなるし何か間違ってる気もする……(;･∀･) https://t.co/kLgoChczFr