RT @npaka123: RWKV-LoRA、Colab Pro で7Bまで学習実行できるのを確認。14BはシステムRAM足りず。

7B : GPU RAM 23.6GB
3B : GPU RAM 13.3GB
1B5 : GPU RAM 9GB

←7B 14B→
https://t.co/ODTvnc4qpM https://t.co/8vRdxREfU5