RT @kun1em0n: 昨晩、日本語DollyデータセットでLoRAしたRWKV-3B (80エポック)。CerebrasGPTと同様、語学力は付いたけど知識がさっぱり(データが15Kだけってのもあると思うけど) まだ試してないけど日本語事前学習しているrinnaが一番良かったりするのかもしれない.... https://t.co/u30xVCUDLH