RT @_kaiinui: HF transformers の load_in_8bit がやたら遅いという指摘に対して、8bit 学習の立案者いわく、
8bit 推論に関しても設計したアイデアがありちゃんと実装し直せば bf16 より 5x 早くなる、とのこと。 https://t.co/Ast9VsYLAy