RT @_oshizo_: 昨年夏の記事だけど、load_in_8bitで使えるbitsandbytesのLLM.int8()推論の解説記事を読んだ。かなり面白い内容。
単に8bitに丸めて計算すると誤差が大きそうな気がして、大丈夫か？と思っていたけど混合精度分解という工夫がある。
https://t.co/CockXvep5Y