入力プロンプトを最大26倍圧縮できるGistingって技術だって。どういうこっちゃ？というと例えば「以下の内容をフランス語に翻訳してください」ってプロンプトがあるとして「アレやって」だけで通じるように微調整、蒸留するイメージ。これでプロンプト圧縮できて推論速度上がって計算量も節約できる… https://t.co/GpVCr2ubuR