RT @jaguring1: 1兆トークンのテキストとコードで学習された67億パラメータ言語モデル「MPT(MosaicML Pretrained Transformer)」が発表された。440 A100で9.5日で学習。費用は20万ドル(約2700万円)。LLaMA-7Bと同等性能だが商用利用可でオープンソース！さらに、微調整した3つのモデルも公開
https://t.co/CNaZ7EcGLg