Follow

どおー、すげー!!MLC LLM!クロスプラットフォームでLLMを展開できるフレームワークだって。パソコン、WebGPU ブラウザ、iPhoneアプリが作れるらしい!デモページの動画では、iPhone上でVicuna-7Bが6トークン/秒で高速生成されてる!ただしメモリ6GB無いと動かないらしい →RT

Sign in to participate in the conversation
Mastodon

海行の個人インスタンスです。
よろしくどうぞ。

ホームページ
http://soysoftware.sakura.ne.jp/