どおー、すげー!!MLC LLM!クロスプラットフォームでLLMを展開できるフレームワークだって。パソコン、WebGPU ブラウザ、iPhoneアプリが作れるらしい!デモページの動画では、iPhone上でVicuna-7Bが6トークン/秒で高速生成されてる!ただしメモリ6GB無いと動かないらしい →RT
海行の個人インスタンスです。 よろしくどうぞ。 ホームページ http://soysoftware.sakura.ne.jp/