Follow

RT @syoyo: MLC-LLM vicuna-7b vulkan, 3090 でそこそこの速度で動きました(日本語はダメダメだったが) のを加筆しました.

Vicuna-13b は, 変換できたものの実行はうまくいかず... 要設定見直しですかね😌

Sign in to participate in the conversation
Mastodon

海行の個人インスタンスです。
よろしくどうぞ。

ホームページ
http://soysoftware.sakura.ne.jp/