AI智汇具 - AI工具推荐与技能教程_好用的AI工具大全
Shimmy：5MB 的单文件本地推理服务器，把 OpenAI 接口接到你自己的显卡上
开源本地推理服务器 Shimmy：纯 Rust 单二进制、OpenAI 接口兼容，靠 WebGPU 跑在 N 卡/A 卡/Intel/Apple Silicon 上，不用 CUDA、不用 Python。v2 弃用 llama.cpp 转自研 Airframe WGSL 引擎；TurboShimmy 一个 flag 把 KV 缓存压到约七分之一。5.8k Stars。文章也如实记下材料里三处对不上的地方。
共 1 篇文章
标签：GGUF
aitoolpush