AI智汇具 - AI工具推荐与技能教程_好用的AI工具大全
Shimmy：5MB 的单文件本地推理服务器，把 OpenAI 接口接到你自己的显卡上
开源本地推理服务器 Shimmy：纯 Rust 单二进制、OpenAI 接口兼容，靠 WebGPU 跑在 N 卡/A 卡/Intel/Apple Silicon 上，不用 CUDA、不用 Python。v2 弃用 llama.cpp 转自研 Airframe WGSL 引擎；TurboShimmy 一个 flag 把 KV 缓存压到约七分之一。5.8k Stars。文章也如实记下材料里三处对不上的地方。
共 2 篇文章
标签：OpenAI 兼容
aitoolpush
FreeLLMAPI：把 34 家厂商的免费额度，拧成一个 OpenAI 兼容的 /v1 端点
开源本地路由器 FreeLLMAPI：聚合 34 家厂商免费额度（635 个端点、约 74 亿 tokens/月）到一个 /v1 端点，自动路由与故障转移、Fusion 多模型合成、密钥 AES-256-GCM 本地加密；24.6k Stars，MIT。作者明确提醒：仅用于个人实验，别拿它上线。