标签：大模型推理

面向 Apple Silicon 的 LLM 推理服务器：连续批处理 + 热内存/冷 SSD 分层 KV 缓存，上下文变化后历史仍保持缓存并跨请求复用，让本地模型配合 Claude Code 做真实编码变得可行，全部从菜单栏管理。

赞(0)aitoolpush2026-09-13AIToolPush 阅读(8)去评论

AirLLM 用「一次只把一层模型放进显存」的思路，让 70B 跑在 4GB 单卡、405B 在 8GB、DeepSeek-V3(671B) 在约 12GB、Kimi K3(2.8T) 甚至不到 4GB，且无需量化/蒸馏/剪枝。本文从原理、块式量化提速、MoE 按专家流式加载、一行代码上手到适用边界做一次技术向深度解读。

赞(1)aitoolpush2026-09-03AIToolPush 阅读(14)去评论