标签：MoE

BigMoeOnEdge 是一款让 MoE（混合专家）模型在内存远小于模型体积的设备上无损运行的推理引擎。它基于原版 llama.cpp 构建，通过把闪存当作内存层的一部分，按需从磁盘流式读取专家权重，把手机 RAM 留给真正活跃的参数。项目支持在 12GB 手机上以纯 CPU 运行 80–90GB 级别的前沿模型（如 DeepSeek V4 Flash 0731、Qwen3.8-Flash-Next 等），并提供 Expert cache、I/O overlap、Direct I/O 等十余个调优开关，输出结果与模型完全驻留内存时字节级一致。本文将介绍其核心机制、功能特点、安装方式、性能基准与常见使用问题。

赞(0)aitoolpush2026-09-17AIToolPush 阅读(8)去评论

AirLLM 用「一次只把一层模型放进显存」的思路，让 70B 跑在 4GB 单卡、405B 在 8GB、DeepSeek-V3(671B) 在约 12GB、Kimi K3(2.8T) 甚至不到 4GB，且无需量化/蒸馏/剪枝。本文从原理、块式量化提速、MoE 按专家流式加载、一行代码上手到适用边界做一次技术向深度解读。

赞(1)aitoolpush2026-09-03AIToolPush 阅读(14)去评论