搜索
MoEZip：面向稀疏MoE的路由感知KV缓存压缩
MoEZip针对稀疏混合专家模型提出路由感知KV缓存压缩。它以路由分布的Fisher信息估计专家选择对扰动的敏感度，再结合注意力权重评分。保留10% KV时，LongBench和RULER平均分别比既有最优方法高24分和20分。
5 分钟前动态ProQuant：以专家质量优先压缩MoE超低比特量化
arXiv论文提出ProQuant，一种面向混合专家模型的仅权重训练后量化框架。PoP联合优化专家剪枝与比特分配，让高精度专家替代严重退化专家；RoCo用数学等价变换调整输入表征以降低路由漂移。摘要称其在多种生成任务上优于现有方法，但模型规模、具体指标、价格与国内可用性均未知。
28 分钟前动态英伟达发布GLM-5.3-Flash的NVFP4本地量化模型
英伟达放出GLM-5.3-Flash的NVFP4本地量化权重：总参3200亿、激活180亿，支持文本、图像、视频，上下文约100万。模型卡称约166GiB显存，双路RTX PRO 6000或DGX Spark可用vLLM；新缩放格式上游未支持，须社区容器。国内与价格未知。
1 小时前动态KRAFTON发布Raon-1 mini预览：28.8B开源MoE
KRAFTON AI推出Raon-1 mini预览，总参数28.8B、激活4.3B，原生上下文262144 token，Apache 2.0发布。官方称其擅长韩语对话、推理与工具调用，支持思考模式及MXFP8、NVFP4量化。此为非最终预览，国内可用性与价格未知。
1 小时前动态Liquid AI发布LFM2.5-24B-A2B端侧推理模型
Liquid AI发布LFM2.5-24B-A2B，总参数240亿、激活约24.5亿，定位端侧私有智能体的纯文本推理模型。资料称其工具调用可与更大模型竞争，并支持多种推理框架。价格与国内可用性未知。
1 小时前动态Ornith-1.5-122B发布：面向单卡部署的自改进多模态MoE
Ornith-1.5-122B是1220亿参数混合专家多模态模型，在Ornith-1.0基础上把自改进从脚手架与采样扩展到任务生成、策略发现和强化学习。模型卡称其可在单张80GB显卡部署，并给出多项编程、推理与智能体基准。价格与国内可用性未知。
1 小时前动态Reflection发布开源MoE模型Beam：总参5013亿、激活234亿
Reflection发布开源模型Beam，稀疏MoE总参5013亿、激活234亿，上下文100万token，提供BF16、FP8、NVFP4。官方强调推理token约少至领先开源模型的三分之一，并给出编程、推理和工具调用成绩。Apache 2.0，知识截止2026年6月30日。国内可用性与价格未知。
1 小时前动态MiniMax-M3.1-Flash发布：原生多模态MoE，上下文最长100万token
MiniMax发布原生多模态混合专家模型MiniMax-M3.1-Flash，总参数约4280亿、每token激活约230亿，支持文本、图像与视频输入及最长100万token上下文。它面向编程、智能体与计算机操作，并采用稀疏注意力、量化感知训练和DSpark推测解码。价格与国内可用性未知。
1 小时前动态Reflection开源5010亿参数模型Beam，主打编程与智能体
Reflection实验室在Hugging Face发布首个开源模型Beam：5010亿参数MoE，每token激活约230亿，文本输入输出，上下文100万。面向编程与智能体，Apache 2.0，并提供多种精度权重与推理框架。国内可用性、价格未知。
1 小时前