搜索
MoEZip:面向稀疏MoE的路由感知KV缓存压缩
MoEZip针对稀疏混合专家模型提出路由感知KV缓存压缩。它以路由分布的Fisher信息估计专家选择对扰动的敏感度,再结合注意力权重评分。保留10% KV时,LongBench和RULER平均分别比既有最优方法高24分和20分。
8 分钟前动态RoSA针对显著性坍缩改进长文本图文对齐
研究指出长文本图文对齐存在显著性坍缩:模型过度依赖视觉突出文本,非显著上下文虽有信息却被低估。RoSA把图文拆成显著与上下文互补视图,并用辅助目标联合学习。论文称该方法提升长文本检索并增强抗坍缩能力,辅助目标还可即插即用。代码与检查点据称公开,地址、价格及国内可用性未知。
26 分钟前动态REMORY以软记忆令牌补足摘要,压缩长程智能体上下文
REMORY在文本摘要后追加可学习软记忆令牌,用少量上下文补足长程决策信息。SummHay上溯源提升、洞察覆盖几乎不变,仅用5.2%输入位置接近全上下文联合分数。Qwen3.8-27B与GLM-5.3-Flash基准稳定增益,并减少重复工具输出和工具错误。价格与国内可用性未知。
49 分钟前动态DeepSeek更新Flash模型,提升编程与任务执行
DeepSeek在10月17日将V4.1 Flash升级到1017版本,网页、应用和API同步更新。调用名仍为deepseek-flash,价格不变;官方公布多项编程与视觉测试结果,并称任务时间及输出长度减少,建议同步升级配套Harness。
51 分钟前动态字节研究发现长上下文弱点,同一信息换位置会影响检索
字节Seed公开论文讨论分块KV缓存压缩带来的位置敏感性:同一信息位于压缩窗口不同位置时,可能更容易或更难被检索。研究在部分大型开放权重模型中观察到最高40个百分点的差异,提醒平均评测分数可能掩盖周期性失败。
51 分钟前动态星火四十亿参数模型更新后训练,支持三档思考预算
Spark-X2.6-4B 保留上一代架构,通过后训练加强编码、工具使用、长上下文及多语言能力。模型提供不思考、低和高三档推理预算,仓库给出 Transformers 与服务部署示例,适合把延迟、质量和设备资源一起衡量。本地试用应比较完整任务效果。
51 分钟前动态MemT-1.0发布记忆原生模型,长历史推理更快且存储更省
MemT-1.0提出记忆原生架构,将连续记忆嵌入基础模型计算,并发布Nano与Flash。模型基于Metis,采用Gated DeltaNet-2和Mixture-of-Storage,经两阶段训练。128K历史下Nano推理约快1.86倍,持久存储约减至六十六分之一,并提升智能体任务表现。
53 分钟前动态KRAFTON发布Raon-1 mini预览:28.8B开源MoE
KRAFTON AI推出Raon-1 mini预览,总参数28.8B、激活4.3B,原生上下文262144 token,Apache 2.0发布。官方称其擅长韩语对话、推理与工具调用,支持思考模式及MXFP8、NVFP4量化。此为非最终预览,国内可用性与价格未知。
1 小时前动态Reflection发布开源MoE模型Beam:总参5013亿、激活234亿
Reflection发布开源模型Beam,稀疏MoE总参5013亿、激活234亿,上下文100万token,提供BF16、FP8、NVFP4。官方强调推理token约少至领先开源模型的三分之一,并给出编程、推理和工具调用成绩。Apache 2.0,知识截止2026年6月30日。国内可用性与价格未知。
1 小时前动态NVIDIA发布Dory1.0-4B循环推理小模型
NVIDIA于2026年10月16日发布Dory1.0-4B。该4B循环语言模型上下文最长256K,仅支持英语,采用OpenMDW-1.1。同一权重可通过循环次数换取准确率,并减少KV缓存开销。价格与国内可用性未知。
1 小时前动态MiniMax-M3.1-Flash发布:原生多模态MoE,上下文最长100万token
MiniMax发布原生多模态混合专家模型MiniMax-M3.1-Flash,总参数约4280亿、每token激活约230亿,支持文本、图像与视频输入及最长100万token上下文。它面向编程、智能体与计算机操作,并采用稀疏注意力、量化感知训练和DSpark推测解码。价格与国内可用性未知。
1 小时前动态Spark-X2.6-4B发布:同架构后训练强化端侧智能体
XHToken发布Spark-X2.6-4B,架构与Spark-X2.5-4B相同,提升来自后训练。模型面向端侧,强化编程、智能体、长上下文、多语言和推理,并设无、低、高三档思考预算。资料称其在同尺寸开源模型中领先,部分可对齐约9B模型;价格与国内可用性未知。
1 小时前动态DeepSeek-V4.1-Flash-1017发布,推理编程与智能体表现提升
DeepSeek于2026年10月17日推出V4.1-Flash-1017小版本,称推理、编程、智能体和视觉能力提升,并缩短任务耗时与输出长度。上下文窗口为100万token,权重MIT开源。国内是否可用、调用价格均未知,本条未实测。
1 小时前动态Meta开放Muse Spark Open:约8160亿参数多模态编程模型
Meta发布开源权重多模态混合专家模型Muse Spark Open,总参数约8160亿、每词元激活约420亿,上下文最长100万词元。模型可接收文本、图像、音频和视频,仅输出文本,面向代码阅读、调试与工具调用。检查点含BF16与NVFP4,国内可用性及价格未知。
1 小时前动态Reflection开源5010亿参数模型Beam,主打编程与智能体
Reflection实验室在Hugging Face发布首个开源模型Beam:5010亿参数MoE,每token激活约230亿,文本输入输出,上下文100万。面向编程与智能体,Apache 2.0,并提供多种精度权重与推理框架。国内可用性、价格未知。
1 小时前动态Kimi K3.1 Pro上线,高速版用更多额度换响应速度
Kimi Code文档宣布K3.1 Pro已全面推出,并同步提供能力相同的Highspeed版本。官方称高速版约快2至3倍、消耗约两倍额度;系列只支持思考模式,最高100万令牌上下文还受套餐限制,切换时建议开启新会话。
2 小时前动态OpenAI延长上下文缓存,降低旧任务恢复的重复成本
OpenAI 为 API 增加十二小时提示缓存选项,并宣布对登录的 Codex 与 Work 用户保留更长期的对话缓存。爱范儿解释它面向一天内反复使用相同背景的长任务;缓存有助于减少重复输入费用,但不是模型记忆或无限上下文。
1 天前动态系统监控工具开放AI分析入口,帮助定位本地模型负载
少数派体验 macOS 监控工具 Vitals,介绍按应用汇总资源、查看历史曲线和异常提醒,并通过 MCP 让 AI 助手参与系统状态分析。对本地模型用户,价值在于把内存、GPU 和进程活动联系起来,而不是只看一个利用率数字。
2 天前动态清华让智能体直接管理缓存,减少摘要后的重复预填充
缓存工程让智能体删除部分活跃 KV 缓存并调整位置编码,而不改写原执行轨迹。配套 AKV 引擎处理缓存复用和恢复;论文中滚动丢弃工具响应的策略,相比阈值触发摘要降低平均成本 27.7%,同时平均评测分略有提高。
3 天前动态MiniMax发布M3.1 Flash,压低智能体调用价格
MiniMax 正式推出 M3.1 Flash,量子位确认此前匿名的 Space Bunny 属于该系列。报道列出每百万输入一元、输出四元、缓存读取零点一元的价格,并介绍代码修复、工具调用和桌面操作表现;榜单成绩不能代表所有业务。
3 天前