资讯/2026年10月16日
教程

苹果展示MLX分布式推理,多台Mac共同运行巨型模型

苹果研究博客介绍新版MLX与RDMA分布式推理,以Muse Spark Open为例说明如何在多台Mac Studio间分担模型。官方报告四台设备达到每秒36个以上令牌,并给出部署思路;这不是普通单台Mac可复现的无条件速度承诺。

AH2 个来源742026年10月16日本地部署苹果芯片推理优化

要点

  1. 展示多机分担大型模型
  2. 速度数据来自四台Mac Studio配置
  3. 内存与互联条件共同影响结果

为什么值得看

它给重视本地数据处理的团队提供了具体硬件路线,也让购买设备前的容量规划更重要。

谁会受影响

使用高内存Mac研究大型模型、评估私有部署的小团队会受影响。

今天就能怎么试

先阅读原文设备和网络配置,按MLX示例核算模型与缓存所需内存,再在已有设备上做小规模验证。

免费未实测

原始来源

1Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio · Apple Machine Learning Research · 发布日期未知✓ 已打开核对2Apple ML Research: Muse Spark Open with MLX on Mac Studio · Hacker News · 2026年10月16日✓ 已打开核对

本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。

相关动态

教程深度Hugging Face Blog·21 小时前

微软把业务数据库核验变成训练奖励,提高智能体重复成功率

ThinkingBox-Training 用任务结束后的数据库状态作为强化学习奖励,并在训练外的 507 项业务任务上复测。博文报告 Qwen3.8-27B 平均成功率从 51.70% 升至 60.78%,但至少成功一次的任务覆盖略降,说明可靠性与广度需同时观察。训练奖励来自可执行核验。

H1 个来源21.427334867676613企业智能体强化学习
教程深度OpenAI News·2026年10月9日

Asana公布浏览器智能体实验,优化缓存显著降本

Asana在144次实验中比较4个模型与多种历史保留策略。OpenAI案例称,优化后的GPT-6.1 Sol流程平均模型费用约0.47美元,比原生产配置低76倍、运行快5倍;改善同时来自模型与工作流,不能全部归因于换模型。

O1 个来源32浏览器自动化缓存优化
教程Hugging Face Blog·2026年10月8日

HF 分享自动训练六类小模型的实操,强调基线与预算

这篇 ML Intern 实操文章展示领域视觉模型、角色与机位 LoRA、提示改写小模型等案例。作者公开任务提示,强调训练前先测基线、用小步数验证权重变化,再做完整训练;文中成本是对应案例的计算费用,并非统一产品价格。

H1 个来源64模型微调训练代理
教程深度OpenAI News·2026年10月3日

OpenAI发布模型选用指南,讲清成本与任务分工

OpenAI在10月2日发布GPT-6家族实用指南,覆盖模型选择、推理强度、提示词、缓存、上下文压缩和长任务管理。文中建议用真实任务衡量成功率、延迟及每次成功的成本,并根据任务复杂度调整模型与执行方式。

O1 个来源32模型选型提示词
苹果展示MLX分布式推理,多台Mac共同运行巨型模型 · 潮汐情报