Janas从固态硬盘调度专家,让模型突破内存容量
Janas探索用纯C实现推理,并从SSD按需读取混合专家模型的部分数据,让模型文件大于机器内存时仍可运行。仓库给出特定笔记本上的对比结果,但磁盘、内存、量化和模型结构都会影响收益,不能简单理解为所有电脑都能高速跑大模型。
要点
- 通过SSD按需读取模型数据
- 重点面向混合专家模型
- 作者性能数据依赖具体硬件与配置
为什么值得看
它把现有电脑的利用方式向前推了一步,适合预算有限但愿意研究部署的开发者。
谁会受影响
研究本地模型、混合专家推理和低成本硬件方案的人会受影响。
今天就能怎么试
按仓库硬件与构建说明准备环境,选一款已支持模型,分别记录首次加载、提示处理和生成速度。
免费未实测
原始来源
1Janas · Janas(GitHub) · 发布日期未知✓ 已打开核对2Janas: Run LLMs larger than RAM by streaming experts from SSD · Hacker News · 2026年10月13日✓ 已打开核对本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。
相关动态
新工具深度OpenAI·2026年9月29日
OpenAI推出常驻智能体Dots,支持跨应用持续办事
OpenAI发布由GPT-6 Astra驱动的Dots,为智能体配备云端电脑、浏览器和应用连接。它能持续跟进项目、吸收反馈,并在ChatGPT、Slack或Teams沟通。首批面向符合地区条件的Pro、Business Premium及管理员开启测试的企业用户。
O3 个来源55
新工具深度OpenAI·2026年10月7日
ChatGPT开始推送GPT-6,可生成交互式回答界面
OpenAI于10月7日开始在ChatGPT的Chat体验推送GPT-6与Intelligent UI,回答可包含按钮、图表、表单和互动工具。付费档先开放,免费与Go档次日开始推送;该公告说明此次更新不改变Work和Codex所使用的模型。
O1 个来源43
新工具深度DeepSeek 更新日志·1 小时前
DeepSeek开放搜索与抓取接口,支持智能体接入
DeepSeek于10月17日开放自研网页搜索能力,Search返回结构化检索结果,Fetch把单个网页转换为Markdown。两者复用DeepSeek API密钥,按有结果的成功请求计费,每1000次5元;空结果、失败及超时不收费。
D2 个来源21.346023716789972
新工具深度Hugging Face Blog·2026年10月4日
微软业务智能体评测接入 HF,直接检查数据库结果
ThinkingBox 在 507 个有状态业务流程中检查智能体最终留下的数据库记录和副作用,并对每项任务重复运行二十次。HF 博文展示了工具调用看似正常却写错状态的案例,提醒平均成功率、至少成功一次和次次成功不能混为一谈。
H1 个来源68