可查询热门模型能否在AWS Trainium上原样运行
AWS与Hugging Face上线torch-neuronx模型支持查询空间,可查热门Transformers模型能否在Trainium上原样运行,并给出脚本、分片核心数、耗时与峰值显存。眼下仅测文本生成和图文到文本,且只覆盖最多16个Trainium2核心的模型;价格与国内可用性未知。
要点
- 查询结果会标明模型能否未经修改运行,并给出Trainium核心数、含编译耗时和峰值设备内存。
- 目前只测试Transformers的文本生成与图文到文本模型,且限于最多16个Trainium2核心。
- 通过仅表示完成32个token检查,不代表吞吐或长文本生成表现;价格与国内可用性未知。
为什么值得看
Trainium用户需要先确认某个Transformers模型能否不改建模代码运行,并了解分片规模和基本测试结果,以减少盲目编译与部署。
谁会受影响
使用AWS Trainium、关注Hugging Face热门文本生成或图文到文本模型兼容性的工程师与研究者。
今天就能怎么试
在资料所述的torch-neuronx模型支持Space中按Selected、Trending或Downloads检索;选定模型后,按其列出的Neuron软件栈在trn2环境安装依赖并运行run.py。国内可用性、价格未知,本文未实测。
原始来源
1Does Your Model Run on AWS Trainium? Look It Up · Hugging Face Blog · 2026年10月23日✓ 已打开核对本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。
相关动态
Opposable:手机本地2B模型可操作Android应用
Opposable让手机用无障碍服务自行读屏并操作其他应用。未连云端时,阿里Mobile-Agent的GUI-Owl 1.5 2B以4-bit经llama.cpp本地运行;约四十项常见操作走固定代码。S25的NPU编码约236毫秒,远快于M2的3.9秒。应用称免费,国内可用性未知。
Claude Code插件agent-usage-guard可在用量耗尽前拦截失控调用
agent-usage-guard是一款运行于Claude Code内部的用量防护模组,可在子代理启动、提示发送和工具调用之前读取套餐实时用量并拦截。它跨本机会话限制并发代理、重上下文与失败重试,有人操作时弹窗确认,无人应答则拒绝。作者自述曾十分钟内耗尽五小时窗口。价格与国内可用性未知。
英伟达OpenShell 0.1.x:为自主智能体集群提供策略隔离运行时
英伟达开源项目OpenShell发布0.1.x,定位为自主AI智能体集群的安全私有运行时。它用内核级沙箱限制文件、系统调用和网络,并在策略变更前做形式化验证。凭证不直接交给智能体,只注入获批端点。支持Linux、Apple Silicon版macOS及实验性WSL2。国内可用性与定价未知。
自托管WhatsApp MCP:只读接入个人聊天
开源项目可在自有Cloudflare账号部署只读的WhatsApp MCP服务,供Claude等客户端搜索与阅读个人聊天,但不能发消息。手机保持为消息源,服务仅在询问时和每天连接一次后断开,数据存于账号内SQLite。作者称需付费套餐且违反WhatsApp条款,价格和国内可用性未知。