ThinkingBox:用数据库终态检验智能体能否连做对二十次
微软与Hugging Face发布ThinkingBox,依据数据库终态而非回复文本给智能体打分。507项有状态业务流各重复20次,Claude Opus 5.5的pass@1为67.16%居首;20次全部通过的任务仍为241项。定价与国内是否可用均未知。
要点
- 121680次有效试验中有79853次未通过可执行检查,其中多数仍干净结束且无最终工具报错。
- Kimi-K3至少成功一次的任务达476项,覆盖最广,但20次全部通过仅68项。
- Claude Opus 5.5与Claude Opus 5的20次全过任务同为241项,单次分数提升并未增加稳定任务。
为什么值得看
工具调用成功和回复像样,并不等于业务记录正确;只有终体终态与副作用能说明事情是否办完,同一任务重复二十次才能看出是否可靠。
谁会受影响
面向要让智能体修改订单、工单、保单等真实记录的团队,以及评估模型稳定性的研究者;由微软与Hugging Face联合发布。
今天就能怎么试
资料称可通过Hugging Face和OpenEnv运行该基准。具体步骤、价格、参数和国内可用性未知,本条未实测。
原始来源
1The Agent Said It Was Done. The Database Disagreed. · Hugging Face Blog · 2026年10月4日✓ 已打开核对本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。
相关动态
微软研究者与合作者证明31年KLS猜想
微软研究院张昕之与合作者证明了1995年提出的KLS猜想:对数凹高维分布中,最优平面切割与任意形状切割的差距由与维度无关的常数控制。此前最好界仍随维度缓慢增长。证明依靠人类引导的智能体搜索,并有独立证明与Lean验证。价格和国内可用性未知。
微软亚研开源Agent Lightning v1.0:真实智能体框架直接参与强化学习
微软亚洲研究院开源Agent Lightning v1.0,约3500行实现Harnessed Agentic RL。部署中的真实智能体经LLM代理直接参与训练,无需重写。约6000条样本使Qwen3.5-9B的SWE-bench Pass@1从41.8%升至56.4%。国内可用性与价格未知。
东南亚数字经济2026年GMV有望达3680亿美元
谷歌、淡马锡与贝恩发布第11份东南亚数字经济报告,预计2026年区域数字商品交易总额同比增长17%至3680亿美元,并有望在2035年前突破1万亿美元。生成式AI已被2.43亿人使用,普及速度约为移动互联网的四倍。报告认为智能体商务信任上升,未来五年区域AI使用量或增60倍。
微软发布实验性生物研究系统Quine
微软研究院发布实验性生物研究系统Quine,包含跨模态生物学世界模型,并连接科学工具、文献与研究人员。它与博德研究所合作,用于优先排序可能推动胰腺癌肿瘤状态转换的化合物,部分高排名候选已在湿实验中验证。系统仅供研究而非临床使用,价格与国内可用性未知。