EpiSEM-Bench评测智能体在证据缺失下的安全与补证能力
EpiSEM-Bench评测工具调用语言模型智能体在关键安全事实被省略时的不安全执行与证据恢复。它含六个领域300对匹配任务,比较十个模型。开放恢复可降低全部模型的不安全执行,但抗遗漏不等于有效补证。国内可用性、价格与参数未知,本文未实测。
要点
- 基准覆盖六个领域共300对匹配的不安全与安全任务,并通过系统隐藏关键事实测量不安全执行。
- 十个模型在遗漏稳健性、证据获取和恰当行动上差异明显,抵抗证据缺失并不必然带来有效恢复。
- 开放恢复通道降低了全部十个模型的不安全执行,但各模型是否主动补证并在两种情境下正确行动并不相同。
为什么值得看
工具回复即使句句为真,只要漏掉决定行动是否被允许的安全事实,面对良性请求的智能体仍可能执行禁止动作。因此需要同时衡量遗漏稳健性、主动取证和恰当行动。
谁会受影响
面向研究或部署工具调用语言模型智能体的安全评测人员与产品团队。资料显示比较了十个模型,但未给出具体名单。
今天就能怎么试
论文描述了可执行基准与独立审计工具,但未提供入口、价格、参数或国内获取方式,这些均未知;本文未实测。
原始来源
1EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence · arXiv cs.AI · 2026年10月23日✓ 已打开核对本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。
相关动态
开放世界模型结合游戏引擎,单卡生成实时可玩画面
Matrix-Game 4.0 让轻量引擎负责规则和状态,视频模型将低多边形画面转成细致视觉,编码智能体则修改场景与玩法。论文报告 RTX 5090 上实现 480p、60 帧交互,按键到显示延迟为 112 毫秒,并宣布开放代码与资产。实时帧率需与响应延迟分开看。
业务智能体基准检查执行过程,完成任务也可能判失败
BizAgentBench 将 789 份知识文档、601 项业务工具和 50 个长流程任务放进可执行环境,既核验最终目标,也检查中间步骤约束。论文显示只看任务完成会掩盖无效操作;HF 早期标题为 BizBench,arXiv 修订版已改名。同时还应记录任务过程中的工具调用成本。
中英密集文字生图基准发布,专测海报长文与布局
UltraText Bench 提供 432 条人工检查的提示,覆盖 24 类真实场景,中英文各半,每张图要求四至十二处文字。评估分别看文字准确、清晰度、空间安排和场景质量,揭示快速模型可能更清晰却更容易写错字的取舍。适合中文海报选型。
AI协助发现PHP高危漏洞,网站维护者面临集中修补
爱范儿梳理 PHP2Shell 漏洞披露与紧急修补过程,介绍 OpenAI 安全研究在构造可复现证据中的作用。事件涉及底层软件广泛使用带来的连锁影响;具体风险取决于运行版本与部署条件,不能把使用 PHP 都等同于已经遭入侵。