来源核验方案识别事实引用错位,适用于多工具智能体
ProvenanceGuard 保留每次 MCP 工具输出的来源身份,把回答拆成具体声明,再检查支持证据与所引用来源是否一致。博文用医疗记录与研究文献说明事实虽真实却归错来源的问题,也报告保守核验会拦下一些实际有依据的声明。
要点
- 事实正确与来源归属正确分别检查
- 核验发生在回答生成之后
- 保守策略需权衡误拦截
发生了什么
ProvenanceGuard 介绍了一种给 MCP 智能体做来源核验的办法。它不把所有工具输出混成一堆材料,而是保留来源身份,检查回答里的每条声明由哪份资料支持,以及回答是否引用了正确来源。1
这对资讯卡片、客户问答和资料研究很实用:一个事实即使出现在某处材料里,也不能随便挂到另一条引用下面。
具体是什么
系统在回答生成后读取工具轨迹,拆分声明、定位相关来源、检查支持程度,再对照回答中明确或暗示的出处。它也特别检查数字、日期和标识符,并可对未通过内容进行修复后重新核验。博文的实验使用本地模型组合,方法本身不要求只有一种模型配置。1
例如,退款期限来自政策文档,却被写成客户账户记录中的信息。把材料合在一起看,句子可能像是有依据;逐来源检查,才能发现归属错位。
怎么用
先让自己的检索或工具调用保留来源 ID、完整输出和获取时间,不要只保存最终摘要。回答生成后,把一个包含多项事实的句子拆成可单独验证的小声明,分别找到原文支持位置。
核对时至少问三件事:原文有没有这件事,数字和限定条件是否一致,这份来源是否就是回答声称的来源。若证据来自多个页面,把每个来源的支持范围写清楚,避免用一个链接替整个段落背书。
可以先对十几条历史回答手工标注,再决定是否接入自动核验。记录误放行和误拦截,让核验策略适合自己的发布流程,而不是只追求全部通过或全部拦住。
如果来源后来更新,应记录旧版证据与新版变化,重新审查依赖它的声明。否则一条曾经正确的引用也可能失去支持,尤其是价格、可用性和版本能力这些经常变化的信息。
意味着什么
资料产品的可信度来自可追溯关系,而非引用数量。一个段落放很多链接,如果读者找不到每条事实的出处,仍然很难复核。
这套方法也有助于整理内部知识库。保留账户数据、公开文档和模型推断的边界,可以让后续编辑知道哪些内容可以直接发布,哪些需要再次确认。
局限与风险
文章报告的保守策略抓住了大部分应拦截声明,同时也拦下一些实际有依据的内容;作者没有把这一取舍描述成零误差验证。1 换模型、换行业或更改来源格式后,需要重新校准。
自动核验还可能遇到原文含糊、页面更新或证据相互冲突。遇到这些情况,不应为了让流程结束而强行选一个出处。对关键事实,应保留不确定性或回到原始材料人工检查;核验层的结论本身也需要可审查记录。
为什么值得看
调研卡片和业务问答不仅要有事实,还要确保读者能从对应引用找到它。
谁会受影响
情报站、研究助手和多来源知识库产品团队会受影响。
今天就能怎么试
按博文保留工具输出和来源 ID,先对已有回答拆句核验;对数字、日期和实体做逐项匹配,并记录误拦截样本。
原始来源
1Getting the Source Right, Not Just the Fact: Source-Aware Verification for MCP Agents · Hugging Face Blog · 2026年9月29日✓ 已打开核对本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。
相关动态
微软把业务数据库核验变成训练奖励,提高智能体重复成功率
ThinkingBox-Training 用任务结束后的数据库状态作为强化学习奖励,并在训练外的 507 项业务任务上复测。博文报告 Qwen3.8-27B 平均成功率从 51.70% 升至 60.78%,但至少成功一次的任务覆盖略降,说明可靠性与广度需同时观察。训练奖励来自可执行核验。
Asana公布浏览器智能体实验,优化缓存显著降本
Asana在144次实验中比较4个模型与多种历史保留策略。OpenAI案例称,优化后的GPT-6.1 Sol流程平均模型费用约0.47美元,比原生产配置低76倍、运行快5倍;改善同时来自模型与工作流,不能全部归因于换模型。
HF 分享自动训练六类小模型的实操,强调基线与预算
这篇 ML Intern 实操文章展示领域视觉模型、角色与机位 LoRA、提示改写小模型等案例。作者公开任务提示,强调训练前先测基线、用小步数验证权重变化,再做完整训练;文中成本是对应案例的计算费用,并非统一产品价格。
OpenAI发布模型选用指南,讲清成本与任务分工
OpenAI在10月2日发布GPT-6家族实用指南,覆盖模型选择、推理强度、提示词、缓存、上下文压缩和长任务管理。文中建议用真实任务衡量成功率、延迟及每次成功的成本,并根据任务复杂度调整模型与执行方式。