生成式奖励模型缩放研究：静态准确率常与在线优化效果脱节
论文研究生成式奖励模型如何为创意写作的在线策略优化提供偏好。Qwen3奖励模型从0.6B到14B：GRPO的Thinking评委静态金标准确率更高，但在线DPO里Answer-Only奖励器在八组中的七组获得更高策略Elo。静态准确率不能决定下游优化质量，且排序依赖所学的32B参照评委。
要点
- GRPO训练的Thinking评委静态金标准确率高于SFT的Answer-Only评委，但用作在线DPO奖励器时排名经常反转。
- 八组匹配设置中有七组，Answer-Only奖励器的峰值和前五平均策略Elo更高；Thinking中间检查点有时优于后期更准确的检查点。
- 奖励模型容量（包括大于策略的评委）带来明显收益，但主排序取决于固定的32B所学参照，换评委的有限随访总体无定论。
为什么值得看
创意写作策略优化依赖奖励模型提供在线偏好，但静态金标准确率更高并不必然带来更好的下游策略，选错评委训练方式可能优化错方向。
谁会受影响
面向研究生成式奖励模型、在线DPO与创意写作对齐的团队；论文作者与机构在给定资料中未知。
今天就能怎么试
给定资料未提供权重、代码入口、复现实验的完整参数或国内获取方式，价格未知，无法据此直接试用。
原始来源
1Scaling Laws for Generative Reward Models · arXiv cs.AI · 2026年10月23日✓ 已打开核对本条由 AI 根据上面的原始来源整理，经编辑审核后发布。数字和结论以原文为准，发现错误欢迎反馈。
相关动态
开放世界模型结合游戏引擎，单卡生成实时可玩画面
Matrix-Game 4.0 让轻量引擎负责规则和状态，视频模型将低多边形画面转成细致视觉，编码智能体则修改场景与玩法。论文报告 RTX 5090 上实现 480p、60 帧交互，按键到显示延迟为 112 毫秒，并宣布开放代码与资产。实时帧率需与响应延迟分开看。
业务智能体基准检查执行过程，完成任务也可能判失败
BizAgentBench 将 789 份知识文档、601 项业务工具和 50 个长流程任务放进可执行环境，既核验最终目标，也检查中间步骤约束。论文显示只看任务完成会掩盖无效操作；HF 早期标题为 BizBench，arXiv 修订版已改名。同时还应记录任务过程中的工具调用成本。
中英密集文字生图基准发布，专测海报长文与布局
UltraText Bench 提供 432 条人工检查的提示，覆盖 24 类真实场景，中英文各半，每张图要求四至十二处文字。评估分别看文字准确、清晰度、空间安排和场景质量，揭示快速模型可能更清晰却更容易写错字的取舍。适合中文海报选型。
AI协助发现PHP高危漏洞，网站维护者面临集中修补
爱范儿梳理 PHP2Shell 漏洞披露与紧急修补过程，介绍 OpenAI 安全研究在构造可复现证据中的作用。事件涉及底层软件广泛使用带来的连锁影响；具体风险取决于运行版本与部署条件，不能把使用 PHP 都等同于已经遭入侵。