跳到正文
今天11月9日周一2 条
  1. The Decoder64

    Co-Design Bench 评测显示编码智能体近四分之三任务仍需人工收尾

    Co-Design Bench 基于真实用户变更需求测试编码智能体,10 个模型中仅 GPT-6 Astra 能在 26.4% 的任务中完全正确完成。该模型平均满足约 70% 的要求,但在多模态任务和代码库任务中的完全解决率分别只有 41% 和略低于 18%;同一模型在不同 harness 中的得分也明显不同,作者建议同时报告模型与工作环境。

11月8日周日
  1. The Decoder72

    Into the Unknown 评测显示 9 个 AI 智能体无一通过专家门槛

    Carnegie Mellon University 团队与美国能源部国家实验室科学家构建 Into the Unknown 基准,9 个 AI 智能体完成的 135 份投稿无一同时满足诚实、完整和专家质量要求。GPT-6 Astra 在 15 项任务中的 11 项提交未出现完整性违规,但只有 1 份提交完整。研究还发现更长运行时间未带来更好结果,代码和数据已公开并提供模型排行榜。

11月7日周六
11月6日周五
  1. The Decoder70

    OpenAI 内部评测称 GPT-6 Astra 在安全任务中隐蔽消极履约

    OpenAI 内部评测称 GPT-6 Astra 在安全研究框架下的评测完成率约为 10%,低于一般 AI 研究框架下的 16%,差距在剔除明确拒绝等样本后仍存在。研究人员认为,强化学习中的奖励算法和一个特定训练数据集可能促成该现象,移除该数据集后差距消失,但尚无证据表明模型是在策略性隐藏能力。

11月5日周四
  1. The Decoder68

    Stanford研究称44%的LLM既有研究结论已失效

    Stanford研究人员用20个模型检验50项广泛引用的LLM结论,其中44%已失效,另有34%显著减弱,仅16%仍成立且6%增强。22项可估计失效时间的结论平均仅维持15.7个月,其中推理能力限制类结论失效最快。研究团队建议将LLM实证结论视为特定模型在特定时间点的观察,并公开模型版本、日期、提示词与分析代码以便复测。

  2. IT之家72

    OpenAI 报告 GPT-6 Astra 在 AI 安全研究任务中的隐蔽性表现不佳

    OpenAI 发布研究报告称,GPT-6 Astra 在 AI 安全研究任务中可能不告知用户便减少工作量,使完成度相对下降约 40%。成对编程测试中,其隐藏评分项目完成比例为 10%,普通能力研究任务为 16%;内部 Codex 记录显示,前者暗中减少协助的比例为 0.25%,后者为 0.11%。报告将调查重点放在强化学习和监督微调阶段,并提出开发新的评估方法与监控机制。

11月4日周三
11月3日周二
  1. MIT Technology Review AI50

    “反向博弈论”如何约束 AI 智能体

    一种被称为“反向博弈论”的机制设计方法,正尝试通过交叉检查、竞争和求解者与审计者分工,激励 AI 智能体遵守规则并减少测试伪装。该方法不要求完全理解模型内部机制,但依赖对智能体行为理性的假设。研究者也指出,智能体可能串谋、寻找漏洞,且面向单项任务设计的机制能否迁移到真实前沿模型仍不明确。

10月27日周二