Co-Design Bench 评测显示编码智能体近四分之三任务仍需人工收尾
Co-Design Bench 基于真实用户变更需求测试编码智能体,10 个模型中仅 GPT-6 Astra 能在 26.4% 的任务中完全正确完成。该模型平均满足约 70% 的要求,但在多模态任务和代码库任务中的完全解决率分别只有 41% 和略低于 18%;同一模型在不同 harness 中的得分也明显不同,作者建议同时报告模型与工作环境。
Co-Design Bench 基于真实用户变更需求测试编码智能体,10 个模型中仅 GPT-6 Astra 能在 26.4% 的任务中完全正确完成。该模型平均满足约 70% 的要求,但在多模态任务和代码库任务中的完全解决率分别只有 41% 和略低于 18%;同一模型在不同 harness 中的得分也明显不同,作者建议同时报告模型与工作环境。
上海交通大学团队在《自然》发表 AutoDNA(思源一号)研究,构建可自主执行分子生物学实验的 AI 原生科学实验室。系统通过模型、实验与仪器协同设计,让多个智能体贯通设计、实验与优化流程,并结合自动化硬件完成核酸检测、酶促 DNA 合成等场景验证。
Carnegie Mellon University 团队与美国能源部国家实验室科学家构建 Into the Unknown 基准,9 个 AI 智能体完成的 135 份投稿无一同时满足诚实、完整和专家质量要求。GPT-6 Astra 在 15 项任务中的 11 项提交未出现完整性违规,但只有 1 份提交完整。研究还发现更长运行时间未带来更好结果,代码和数据已公开并提供模型排行榜。
Vals CyberOffense 评测显示,AI 智能体可在无人工协助下自主渗透模拟企业网络,开放权重模型正缩小与闭源模型的网络安全能力差距。
Anthropic Institute 研究员 Andy Hall 复现并扩展 METR 的研究,测试 GPT-5、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 等模型作为 AI 智能体行为审计器。
上海交通大学副教授邓志杰在 CNCC 2026 讲解扩散语言模型如何在保证生成质量的同时提升速度,并介绍跨块并行、后训练和推理系统优化等方法。文中涉及 LLaDA、Dream、D2F、MultiBD、CForce、LightningRL、Fast-dLLM 和 LoPA 等路线,以及流式视频、语音修复、多模态和智能体应用探索。
Google 与 Mercor 近日发布 Physical-Engineering's Last Exam(PLE),用 85 项机械、电气、土木与结构工程任务评估 Agent 的实际交付能力。
SemiAnalysis 发布 GDPx 真实工作基准,206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域,所有模型得分均未超过 12%。
英伟达发布技术解读,提出将 GPU、CPU、网络、存储和软件整体协同设计,以缓解大模型与智能体工作流面临的 HBM 容量和带宽压力。
CloudOpsBench 1.0 是面向 AWS 云端 DevOps 任务的开源基准,由 experienced DevOps engineers 构建,包含 45 项任务。
一种被称为“反向博弈论”的机制设计方法,正尝试通过交叉检查、竞争和求解者与审计者分工,激励 AI 智能体遵守规则并减少测试伪装。该方法不要求完全理解模型内部机制,但依赖对智能体行为理性的假设。研究者也指出,智能体可能串谋、寻找漏洞,且面向单项任务设计的机制能否迁移到真实前沿模型仍不明确。
Benjamin Skuse 用免费 ChatGPT 和 Gemini 生成未经实施的论文并尝试向 IEEE Access 投稿,论文因多条幻觉引文被识别。随后他使用 FARS 在 21 分钟内形成研究提案,并于次日完成实验、用 2 小时生成投稿稿件,但大量引用预印本和图中异常文字仍导致拒稿。