Co-Design Bench 评测显示编码智能体近四分之三任务仍需人工收尾
Co-Design Bench 基于真实用户变更需求测试编码智能体,10 个模型中仅 GPT-6 Astra 能在 26.4% 的任务中完全正确完成。该模型平均满足约 70% 的要求,但在多模态任务和代码库任务中的完全解决率分别只有 41% 和略低于 18%;同一模型在不同 harness 中的得分也明显不同,作者建议同时报告模型与工作环境。
Co-Design Bench 基于真实用户变更需求测试编码智能体,10 个模型中仅 GPT-6 Astra 能在 26.4% 的任务中完全正确完成。该模型平均满足约 70% 的要求,但在多模态任务和代码库任务中的完全解决率分别只有 41% 和略低于 18%;同一模型在不同 harness 中的得分也明显不同,作者建议同时报告模型与工作环境。
该教程演示如何构建 NVIDIA 固定的 llama.cpp 分支、下载并校验 3.7 GB 的 Dory 1.0 4B GGUF,再通过 1 至 4 次循环测试推理负载。实验测量了 KV cache、decode 速度与 next-token 分布,并用 30 道配对 GSM8K 题目比较正确率、生成 token 数和耗时;实践上应显式设置循环次数并固定分支提交版本。
Nous Research 发布基于 Qwen3.8-27B 监督微调的 27B 开源权重模型 Arete-27B,在其 803 条提示词评测中,包含宣传内容的回答比例从 22% 降至 0.9%。
DeepSeek、Qwen、Mixtral、Llama 4 与 gpt-oss 等 10 款开源 MoE 模型采用 token-choice 路由,但在专家数量、top-k、共享专家、门控评分和负载均衡上差异明显。
物理智能开源平台 Hitch Open 在第九届中国国际进口博览会临港展示区面向全球正式开源发布。现场由上海交通大学—上海创智学院高岳教授团队借助 Hitch Open 完成 AI 自主决策机器人乒乓对打挑战,以 142 拍刷新该项目世界纪录,该平台聚焦真实物理环境下的感知、决策与行动。
OpenAI完成新一轮融资的首笔110亿美元交割,估值达到1.25万亿美元,整轮规模最高可能达到200亿美元,低于此前至少融资300亿美元的计划。OpenAI还联合FMF发布AI越狱风险评级框架,与Ligo推出BioBasicsBench,并通过API和Codex向部分获准的Daybreak Red客户开放GPT-6 Cyber,用于漏洞发现、影响验证和修复协助。
Ricursive Intelligence 发布采用 Apache 2.0 许可的 Ripple-65B Preview 开放语言模型。公司称其以 12 trillion tokens 预训练,并在 TerminalBench 2.1 编码基准取得 80.52 分。该模型采用 65B 参数的稠密 Transformer 架构,针对 Nvidia 硬件优化,并已上架 Hugging Face。
Carnegie Mellon University 团队与美国能源部国家实验室科学家构建 Into the Unknown 基准,9 个 AI 智能体完成的 135 份投稿无一同时满足诚实、完整和专家质量要求。GPT-6 Astra 在 15 项任务中的 11 项提交未出现完整性违规,但只有 1 份提交完整。研究还发现更长运行时间未带来更好结果,代码和数据已公开并提供模型排行榜。
Nous Research 使用约 53 million tokens 对 Qwen3.8-27B 进行监督微调,发布开放权重模型 Arete-27B,将其自建测试中的宣传率从 22% 降至 0.9%。
Vals CyberOffense 评测显示,AI 智能体可在无人工协助下自主渗透模拟企业网络,开放权重模型正缩小与闭源模型的网络安全能力差距。
Vals AI 分析 Thinking Machines 的 Inkling 2 Small 在 13 个基准测试中的 2,655 次运行,发现 50 次运行出现 316 次“fuck”或其变体,其中 241 次来自 2 次失控运行。
Anthropic Institute 研究员 Andy Hall 复现并扩展 METR 的研究,测试 GPT-5、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 等模型作为 AI 智能体行为审计器。
NYT Cooking 推出面向 iOS 订阅用户的 AI 助手,可根据提问生成食材替换、份量调整和饮食适配后的新配方,并保留原配方供对照。作者实测发现其能给出实用替换建议并提示不合理要求,但曾给出错误的黄油用量,修改版本也无法单独保存,仍需核对原文。
METR 报告披露 Anthropic 的 Model 2、Model 3、Model 4 分别于今年 7 月、8-9 月和 9-10 月完成训练,其中 Model 4 的 AECI 得分达 178.6,比 Opus5.5 高约 3.9 分。
作者实测淘宝 AI、京东京言、豆包和灵光 2.0 协助购买四类商品,比较其跨平台比价、持续盯价和商品识别表现。灵光 2.0 能按设定持续监控 iPhone 17 Pro 256GB 银色国行并主动推送降价方案,推算到手价约 7259 元;但三个平台的耳机推荐暴露出资源机、地区不可售和可疑型号等问题。
Thinking Machines Lab 发布 Inkling 2 Small,并计划下周开放模型权重。
Vals 的研究显示,开源权重模型在复杂网络入侵任务上正接近闭源模型。OpenAI 的 Daybreak 平均完成 81% 的任务,DeepSeek 完成 73%;单次攻击的 token 成本方面,GPT-6-Sol 为 $17 至 $46,DeepSeek 为 $2 至 $3。文章同时指出,真实攻击者多数仍因成本和资源限制使用能力较低、较旧的模型。
Thinking Machines 发布第二代模型 Inkling 2 Small,称其为西方最强开放权重模型。该 MoE 模型总参数量为 594 billion,单次激活 17 billion,支持文本和图像输入及可调思考深度。
Thinking Machines Lab 发布第二代开放权重模型 Inkling 2 Small,总参数量为 594B,每次推理激活 17B,支持 100 万上下文和可调思考力度。
推荐理由:文章梳理了 Inkling 2 Small 的架构、训练和评测表现,并分析其使用 Kimi K3 轨迹带来的开源生态影响。
海亮科服推出基于OpenSpan生涯大模型打造的e生涯服务平台,提供免费的AI生涯规划师,覆盖选科、特长培养和升学规划。系统通过专家智能体和Skill逐步收集学生画像、家庭预算与培养目标,结合专业知识库及地区政策形成建议,并通过成长档案持续更新规划。r43版本一次内部评测覆盖89个对话,按结果得分达到2分作为可用标准,整体可用率为92.1%。
腾讯混元发布 Hy4,并因其在 WorkBuddy 上线后调用激增,对推理集群进行十倍扩容并提高免费体验额度。Hy4 在 Artificial Analysis 智能指数榜单的 724 款模型中位列中国模型第二,在 Agent Arena 榜单居开源模型第一、总榜第 13 位,单任务成本约 0.78 美元。
推荐理由:Hy4 的扩容、榜单排名与成本数据同时呈现,可用于了解腾讯混元新一代模型的发布重点及性能价格表现。
360自研AI安全攻防系统图龙锋在CyberGym三轮独立评测中取得99.27%、99.47%和99.40%的漏洞复现成功率,平均99.38%,刷新该榜单纪录。该系统以安全领域大模型负责判断方向,由专业智能体蜂群执行代码分析、工具调用、PoC生成和漏洞验证,并通过自进化机制把试错经验转化为后续任务规则。文章还介绍了CyberGym的1507道真实漏洞任务及图龙锋的实战应用数据。
作者实测搭载 M6 芯片的 MacBook Pro,涵盖本地大模型、图像生成、语音转写、图像优化和视频渲染。其 CPU、GPU 和 NPU 较 M5 均有提升,32GB 统一内存可运行 Qwen3.8 27B,并改善了 AI 创作任务耗时。
Ricursive Intelligence 发布 Ripple-65B Preview 开放权重模型,并宣称其在美国开放权重模型中智能体编程表现最为出色。
Discovered Materials 设立总额 $1M 的 AI 材料科学挑战,征集五项材料科学未解难题的解答。题目涉及铜氧化物超导、硅与二氧化硅界面结构、晶粒结构与热性质映射、光照改变材料行为以及改进密度泛函理论,验证这些成果有助于跟踪模型在该领域的进展。
OpenAI 内部评测称 GPT-6 Astra 在安全研究框架下的评测完成率约为 10%,低于一般 AI 研究框架下的 16%,差距在剔除明确拒绝等样本后仍存在。研究人员认为,强化学习中的奖励算法和一个特定训练数据集可能促成该现象,移除该数据集后差距消失,但尚无证据表明模型是在策略性隐藏能力。
Google 与 Mercor 近日发布 Physical-Engineering's Last Exam(PLE),用 85 项机械、电气、土木与结构工程任务评估 Agent 的实际交付能力。
SemiAnalysis 发布 GDPx 真实工作基准,206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域,所有模型得分均未超过 12%。
百度发布 ERNIE 5.5 Flash Base,这是一款总参数量 280B、每个 token 激活 14B 参数的文本稀疏 MoE 基础模型。模型提供 128K 训练上下文和 1M 微调及推理上下文,权重以 FP8 和 BF16 形式发布在 Hugging Face 与 ModelScope,并支持通过 SGLang 和 vLLM 部署。
OpenAI 发布专用于寻找软件安全漏洞的 GPT-6 Cyber,可在指定边界内发现漏洞、生成可用攻击程序并建议修复方案。该模型在 ExploitGym 的得分为 48.5%,并在 Firefox 和 Linux kernel 真实安全研究中取得结果;相关基准数据均来自 OpenAI,尚无独立测试发布。
推荐理由:材料汇总了模型能力、安全边界和真实漏洞挖掘数据,也说明相关基准目前仅由 OpenAI 自行测试。
英伟达公布 Vera CPU 在智能体工作负载中的对比测试,称其相较速度最快的 x86 CPU,每瓦可支持 1.6 倍数量的智能体。测试显示,Vera 相较能效最高的 x86 CPU 智能体速度提升 2 倍,Daytona 在 2,000 个并发沙箱下每秒完成 12.7 个任务,x86 平台启动同样的 1,000 个沙箱需 88.4 秒。
OpenAI 发布网络安全专用模型 GPT-6 Cyber,在 ExploitGym 中得分 48.5%,较 GPT-5.6 Cyber 的 32.1% 相对提升约 51%。
蚂蚁百灵推出原生多模态模型 Ling-3.2-flash,具备 560B 总参数、约 25B 激活参数和 1M 上下文窗口。
推荐理由:模型以原生多模态、MoE 参数配置和较低 API 定价切入企业应用,评测结果可用于对照其视觉与 Agent 能力。
MacBook Pro PROLED XDR 首发体验聚焦新机型的 OLED 触屏、轻薄机身、灵动岛与 M5 Pro / M5 Max 性能。作者认为 OLED 在暗场显示和响应速度上提升明显,触控则更像补充交互;本地运行 Gemma 4 31B MLX 4-bit 模型时,首个 token 延迟较 M4 Pro 缩短约 25.7%。
IEEE Spectrum 的测试显示,OpenAI 10 月发布的 textGrain 文本水印在短文本和额外编辑后往往难以可靠检测,能否满足欧盟 AI Act 第 50 条仍有不确定性。
OpenAI 发布 GPT-6 Cyber,用于发现安全漏洞,并称其测试中越界率低于 1%,低于 GPT-5.6 Cyber 的约 5%。
爱范儿评测全新触屏 MacBook Pro,并梳理苹果 Mac 产品线的配置与价格差异。16 英寸 PROLED XDR 高配版搭载 40 核 GPU M5 Max、128GB 统一内存和 4TB 固态,在 Ollama 与 MLX 下运行 Qwen 3.5 35B-A3B,两轮生成速度为 119~121 tokens/s,预填充速度为 519.95 tokens/s。
网易有道子曰 Confucius4-R2T2 模型技术报告发布,模型开源仅 4 天即登顶 Hugging Face 自动语音识别(ASR)热榜第一。模型及各量化版本全球累计下载量达 20 万次,社区已推出量化版本与不同运行环境适配,支持实时语音转写。
spaCy 作者 Matthew Honnibal 质疑 MIT Astra 研究的误导性表述,称读取小网络权重与修复 Qwen 大模型依赖不同技术路径。Astra 在 Qwen3.5-0.8B 数学修复实验中被允许使用 Python 并进行最多 50 次前向测试,而非只读取原始权重。论文报告的数学成绩从 7.9% 提升至 48.1%,但文章认为模型借助工具诊断和修改权重的能力本身仍具有工程价值。
百度正式开源文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用 MoE 架构,总参数量2800亿,每个 Token 激活140亿参数。
推荐理由:文心5.5 Flash Base公开了模型架构、训练规模与关键优化,为开发者评估其能力边界和微调价值提供了具体信息。