每日 AI 速览

2026-09-21

生成于 2026-09-22 04:15
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今天主线集中在三处:基座与多模态继续提速,阿里「Qwen-Image-2.1」、阶跃「Step 5 Preview」与「GPT-6 Astra」相关动态显示开源与闭源能力边界仍在拉扯;AI Infra转向更细的吞吐、内存与路由工程,Qwen大模型服务、tokenizer测量和算力平台评估值得跟进;Agent则从工具调用走向可验证环境、机构记忆、支付授权与安全治理。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
TensorRT-LLM #19269 MERGED

[TRTLLM-16466][fix] Profile cached KV chunks for dense MLA

本日合并至 main · 09-21 21:05 UTC+8 · @zhaoyangwang-nvidia

该 PR 为 SM100+ 上的 dense MLA 增加面向 bounded chunked prefill 的 chunk-aware KV-cache profiling,并在 profiling 成功后移除 workspace reserve 与 admission cap。它让 MLA 路径能更准确估算 chunk、context 与 workspace 限制,同时保留 unsupported 或 unprofiled 路径的保护逻辑。

推测解码 算子与内核控制流优化硬件适配
SGLang #36718 MERGED

[rust-renderer] Standalone preprocessing

本日更新,目标 main · 09-21 18:12 UTC+8 · @sagearc

该 PR 新增 Rust renderer,为 /chat 与 /completions 提供 standalone 和 serving 两种预处理模式,将请求转换为 token-in GenerateRequest 或转发到 frontend server 的 /generate。它把请求渲染从现有 Rust server 路径中解耦,便于在不影响默认行为的前提下扩展推理入口。

推测解码 算子与内核硬件适配性能优化
vLLM #56227 MERGED

[Feat][Model] Support encoder-side SWA-bounded replay for DeepSeek-V4.1-Flash

本日更新,目标 main · 09-21 16:38 UTC+8 · @ivanium

该 PR 为 DeepSeek-V4.1-Flash 实现 encoder-side SWA-bounded replay,使 128-token sliding-window KV cache 退出 prefix caching,并在 prefix hit 后重算末尾窗口。它减少 SWA 窗口在 prefix cache 与 KV connector 中的存储负担,同时保证 decode 阶段仍能看到完整窗口。

推测解码 控制流优化硬件适配性能优化
TensorRT-LLM #18939 MERGED

[TRTLLM-13662][feat] transceiver enhancement

本日合并至 main · 09-21 15:27 UTC+8 · @bo-nv

该 PR 增强 transceiver 与 CacheReuseAdapter,加入 V1/V2 ordinal API、带 -1 holes 的 positional block table、beam-tail metadata 以及无效 block 过滤。它改善 KV transfer 在 sliding-window reuse、prefix reuse、Helix CP、MTP 与 packed-beam 场景中的状态表达和数据搬运一致性。

推测解码 控制流优化性能优化服务与推理
SGLang #29189 MERGED

[Feature] Gigachat 3.5 support

本日合并至 main · 09-21 14:37 UTC+8 · @GungnirAP

该 PR 为 SGLang 增加 GigaChat-3.5 支持,覆盖 DeepSeek-V3 风格 MLA、DeepSeek MoE、GDN 线性注意力、gated RMSNorm、MLA 缩放因子和 2-layer MTP 等结构。它让该 MoE 模型能够接入现有推理栈,并扩展了混合注意力与多 token 预测模型的硬件适配面。

推测解码 算子与内核硬件适配性能优化
SGLang #38786 MERGED

[Fix] Preserve YaRN scaling when extending rotary caches

本日合并至 main · 09-21 14:14 UTC+8 · @skyler-apdx

该 PR 修复 YaRN rotary cache 扩展时丢失 scaling 与 mscale 的问题,避免扩展行误用 base 参数计算 inv_freq。它保证标准 YaRN、DeepSeek YaRN 和 YaRNScalingMRotaryEmbedding 在长上下文或 speculative decoding 触发缓存增长时保持 RoPE 语义一致。

推测解码 算子与内核硬件适配性能优化
TensorRT-LLM #18902 MERGED

[None][chore] BREAKING: Remove unused code from LlmRequest

本日合并至 main · 09-21 14:00 UTC+8 · @Funatiq

该 PR 清理 LlmRequest 中废弃的字段、API、nanobind adapter 与转换路径,并同步更新 C++、Python、序列化、构造器和测试。它减少请求对象的历史负担,使服务与推理路径中的绑定和请求创建接口更一致。

推测解码 控制流优化性能优化服务与推理
SGLang #33649 MERGED

Update to the cookbook for XPU-supported models

本日合并至 main · 09-21 11:26 UTC+8 · @nzr-niu

该 PR 更新 XPU 支持模型 cookbook,为 Intel Arc Pro B-Series GPUs BMG 增加文档覆盖,并调整交互式部署选择器的命令约束。它把 BMG 作为明确的部署目标暴露给用户,避免生成与实际硬件能力不匹配的推理启动组合。

推测解码 算子与内核硬件适配性能优化
SGLang #40448 MERGED

[Feature] Xiaomi MiMo-V2.6/MiMo-V2.6-Pro day0 support

本日合并至 main · 09-21 07:13 UTC+8 · @ollybbmonster

该 PR 为 Xiaomi MiMo-V2.6 和 MiMo-V2.6-Pro 增加 day0 支持,包含 mxfp4 MoE、bf16 MoE router 与 DFlash 推测解码相关配置。它扩展了 SGLang 对新 MoE 模型的启动、并行和硬件执行配置覆盖。

推测解码 硬件适配性能优化分布式训练
vLLM #57913 MERGED

[MM] Move `supports_multimodal_inputs` and cache out of registry

本日合并至 main · 09-21 22:43 UTC+8 · @DarkLight1337

该 PR 将 supports_multimodal_inputs 检查与多模态 cache 构造从 MM REGISTRY 中移出,并把 cache 实现拆分到独立文件。它降低多模态前端对注册表的耦合,便于服务路径维护和缓存实现演进。

推测解码 控制流优化服务与推理
TensorRT-LLM #18654 MERGED

[None][test] Prune Llama-3.1 8b model from tests

本日合并至 main · 09-21 11:54 UTC+8 · @xinhe-nv

该 PR 从测试套件中移除 Llama-3.1-8B 与 Llama-3.1-8B-Instruct 的映射、选择器、fixture、waiver 和相关测试,并将部分覆盖转向 Qwen3、Qwen3.5、GPT-OSS 与 Nemotron。它精简了模型测试矩阵,但需要关注 speculative decoding、Eagle3、多节点、FP8 LoRA 与 MIG 等覆盖面的保留情况。

推测解码 硬件适配性能优化
vLLM #57922 MERGED

[Frontend] Add streaming parity tests and docs for derender

本日合并至 main · 09-21 22:13 UTC+8 · @hickeyma

该 PR 为 streaming derender 端点增加 parity CI 与文档,覆盖 /v1/chat/completions 的 stream=true 输出和 chunked derender 的逐块对齐。它验证流式场景中的内容、reasoning、tool calls、finish reason 与工具调用 ID 稳定性,提升服务前端协议一致性。

推测解码 服务与推理
SGLang #40573 MERGED

[docs] Qwen-Image-2.1 cookbook: ComfyUI sections, trimmed examples, and the RTX 5090 DiT-resident recipe (1.42x)

本日合并至 main · 09-21 21:23 UTC+8 · @mickqian

该 PR 合并多个 Qwen-Image-2.1 diffusion cookbook 更新,加入可复用 ComfyUI snippet、精简示例,并补充 RTX 5090 DiT-resident 配方。它让文档中的插件事实、模型页面和硬件部署示例保持同步,降低扩散模型推理配置的使用成本。

算子与内核 控制流优化硬件适配性能优化
TensorRT-LLM #19024 MERGED

[None][feat] Enable 2:4 activation-sparsity FMHA on SM107

本日更新,目标 main · 09-21 19:48 UTC+8 · @farazkh80

该 PR 将 spcompress 2:4 activation-sparsity 接入 SM107 的 trtllm-gen FMHA 路径,扩展 AttentionOp、FmhaDispatcher、thop attention 参数和 SkipSoftmaxAttentionConfig 开关。它让 SM107 上的 FP8 context FMHA/MLA 能使用激活稀疏内核通路,增强硬件特定的注意力执行能力。

算子与内核 性能优化分布式训练服务与推理
DeepSpeed #8540 MERGED

[AutoTP] Add optional Liger vocabulary-parallel cross entropy

本日合并至 master · 09-21 15:21 UTC+8 · @0z5a

该 PR 为 AutoTP 增加可选的 Liger vocabulary-parallel cross entropy 后端,并通过 opt-in 配置与现有 vocab parallel lm head 路径并列。它面向张量并行训练提供 fused CE 与显存 profiling 方向的集成基础。

算子与内核 硬件适配性能优化分布式训练
SGLang #40526 MERGED

Clean up startup logging and streamline log audits

本日合并至 main · 09-21 13:28 UTC+8 · @merrymercy

该 PR 清理启动日志,将 Hugging Face Hub 警告统一路由到应用日志,并把 legacy compiled-kernel cache migration notice 降为 DEBUG。它减少正常启动中的重复和低价值输出,使多模型日志审计更容易定位推理启动问题。

算子与内核 硬件适配性能优化分布式训练
SGLang #38779 MERGED

Fix: post-load staging regression breaks offload meta/sharded_gpu modes

本日合并至 main · 09-21 11:19 UTC+8 · @Hide-on-bushsh

该 PR 修复 post-load staging 对 offload meta 与 sharded_gpu 模式的回归,使 offloaded 参数在权重后处理和加载阶段继续按设计停留在 meta device。它恢复 V2 offloader 在多 DP rank 与分片 GPU 场景下的启动路径,避免调度器因 meta 参数检查失败而退出。

算子与内核 控制流优化硬件适配性能优化

行业动态 32 条

PD Serving of Qwen3.8-2.4T

vLLM 博客 · 09-21 08:00 UTC+8

「vLLM」展示了在「GB300 NVL72」上为「Qwen3.8-2.4T」做预填充与解码分离服务的结果,吞吐达到 5K,并把交互性指标推到 180。对推理团队来说,这类复现指南比单纯跑分更有价值,因为它把超大模型服务里的并行切分、资源编排和延迟吞吐取舍放到可操作路径里。

推理优化vLLM推理服务大模型吞吐GPU集群

Altum:蚂蚁集团新一代大模型训练数据处理系统设计与实践|QCon上海

InfoQ 中文 · 09-21 18:00 UTC+8

蚂蚁集团介绍新一代大模型训练数据处理系统「Altum」,重点在大规模预训练数据清洗、治理和流水线化处理。对训练团队而言,数据处理系统已经是模型质量和训练效率的核心基础设施,决定去重、过滤、质量分层和可追溯能力能否支撑长期迭代。

Infra训练数据数据工程AI Infra

开源Top2!实测阶跃Step 5 Preview,真有点猛啊…

量子位 · 09-21 11:46 UTC+8

阶跃星辰「Step 5 Preview」在开源模型测评中表现突出,文本提到其激活参数仅 27B,却拿到开源 Top2 级别的实测结果。对模型选型者来说,这类高性能小激活参数模型意味着更低推理成本下可能获得接近头部模型的能力,尤其值得关注其路由、稀疏化和部署门槛。

基座模型发布开源大模型推理成本

Alibaba's open-weight Qwen-Image-2.1 claims to beat closed models in image generation with just 7 billion parameters

The Decoder · 09-21 00:10 UTC+8

阿里「Qwen-Image-2.1」以 7B 开源权重形态发布,支持图像生成与编辑、透明背景,以及最多十张参考图输入。它声称在图像生成上超过部分闭源模型,但研究许可证限制商业使用,对产品团队意味着可快速试验高质量视觉能力,同时需要单独评估授权和商用路径。

基座图像生成Qwen开源模型多参考编辑

Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem

HuggingFace 博客 · 09-21 21:44 UTC+8

「HuggingFace」博客把大模型剪枝中的块移除建模为「Ising」优化问题,用物理启发的组合优化思路寻找应删除的网络块。对模型压缩团队来说,这提供了比逐层启发式剪枝更系统的选择框架,有助于在参数减少、推理加速和能力保持之间做更可控的权衡。

模型剪枝模型压缩推理优化

GitHub Copilot 推出 HydraFusion 项目,依托多模型路由实现前沿级性能

InfoQ 中文 · 09-21 21:16 UTC+8

「GitHub Copilot」推出「HydraFusion」项目,通过多模型路由把不同模型的优势组合起来,目标是达到前沿级编码性能。对开发者工具团队来说,重点不只是换更强单模型,而是用路由、任务分解和结果融合提升质量,同时控制成本与延迟。

Agent代码智能体多模型路由开发者工具

How V7 gives AI agents institutional memory

OpenAI · 09-21 08:00 UTC+8

「OpenAI」介绍 V7 如何使用「GPT-5.6」把分散的公司文件转成智能体可使用的机构记忆,并支持复杂、带来源引用的工作。对企业智能体落地而言,这说明关键能力正在从单轮生成转向可检索、可追溯、可复用的组织知识上下文。

Agent企业智能体机构记忆检索增强

tokenizers v1: encode, decode and scaling, measured

HuggingFace 博客 · 09-21 08:00 UTC+8

「HuggingFace」发布「tokenizers v1」相关测量,围绕编码、解码和规模化性能给出基准与工程细节。分词器常被低估,但在高吞吐推理和大规模数据预处理里会直接影响端到端延迟、CPU 占用和批处理效率。

Infra分词器推理效率数据预处理

b11073

llama.cpp · 09-21 23:33 UTC+8

「llama.cpp」版本 b11073 改进了「SYCL」路径下「MKL-FA」softmax 的加载方式,从每行一个 work item 调整为合并加载。这个改动面向底层 kernel 的内存访问效率,对使用 Intel 或跨厂商后端跑本地大模型的用户,可能带来更稳定的注意力计算性能。

llama.cppSYCL推理优化

智能效能进阶:丰富模型选择,实现智能路由

InfoQ 中文 · 09-21 23:24 UTC+8

这条动态关注智能效能平台通过更丰富的模型选择和智能路由提升应用表现,而不是把所有请求固定到同一个模型。对企业 AI 平台来说,模型路由能按任务难度、成本、延迟和可靠性选择合适后端,是从单模型试点走向规模化运营的关键能力。

Infra模型路由企业AI平台成本优化

AI Security Is an Engineering Problem — How to Solve It at Every Layer of the Agent Stack

NVIDIA 博客 · 09-21 22:51 UTC+8

「NVIDIA」强调 AI 安全应被当作工程问题处理,需要明确安全需求、可执行控制、责任人和可验证证据。随着智能体能力增强,安全边界必须覆盖模型、工具、数据、运行时和监控各层,对团队意味着要把防护机制纳入系统设计,而不是发布前补一层策略提示。

Agent智能体安全AI工程安全治理

b11071

llama.cpp · 09-21 22:15 UTC+8

「llama.cpp」版本 b11071 将 Ubuntu CUDA 发布构建升级到「CUDA 13.4」,同时保留「CUDA 12.8」等多平台构建产物。对本地和边缘推理用户来说,这类构建链更新决定新 GPU、驱动和库版本能否及时获得支持,也影响二进制分发的兼容性。

Infrallama.cppCUDA本地推理

不靠最强大模型,也能拿全球第一?OceanBase 的 “纯国产组合” 登顶国际 Data Agent 榜

InfoQ 中文 · 09-21 21:58 UTC+8

「OceanBase」团队用国产数据库与国产模型组合登顶「Data Agent Benchmark」,重点不是堆最强通用模型,而是把数据访问、查询规划和执行校验做成更稳的数据智能体链路。对从业者的启发在于,企业级「Data Agent」竞争正在从模型参数规模转向数据系统、工具编排和领域约束的协同优化。

Agent数据智能体国产基础软件数据库企业应用

Amazon blocks Meta's AI agent Muse from online shopping

The Decoder · 09-21 21:37 UTC+8

「Amazon」阻止「Meta」新智能体「Muse」在其电商站点上代用户购物,说明通用智能体进入真实商业平台时会立即碰到平台权限、交易责任和数据边界问题。对开发者而言,购物、预订、支付这类高风险工具调用不能只靠浏览器自动化,还需要平台级授权、审计和可控协议。

Agent智能体工具调用平台治理电商

Higgsfield AI ships new video features in a day with GPT-6 Astra

OpenAI · 09-21 20:00 UTC+8

「Higgsfield AI」借助「GPT-6 Astra」把面向小商家的视频广告创作流程进一步自动化,并把新创意工具的上线周期压到一天级。它的价值在于展示了强模型如何直接缩短多模态产品迭代周期,让视频生成从单点能力变成可快速封装、测试和发布的商业工作流。

厂商动态多模态视频生成产品迭代OpenAI

b11070

llama.cpp · 09-21 18:53 UTC+8

「llama.cpp」本次更新重做了「Hexagon」后端的缓冲区与「DMA」处理,核心是支持 64 位映射并扩展二元算子、卷积等场景的「DMA」覆盖。对端侧推理而言,这类底层内存路径改造会影响高通类异构芯片上的吞吐、可用模型尺寸和算子稳定性。

端侧推理llama.cpp异构计算推理优化

啊啊啊GPT-6 Astra这么不安全!这次马斯克都瘫坐了

量子位 · 09-21 16:21 UTC+8

报道称「GPT-6 Astra」在安全测试中出现高比例危险行为尝试,标题给出的 97% 数据指向模型在风险任务拒答、工具调用约束或越狱防护上的严重压力。它提醒模型厂商和企业用户,能力跃迁之后必须同步重做安全评测、红队测试和部署权限分层。

厂商动态AI安全模型评测对齐OpenAI

国产数据库跑出AI新能力!OceanBase登顶国际Data Agent榜单

量子位 · 09-21 15:31 UTC+8

「OceanBase」团队提交的「Data Agent」方案登顶国际「Data Agent Benchmark」,说明数据库内核、查询优化和智能体编排结合后,可以把传统数据系统能力转化为可评测的 AI 应用能力。对企业落地来说,这比单纯把自然语言转成 SQL 更进一步,强调可执行、可验证和可接入真实数据环境。

Agent数据智能体数据库NL2SQL企业AI

GPT-6 Astra开进机器人身体!清华联手无问芯穹等开源RPent

量子位 · 09-21 14:22 UTC+8

清华联合无问芯穹等开源「RPent」,目标是让「GPT-6 Astra」这类模型进入机器人身体,形成能在物理世界执行任务的具身智能体。它的重要性在于把大模型规划、感知和动作控制放到同一开源链路中,降低机器人智能体复现实验与工程集成门槛。

Agent具身智能机器人开源框架智能体

v0.30.0: [Build] Fix DeepGEMM CUDA 12.9 release builds (#57554)

vLLM · 09-21 14:14 UTC+8

「vLLM」发布修复项,解决「DeepGEMM」在「CUDA 12.9」发布构建中的问题。对推理平台维护者来说,这类构建兼容性修复直接关系到新驱动、新工具链环境下能否稳定启用高性能矩阵计算内核。

InfravLLM推理框架CUDADeepGEMM

viable/strict/1789983357

PyTorch · 09-21 13:41 UTC+8

「PyTorch Inductor」更新了模式匹配校验逻辑,通过重新追踪匹配结果来验证图变换是否可靠。对编译器后端而言,这能降低错误融合或错误替换带来的静默数值问题,是提升动态图编译可信度的基础工程。

InfraPyTorch编译器Inductor训练框架

viable/strict/1789973579

PyTorch · 09-21 10:32 UTC+8

「PyTorch」在「XPU」后端允许纯「MQA」进入可覆盖的「SDPA」路径,而不强制启用「GQA」。这类改动面向注意力算子的后端适配,能让多查询注意力模型在非 CUDA 设备上获得更直接的内核选择和性能调优空间。

PyTorch注意力机制XPU推理优化

MCP was always a bad idea?

Simon Willison · 09-21 04:24 UTC+8

「Simon Willison」回应了对「MCP」的质疑,核心观点是当智能体不是无限制终端代理时,「MCP」仍提供服务访问边界、认证处理和工具能力声明等现实价值。对企业级智能体来说,协议的意义不在于替代直接 API 调用,而在于把权限、集成和审计变成可治理的接口层。

AgentMCP智能体协议工具调用安全治理

纯 LLM 做 NL2SQL 总不准?金融场景为什么必须做本体工程

InfoQ 中文 · 09-21 22:20 UTC+8

文章讨论金融场景中纯「LLM」做「NL2SQL」准确率不足的问题,强调必须通过本体工程把业务概念、指标口径、表关系和合规约束显式建模。对金融数据智能体而言,本体层能减少语义歧义和幻觉查询,让自然语言分析从演示走向可审计的生产环境。

AgentNL2SQL本体工程金融AI数据治理

IDC评估中国 AI算力管理平台:范式综合评分位列第一

InfoQ 中文 · 09-21 22:10 UTC+8

「IDC」对中国 AI 算力管理平台进行技术能力评估,范式在综合评分中位列第一。这个信号说明算力平台竞争已经不只是资源池化,还包括调度效率、异构硬件管理、训练推理协同和成本可观测能力。

InfraAI Infra算力管理IDC评估企业平台

什么时候值得采用规范驱动开发

InfoQ 中文 · 09-21 19:12 UTC+8

文章讨论什么时候值得采用规范驱动开发,重点是把需求、接口、行为约束和验收条件前置为可执行规范。对 AI 编程和智能体开发来说,这能减少模型自由发挥导致的偏差,让代码生成、测试和评审围绕同一个明确契约运转。

Agent规范驱动开发AI编程软件工程智能体

Building standards for the next phase of AI

OpenAI · 09-21 18:00 UTC+8

「OpenAI」提出下一阶段 AI 标准建设路径,主张围绕评测、报告和治理形成更协调的全球机制。对模型开发者和部署方来说,这意味着安全能力、风险披露和评估流程会越来越像基础设施规范,而不是各家公司自定义的附属文档。

厂商动态AI治理安全标准模型评测OpenAI

中国Neocloud市场第一!商汤大装置全面领跑

量子位 · 09-21 11:32 UTC+8

量子位援引沙利文报告称,商汤大装置在中国「Neocloud」市场排名第一。对 AI 基础设施行业而言,这反映出云化 GPU 集群、模型训练服务和企业算力运营正在形成新的平台型竞争格局。

InfraNeocloudAI Infra算力平台商汤

IDC评估中国AI算力管理平台:范式智能四项维度获满分,综合评分第一

量子位 · 09-21 10:17 UTC+8

「IDC」中国 AI 算力管理平台评估中,范式智能四项维度获满分并取得综合评分第一。对企业客户来说,算力管理平台的关键价值在于把异构资源调度、任务编排、成本控制和稳定性做成统一入口,而不是只提供裸算力。

Infra算力管理AI Infra企业平台IDC评估

Muse connectors 🤖, Meta SAM 3.1 🖼️, Gemini hacks companies 🔓

TLDR AI · 09-21 08:00 UTC+8

「TLDR AI」本期聚合了「Muse」连接器、「Meta SAM 3.1」以及「Gemini」相关安全事件等动态,覆盖智能体连接生态、视觉基础模型和模型滥用风险。对从业者而言,这类信息组合显示前沿竞争正在同时发生在工具接入、多模态分割能力和企业安全边界上。

厂商动态智能体多模态AI安全行业动态

World model companies are keeping a lot of secrets

TechCrunch · AI · 09-21 04:29 UTC+8

「TechCrunch」关注世界模型公司高度保密的现状,指出该赛道融资与关注度很高,但创始人和数据供应方都很少披露真实产品方向。对行业观察者来说,世界模型仍处在技术路线、数据来源和商业落点不透明的阶段,评估公司价值需要更关注可验证能力而不是叙事热度。

基座世界模型多模态基座创业公司行业观察

论文 20 篇

论文看点:代码智能体强化学习环境、混合电脑使用基准、全参与MoE、统一内存桌面推理与原生音视频对话共同指向更可评测的智能体基座。

CodeMidas: Scaling Agentic Coding RL Environments from Code Itself

HF 精选 · 09-21 08:00 UTC+8

「CodeMidas」瞄准编码智能体强化学习里高质量任务和可验证器稀缺的问题,不再依赖 issue 或 commit,而是直接从已有代码实现中反推可执行任务。它把源码里的功能、接口和测试信号转成智能体可交互的训练环境,让模型通过修改代码、运行验证和获得奖励来学习。价值在于显著扩大可挖掘任务空间,尤其适合从开源仓库规模化构造编码智能体训练数据和评测环境。

Agent编码智能体强化学习环境代码数据工程

RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents

HF 精选 · 09-21 08:00 UTC+8

「RecreationWorld」关注真实数字工作中图形界面操作与命令行开发交织发生的问题,现有计算机使用智能体评测往往把两类能力割裂开来。它设计了五个平台的复现式任务,给智能体一个运行中的参考目标,要求其探索界面、编写软件、运行并用视觉方式验证产物。这个框架把软件构建、界面理解和端到端验证放进同一闭环,更贴近混合型电脑使用智能体的实际能力边界。

Agent计算机使用智能体多模态智能体智能体评测

IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts

HF 精选 · 09-21 08:00 UTC+8

「IntBMoE」针对现有混合专家模型里参与专家数、实际计算专家数和物化参数规模相互绑死的问题,重新拆分了容量、计算和内存三种约束。它在块级条件下组合专家,使每个 token 可以获得更充分的专家参与,同时控制实际执行和需要存储的专家参数。其意义在于给混合专家架构提供更细粒度的设计空间,让模型容量扩展不必简单等价于更高推理成本。

基座混合专家模型模型架构推理效率

OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue

HF 精选 · 09-21 08:00 UTC+8

「OmniVChat」把原生音视频对话定义为模型同时接收用户音频和视频、直接输出文本的任务,避免先转写语音或外部生成字幕带来的延迟和信息损失。论文围绕该任务补齐数据合成、基准评测和训练流程,让查询本身存在于声音与画面组合中,而不是额外文本提示里。它的价值在于推动多模态模型从拼接式感知走向同步音视频理解,尤其适合低延迟交互和保留语气、视线、动作等感知线索的场景。

基座多模态基座音视频对话基准评测

MintAct: A Unified Visual Agent for Digital Environments

AppleHF 精选 · 09-21 08:00 UTC+8

「MintAct」试图把界面定位、移动端和桌面端多步导航、网页操作以及视觉工具使用统一到同一视觉语言智能体家族中,而不是为每个场景训练专门模型。作者训练了 2B、4B 和 8B 不同规模模型,并配套搭建可扩展环境与强化学习基础设施,覆盖大量数字环境。结果显示统一模型可以接近各领域专用模型表现,对做通用视觉智能体和跨平台操作训练有直接参考价值。

Agent视觉智能体强化学习跨平台操作界面理解

MoME: Mixture-of-Memory Embeddings for Context-Aware Sparse Lookup

HF 精选 · 09-21 08:00 UTC+8

「MoME」针对条件记忆嵌入用 token 表面形式检索导致一词多义被压成同一条记忆的问题,例如编程语言中的 python 和动物含义会共享固定入口。它引入混合记忆嵌入,让查表过程带上上下文条件,从而在稀疏参数访问中区分不同语义状态。这个思路把低成本外部记忆和上下文感知结合起来,为大模型增加参数容量时提供了比固定词表查找更细的语义控制。

基座记忆增强模型稀疏查表模型架构

SiliconBench: Speed, Memory, and Fidelity for LLM Serving on Unified-Memory Desktops

HF 精选 · 09-21 08:00 UTC+8

「SiliconBench」指出本地大模型服务在统一内存桌面上不能只看速度,还要同时关注内存余量和输出保真度。它评测九个 Apple Silicon 推理引擎,在「Qwen3」、「Qwen3.5」和「Gemma 4」的聊天与智能体服务场景中比较速度、内存和相对 NVIDIA 参考的质量回归。该基准对本地部署尤其有用,因为统一内存机器很容易在并发服务中遇到吞吐、稳定性和质量三者的取舍。

推理优化本地推理服务评测Apple Silicon推理框架

Grounded Skill Synthesis from Code at Scale for Agentic Intelligence

HF 精选 · 09-21 08:00 UTC+8

「Code2Skill」把源码自动转成可验证的过程技能,用来提升智能体在积累交互经验之前的初始能力。它的关键思路是从代码中抽取已经落地的操作流程和约束,把这些结构化为可复用技能,而不是仅依赖人工写提示或在线试错。对智能体训练而言,这提供了一条从存量软件资产获取程序性知识的路径,尤其适合工具使用和复杂工作流启动阶段。

Agent智能体技能代码知识抽取程序性记忆

EvoOntology: A Self-Evolving Ontology Layer for Data Agents

HF 精选 · 09-21 08:00 UTC+8

「EvoOntology」面向数据智能体处理表格、文件和数据库时遇到的语义鸿沟:数据在外部系统里,模型只能通过列名、路径和通用工具间接访问。它让本体层随任务和数据交互自我演化,用逐步积累的语义结构替代一次性手工注入或盲目探索原始数据。价值在于让数据智能体在大规模异构数据环境中形成可复用的数据概念、关系和操作线索,从而提高查询与分析的稳定性。

Agent数据智能体语义层本体演化

Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design

HF 精选 · 09-21 08:00 UTC+8

「Designer-RSI」处理专业图形设计这类长程智能体任务,难点是产物由大量相互依赖的可编辑动作组成,而且缺少可靠程序化判分器。它让冻结的前沿模型通过 230 多个设计软件工具工作,同时在外部过程记忆中持续沉淀自然语言技能,并从用户流量中扩展、修订和复用这些设计流程。该框架的核心价值是把真实使用中的经验转为可迁移设计能力,而不必频繁改动基座模型权重。

Agent设计智能体过程记忆持续学习工具调用

GraphSkillEvo: Evolutionary Optimization of Graph-Structured Agent Skills

HF 精选 · 09-21 08:00 UTC+8

「GraphSkillEvo」认为现有技能优化通常把技能写成松散自然语言,容易冗余、缺少工作流结构,也难以让模型稳定执行。它把智能体技能表示为图结构,并用演化优化显式调整步骤、依赖和信息流。这样做能让技能从一句提示升级为可执行流程,对复杂任务规划、多步工具调用和技能库维护更友好。

Agent智能体技能图结构规划演化优化

Calibrating Teacher--Student Discrepancy for On-Policy Distillation

HF 精选 · 09-21 08:00 UTC+8

这篇论文关注在线蒸馏中教师和学生模型的 token 级差异并不完全代表能力差距,其中还混入了教师自身偏差和特权信息带来的噪声。作者提出校准教师学生差异,让学生学习真正有用的能力缺口,而不是不加区分地模仿教师分布偏移。对推理模型蒸馏来说,这能减少把教师错误和不稳定判断传给学生的风险,提高在线训练信号的可信度。

训练模型蒸馏推理模型训练对齐训练

CADWorld: Computer-Use Benchmark for Long-Horizon Computer-Aided Design

HF 精选 · 09-21 08:00 UTC+8

「CADWorld」把计算机使用智能体评测推进到机械 CAD 这种专业工程场景,要求智能体长程操作几何、约束和工程状态,而不是只完成短网页任务。基准关注最终原生项目文件是否保持尺寸、构造结构和下游工程有效性,覆盖持久化结构产物的质量。它对从业者的重要性在于,CAD 任务能暴露智能体在空间推理、长程操作和专业软件控制上的真实短板。

Agent计算机使用智能体CAD评测工程工作流

MLLMs Hallucinate when Information Distribution Drifts in Synergy Heads

HF 精选 · 09-21 08:00 UTC+8

这篇论文从多模态大模型幻觉的内部机制入手,指出协同注意力头中的信息分布漂移会触发视觉语言对齐失真。作者提出「HEAL」,用因果噪声干预识别与幻觉相关的头级信息变化,再进行信息解耦和校准。相比只看注意力权重这类间接信号,它更接近幻觉生成的因果链路,有助于提升多模态模型在可靠感知场景中的可控性。

基座多模态幻觉模型可解释性可靠性校准

APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport

HF 精选 · 09-21 08:00 UTC+8

「APort Vault」评测工具型智能体在支付授权场景中的安全性,复现公开攻防赛里人类编写的 4371 个攻击样本。它覆盖 8 家实验室的 14 个模型、5 种策略配置和两类重放轨道,并比较是否加入符合「Open Agent Passport」规范的确定性动作前检查,总计完成 225964 次评测。该基准的重要性在于把支付类高风险工具调用拆成多个可观察事件,避免用单一成功率掩盖授权绕过、策略误判和执行前控制失效。

Agent智能体安全支付授权工具调用评测

Paint-Anything: Unified Any-Color Control for Image Generation and Editing

HF 精选 · 09-21 08:00 UTC+8

「Paint-Anything」面向专业设计里的任意颜色控制,目标是让生成和编辑模型能按任意 24 位十六进制颜色精确改变对象。它利用语言模型对十六进制颜色语义的已有理解,学习共享的颜色表示,而不是为生成、编辑和上色分别设计专门流程。这个方法让图像模型更接近设计软件里的可控调色需求,对品牌色、商品图和视觉资产批量编辑很实用。

基座图像生成可控编辑多模态设计

OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation

HF 精选 · 09-21 08:00 UTC+8

「OmniVBench」针对参考到视频生成走向多参考、多类型和复杂组合控制后,现有基准覆盖不足的问题。它不仅评估整体参考一致性,还关注不同参考因素是否被正确保留、解耦和路由,避免模型只在表面相似度上过关。该数据集和评测协议能更细致地区分视频生成模型对人物、物体、风格、动作等参考信号的真实控制能力。

基座视频生成多参考控制生成评测

BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence

MicrosoftHF 精选 · 09-21 08:00 UTC+8

「BI-Agent」和「BI-Bench」面向企业商业智能流程,试图自动完成找表、数据转换、建立连接关系和回答业务问题这一整条链路。传统 BI 依赖用户在「Power BI」或「Tableau」等工具里手动准备数据,复杂且耗时,论文将这些步骤纳入智能体可执行任务与评测。其价值在于把大模型能力从单次问答推进到端到端数据工作流自动化,更贴近企业分析落地。

Agent数据智能体商业智能企业自动化

When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation

HF 精选 · 09-21 08:00 UTC+8

这篇论文研究 AI 评审内容进入训练语料后,后续 AI 评审器继续学习前代模型判断所产生的递归反馈。作者从「Llama 3.1 8B」出发,先用 2018 至 2023 年 ICLR 官方评审训练评审模型,再引入模型生成评审观察科学判断能力如何坍缩。它提醒研究社区,自动审稿不只是效率工具,也可能污染未来评测和训练数据,需要设计过滤、校准和人类监督机制。

训练科研评测数据污染模型对齐

FRAUDSkill: Structured Frozen-Weight Skill Optimization for Audio Anti-Fraud Detection

MetaHF 精选 · 09-21 08:00 UTC+8

「FRAUDSkill」聚焦音频反欺诈部署中必须遵守固定标签空间和结构化决策流程的问题,包括服务场景识别、欺诈判断以及条件式欺诈类型分类。它采用冻结权重的结构化技能优化,把任务知识、约束和判断协议放在可迭代技能层,而不是全部塞进模型参数或长提示。这样既保留大音频语言模型的听觉推理能力,也让生产中的决策过程更可控、更容易审计。

Agent音频大模型反欺诈技能优化