每日 AI 速览

2026-10-25

生成于 2026-10-26 04:06
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今日主线有四:一是 Agent 架构之争升温,Anthropic 称单智能体已胜过多子代理,微软则开源可调度上千智能体的「Agensh」,同时多篇论文重估智能体记忆与检索的必要性;二是 Infra 侧聚焦长上下文与 MoE 效率,「TokenGate」以 token 门控注意力把长上下文 prefill 提速至 11.3 倍,跨层专家共享也在压降存储与检索成本;三是多模态与视觉智能体基准密集发布;四是厂商动态上 OpenAI 以高额折扣争夺 Anthropic 大客户。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
Megatron-LM #7047 MERGED

[DCP V2 3/4] Integrate dynamic CP with standard train and eval schedules

本日合并至 main · 10-25 23:14 UTC+8 · @xiaoyao0115

将动态上下文并行接入标准训练与评估调度,使用调用方持有的 process group,覆盖 PP、VPP、MTP 阶段的 packed data,并移除旧的 Hybrid-CP 专用调度与 data-loader wrapper。该改动统一了动态 CP 与现有调度路径,减少专用分支,提升大规模训练中动态 CP 的组合性与可用性。

推测解码 算子与内核控制流优化硬件适配
SGLang #46290 MERGED

[Refactor] spec: Resolve draft parallel placement from model declarations

本日合并至 main · 10-25 12:32 UTC+8 · @ch-wan

新增 DraftParallelSpec 与 DraftParallelLayout,由 draft 模型声明决定投机解码的并行放置,并在执行与显存设置间共享同一布局。该改动避免从投机算法名和 worker flag 推断放置,降低配置不一致风险,便于 DP attention 下的 draft 部署与显存规划。

推测解码 算子与内核硬件适配性能优化
TensorRT-LLM #19961 MERGED

[None][feat] DeepSeek V4 / DSpark optimizations on Rubin

本日合并至 main · 10-25 01:27 UTC+8 · @reasonsolo

该 PR 仅重排 cute DSL 自定义算子、accuracy core 与 FP8 block-scale GEMM 测试中的 import 格式,未改变运行时行为、API 或测试逻辑。对 DeepSeek V4/DSpark 在 Rubin 上的优化没有功能或性能改动,价值主要在于减少格式噪声并为后续适配保留干净基线。

推测解码 算子与内核硬件适配性能优化
SGLang #46330 MERGED

[Feat] spec: Support CUDA attention DP for DFlash and DFlash2

本日合并至 main · 10-25 12:33 UTC+8 · @ch-wan

在 CUDA 后端为 DFlash 与 selector-based DFlash2 启用 attention DP,要求显式 --enable-dp-lm-head 且 CP=1、PP=1,并支持不均衡本地 batch 与空闲 DP replica,同时在 draft 实际使用的 embedding TP group 上重建 embedding。该改动扩展了投机解码在 DP attention 下的部署形态,并保持词表 padding、量化方式与输出 dtype 一致。

推测解码 硬件适配
SGLang #45076 MERGED

[Fix] hicache: Count the EAGLE bigram boundary token in PD decode restores

本日合并至 main · 10-25 10:21 UTC+8 · @alphabetc1

修复 Decode HiCache 在 EAGLE/EAGLE3 bigram key 下把 bigram 前缀长度当作 token 数传回的问题,在 queue load 回配时正确计入边界 token。该改动避免 page-aligned rematch 少一页导致缓存命中回退和重复计算,提升 PD 分离解码的缓存复用正确性。

推测解码 服务与推理
vLLM #61019 MERGED

[Bugfix][KV Connector] Serve and store OffloadingConnector partial tails with EAGLE/MTP groups

本日合并至 main · 10-25 14:03 UTC+8 · @kimseunghyun-kr

修复 CPU OffloadingConnector 在 EAGLE/MTP draft 与 mamba cache mode=align 下不提供 partial tail 的问题,调整 tail 的 lookup 位置、store gate 以及仅对从 CPU tier 加载的请求存储 tail 的策略。该改动让 CPU 层命中可覆盖调度块边界后的 token,减少重复计算,同时避免 GPU→CPU 流量翻倍导致服务变慢。

推测解码
vLLM #58466 MERGED

[Sampling] Add adaptive verification support to batch-sharded sampling

本日合并至 main · 10-25 04:35 UTC+8 · @TheEpicDolphin

在 batch-sharded sampling 中支持 adaptive verification,当 draft budget 绑定时通过异步 D2H 将每请求实际接纳的 draft 数取回主机并重排 shard 计划。该改动保证 host 侧 all-to-all 切分与 device 上实际行数一致,使自适应投机预算能与批量分片采样共同工作。

推测解码
SGLang #43727 MERGED

[Feat] hicache: Export host Mamba pool occupancy next to host KV

本日合并至 main · 10-25 23:33 UTC+8 · @feixiangpeng

在 HiCache 指标中新增 host Mamba state pool 的 used/total gauges,并在分配日志和文档中暴露第二个 host pool。该改动让混合 Mamba/GDN/KDA 模型的 host 状态池耗尽可观测,有助于区分 KV 命中问题与 radix tree 剪枝问题,提升缓存运维与容量规划能力。

算子与内核 硬件适配性能优化服务与推理
SGLang #46124 MERGED

[Feat] diffusion: add Hy-Nomas offline and realtime support

本日合并至 main · 10-25 18:27 UTC+8 · @niehen6174

为 SGLang Diffusion 接入 HY-Nomas 视频世界模型,实现带 per-segment KV cache、相机条件与 action-aware attention mask 的 segment-autoregressive DiT,并支持离线任务与逐事件 WebSocket 实时会话。该改动将分段自回归视频生成纳入统一推理服务,利于长事件序列的 KV 复用和实时交互式部署。

算子与内核 控制流优化硬件适配性能优化
FlashInfer #7293 MERGED

deslop(sm110): fold the ratio-clone tree units into body headers; drop dead registry leaves and NEED selectors

本日合并至 main · 10-25 18:16 UTC+8 · @yyihuang

对 SM110(Jetson AGX Thor)的 XQA 与 GQA decode 实验包做第三轮 deslop,将 ratio-clone tree 单元折叠进 body header,并删除死 registry leaf 与 NEED selector。该改动减少生成式 kernel/binding 翻译单元和冗余注册项,降低构建与维护成本,并为 exporter 重新生成保持结构清晰。

算子与内核 控制流优化硬件适配性能优化
SGLang #46139 MERGED

[Feat] msa: Add MSA-v1 decode and NVFP4 KV cache kernels

本日合并至 main · 10-25 17:41 UTC+8 · @ispobock

新增 MiniMax-M3.1 NVFP4 KV cache 的独立 kernel,包括 MSA-v1 decode planning、FlashInfer decode wrapper、NVFP4→FP8 紧凑反量化、K/V/index store 以及 HiCache 使用的 page-row host/device 传输。该改动为后续后端接入准备低精度 KV 读写与解码基础算子,支撑 NVFP4 缓存下的显存占用与带宽优化。

算子与内核 硬件适配性能优化服务与推理
vLLM #63552 MERGED

[Doc] Kimi-K3: InferenceX AgentX lanes as tuned presets; DCP only in presets

本日合并至 main · 10-25 16:30 UTC+8 · @esmeetu

将 Kimi-K3 的 InferenceX AgentX lane 与 GB300 低延迟配置整理为 tuned presets,并移除单独的 DCP selector 和 toggle,使 DCP 仅存在于已验证 preset 中。该改动以可复现的调优预设替代手工改命令,降低部署配置漂移,便于按 GPU 与并行策略选择推理方案。

算子与内核 控制流优化硬件适配性能优化
vLLM #63266 MERGED

[Bugfix][KV Offload] Reject misaligned chunked-local CPU suffix hits

本日合并至 main · 10-25 12:18 UTC+8 · @charxwu

修复 SimpleCPUOffloadConnector 在 GPU prefix 结束于 attention chunk 内部时错误复用 CPU suffix 的问题,当本地 prefix 未按所有参与 chunked-local attention group 对齐时拒绝 CPU suffix lookup 并重算后缀。该改动保证 chunk 边界与绝对位置一致,避免错误输出,同时保留无 GPU prefix 或 chunk 对齐场景的 CPU 复用。

算子与内核 控制流优化硬件适配性能优化
SGLang #45110 MERGED

[Fix] kimi-k3: Avoid vision attention child-name collisions

本日合并至 main · 10-25 10:08 UTC+8 · @rumitdesai

修复 Kimi-K3 将 vision-attention 实现标签直接用作 nn.ModuleDict 子模块名导致的命名冲突,例如标签 cuda 与 nn.Module.cuda() 冲突。该改动避免模型构造阶段因实现标签不安全而失败,提升视觉注意力后端自动选择的健壮性。

算子与内核 硬件适配性能优化分布式训练
SGLang #46264 MERGED

[Refactor] diffusion/linear: Share segmented row-parallel weight loading

本日合并至 main · 10-25 10:00 UTC+8 · @mickqian

让 RowParallelLinear 通过 input_sizes 对 [attention shard | MLP shard] 的每个逻辑输入段独立切分加载,并移除模型内重复的 linear 子类与参数加载 monkeypatch。该改动统一 Flux、Flux2、HunyuanVideo 等模型的 segmented row-parallel 权重加载,复用 rank-local safetensors 读取,减少重复代码和全量 checkpoint 物化。

算子与内核 硬件适配性能优化分布式训练
SGLang #46205 MERGED

[Feat] rust-server: Report weight versions and media token counts in generate meta_info

本日合并至 main · 10-25 08:50 UTC+8 · @metamergebot

在 Rust 前端的 /generate meta_info 中上报 weight version(s) 以及 image/audio/video token 计数,通过 scheduler→Rust batch header 的可选列传递。该改动补齐 Rust 模式与 Python 服务端的响应字段一致性,便于客户端追踪权重版本和按模态统计 prompt token。

算子与内核 控制流优化硬件适配性能优化
FlashInfer #7328 MERGED

perf(cake_nvfp4_attention): faster SM103 kernel with a tile-boundary overlap and P in tensor memory

本日合并至 main · 10-25 23:19 UTC+8 · @yyihuang

针对实验 NVFP4 attention 包中唯一的 Cake 变体,提供带 tile-boundary overlap 与 P 存放于 tensor memory 的更快 SM103 kernel。该改动在不改变输入输出与 NVFP4 量化格式的前提下提升该 attention kernel 的吞吐,适配 GB300/sm103a 的硬件特性。

算子与内核 控制流优化性能优化
FlashInfer #7312 MERGED

perf(cake_kimi_k3_latent_moe): evict-first decode weights and a claimed-item resident TP1 tail GEMM

本日合并至 main · 10-25 19:35 UTC+8 · @yyihuang

更新 Kimi-K3 Stable LatentMoE 前后投影的 Cake 程序,在 T≤128 时采用 evict-first 权重流式 tcgen05 launch,在更大 token 数时使用 persistent 2-CTA GEMM,尾部先做 one-pass RMSNorm,并保留 TP1/TP8 变体。该改动针对 decode 小 batch 与大 batch 分别优化权重流和 GEMM 调度,降低 latent MoE 前后处理的延迟。

算子与内核 性能优化服务与推理
FlashInfer #7300 MERGED

perf(cake_mega_moe): staging kernel, arrive-only barriers and route-in-dispatch for the BF16 rank-major EP8 layer

本日合并至 main · 10-25 18:25 UTC+8 · @yyihuang

优化 SM100 上 BF16 rank-major EP8 MoE 层的 GEMM 周边阶段:合并输入 staging copy,将输入与 partial barrier 改为 one-warp arrive kernel 释放 per-peer mailbox,并调整 dispatch/combine 等待与 route-in-dispatch。该改动在 FC1/FC2 不变的前提下减少 EP8 通信与同步开销,提升 MoE expert-parallel 层的执行效率。

算子与内核 性能优化服务与推理
FlashInfer #7287 MERGED

perf(cake_router_gemm): per-shape schedules for the router GEMM on SM100/SM103

本日合并至 main · 10-25 18:24 UTC+8 · @yyihuang

为 router GEMM 的 32 个按 num tokens M 与 hidden dim K 划分的 program 分别配置 schedule,复用每个加载的 A chunk 跨多个 expert,并在更快的场景将 K 切分到 thread-block cluster。该改动针对 MoE routing logits 的小 M、多 expert 形状提升 GEMM 效率,减少路由阶段开销。

算子与内核 性能优化服务与推理

行业动态 18 条

Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster

MarkTechPost · 10-25 20:12 UTC+8

斯坦福和 UC Berkeley 开源 TokenGate,一个可直接插进现有 LLM 的学习式 token 剪枝模块,专门治理长上下文 prefill 的开销。按其数据,首 token 时延降低 1.4 到 11.3 倍,峰值显存降低 1.5 到 3.4 倍且不掉精度。对做长文档、代码库级上下文的推理服务方,这类 drop-in 模块是几乎零改造成本的吞吐提升手段。

长上下文token 剪枝Prefill 加速推理优化

b11878

llama.cpp · 10-25 23:19 UTC+8

llama.cpp 新构建 b11878 在 ggml-cuda 后端把 Qwen 的 MRoPE 计算与 set-rows 操作做了融合,减少 kernel 启动次数与中间写回。对在 CUDA 上跑 Qwen 系列本地推理的用户,这是直接的延迟与显存收益,也说明 llama.cpp 正在针对主流国产模型的结构做定制化优化。

Infrallama.cppCUDA 优化Qwen本地推理

Anthropic says one AI agent beats many subagents now that models can handle complexity alone

The Decoder · 10-25 17:12 UTC+8

Anthropic 公开表示,随着模型自身能处理更复杂的任务,过去流行的多子智能体架构可以收敛成单个 agent,按需加载上下文即可。在其一次架构对比中,单 agent 方案快了约一倍,并已在 GitHub 放出迁移工具包。对正在纠结拆多 agent 还是单体架构的团队,这是一个值得复现的实证信号——子智能体编排带来的协调开销可能已经超过收益。

Agent多智能体Anthropic架构选型上下文管理

Microsoft Open-Sources Agensh: A Multi-Agent Harness for 1,024 Agents

MarkTechPost · 10-25 11:32 UTC+8

微软研究院开源 Agensh,一个没有中心编排器的多智能体 harness:worker 通过共享 Git 仓库、聊天频道和结论板自组织协作,规模可从 1 扩到 1024 个 agent。在 ProgramBench 上以 6 小时预算运行,验证了大规模去中心化协作的可行性。对做并行 agent 集群和长时程任务的团队,这是把协调从调度器转移到共享工件的有意思尝试。

Agent多智能体微软去中心化协作开源框架

b11877

llama.cpp · 10-25 22:59 UTC+8

llama.cpp b11877 为 Vulkan 后端新增了 conv3d 的更大 tile size,只在 coopmat2 路径启用以避免输出占用超过 64KB 共享内存,同时补了若干后端测试。这个优化是从 sd.cpp 的 Wan VAE 场景反推出来的,对在 Vulkan 上跑视频与扩散模型的用户能提升卷积类算子效率,也提醒老驱动需要更新才能吃到收益。

Infrallama.cppVulkan算子优化扩散模型

Nvidia open-sources Flora to make robot video labeling 125x cheaper than GPT-6 Astra

The Decoder · 10-25 18:08 UTC+8

英伟达开源数据引擎 Flora,用三个微调过的 Qwen3.5 模型组成流水线为机器人视频打标:一小时视频成本 72 美分,而用 GPT-6 Astra 要约 88 美元,便宜约 125 倍且质量评分略高。它在识别机器人动作错误上明显更可靠,但描述性准确度偶有不足。对做具身智能数据管线的团队,这直接改变了视频标注的成本结构,也印证英伟达正在布局机器人全链条。

训练数据标注具身智能英伟达成本优化

OpenMobile-2 proves open-source smartphone agents can rival proprietary models

The Decoder · 10-25 14:55 UTC+8

OpenMobile-2 给出一个开源的手机智能体训练环境,覆盖 110 多个应用、其中 35 个是热门应用的高保真复刻,并在真实 Android 设备上评测。作者称其模型在开源手机 agent 中得分最高,可与闭源模型掰手腕。结论也反直觉:这类 agent 的提升不来自喂更多数据,而来自覆盖更多不同的应用,对做 GUI agent 数据构建的人是重要提示。

Agent手机智能体GUI Agent训练环境开源

viable/strict/1792927488: [DeviceMesh] Sort split ranks when applicable (#201949)

PyTorch · 10-25 14:46 UTC+8

PyTorch 修复了 DeviceMesh 在按需 split 时的 rank 排序问题:原先 new_group 路径默认对子组 rank 排序,未正确处理 preserve_rank_order,而 eager 路径直接把 mesh 顺序传给 split_group,导致两条路径行为不一致。对用 DeviceMesh 搭多维并行的训练团队,这类一致性问题会影响分片顺序与集合通信的正确性,值得跟进版本升级。

InfraPyTorchDeviceMesh分布式训练Bug 修复

trunk/020ab1c835283876de8b569395117d5934e673d2: [DeviceMesh] Sort split ranks when applicable (#201949)

PyTorch · 10-25 14:46 UTC+8

这是同一修复进入 trunk 主干的提交:DeviceMesh 在适用场景下对 split rank 做排序,并修正 preserve_rank_order 的处理,使 new_group 路径与 eager 路径行为对齐。对依赖 DeviceMesh 搭建并行策略的用户,主干合并意味着后续 release 会带上该修复,可减少并行分组顺序引发的隐性错误。

InfraPyTorchDeviceMesh并行策略主干合并

How to Run Underdog Saluki 27B: 2-Bit Qwen3.8-27B Tool-Calling Guide

MarkTechPost · 10-25 10:30 UTC+8

这是一篇实操指南,讲怎么在原生 llama.cpp 上跑 Underdog Saluki 27B——基于 Qwen3.8-27B 的 2-bit 量化版本,采用 ISTA 的 GSQ-RCO 量化方案。文章拆解了 GGUF 头部结构、实测显存占用,并在 BFCL 上对比工具调用表现。对想在消费级硬件上跑工具调用模型的开发者,2-bit 量化能否守住 function calling 能力,是这篇给出的关键答案。

推理优化量化工具调用llama.cpp本地部署

viable/strict/1792902652

PyTorch · 10-25 08:20 UTC+8

PyTorch 分布式侧的一项改动:在 FSDP2 的显存追踪中隔离 CUDA BLAS 工作区分配,避免 cuBLAS workspace 被误计入模型与激活的内存统计。对用 FSDP2 做大规模训练、依赖显存 profiler 调优的团队,这类修正能让显存归因更准确,从而更可靠地判断瓶颈在参数、梯度还是临时缓冲。

InfraPyTorchFSDP2显存追踪分布式训练

v0.40.9

Ollama · 10-25 01:50 UTC+8

Ollama v0.40.9 把 Flint 的支持从 macOS 扩展到 Linux 和 Windows,同时修了几处体验问题:流式的 OpenAI Responses 与 Anthropic Messages 请求在生成失败时会显式报错而非静默截断,ollama launch 会把云端模型的上下文长度与能力正确传给编码工具。对把 Ollama 当本地推理底座接 coding agent 的开发者,这些修复直接关系到上下文配置与错误可观测性。

InfraOllama本地推理版本更新可观测性

Block’s new voice model sounds eerily human

TechCrunch · AI · 10-25 00:00 UTC+8

Block 发布了一款语音模型,官方称其合成语音的自然度已经接近真人,听感上几乎没有机械味。更值得关注的是它能在单台 MacBook M4 Max 上本地运行,不依赖云端推理,这意味着端侧低延迟语音交互、隐私敏感场景和低成本部署的门槛被进一步压低。对做实时语音 Agent 和端侧多模态应用的团队来说,这类本地可跑的高质量 TTS 会直接改变架构选型。

基座语音合成端侧推理多模态基座

viable/strict/1792950632

PyTorch · 10-25 21:48 UTC+8

PyTorch 主分支回滚了此前为 XPU 后端 inductor 增加 batch_linear_lhs 投影形状校验的改动,属于该六连 PR 系列中的第二个补丁被撤销。这类回滚通常意味着校验逻辑在 XPU 路径上触发了误报或性能回退,对使用 Intel GPU 跑 torch.compile 的团队是一个需要留意的信号:相关形状校验尚未稳定,跟进该系列 PR 时应注意版本对应关系。

InfraPyTorch编译器XPU

viable/strict/1792932937

PyTorch · 10-25 16:50 UTC+8

PyTorch 在 inductor 的 XPU 后端为 batch_linear_lhs 增加了投影形状校验,用于在编译期提前暴露张量形状不匹配的问题,避免错误下沉到 kernel 执行阶段才崩溃。这属于 Intel GPU 推理路径逐步补齐与 CUDA 对齐的编译期检查能力,对在 XPU 上做算子融合与图优化的工程师来说,能显著缩短定位形状错误的调试链路。

InfraPyTorch编译器推理优化

OpenAI offers discounts up to 90 percent to poach Anthropic's biggest customers

The Decoder · 10-25 15:30 UTC+8

OpenAI 正以最高约九折的折扣挖角 Anthropic 的大客户,Rippling、Replit、DataCamp 等公司称迁移后 AI 成本下降最多 90%,而 Anthropic 的增长已出现放缓迹象。这本质上是用自身毛利换市场份额的价格战,叠加 DeepSeek 等中国厂商持续施压,模型 API 的单位价格还会继续下探。对从业者而言,模型选型时的迁移成本与议价空间正变得比单一 benchmark 分数更重要。

厂商动态API 定价商业化

trunk/4510869fe8f8797ceaa4e5d68f2fd7de7c819398: [distributed] Skip sharding propagation for assert ops (#200515)

PyTorch · 10-25 13:01 UTC+8

PyTorch 分布式模块在 DTensor 的分片传播中跳过 assert 类算子,因为 assert 没有输出可供推导分片策略。此前 DTensor 会通过追踪 decomposition 为没有注册策略的算子反推策略,而 decomposition 内部夹带的 assert 会让外层算子被误判为无策略,抛出 NotImplementedError,并连带破坏在 DTensor 上对 assert tensor.all() 做 torch.compile。这一修复让带断言的模型代码在分布式编译路径下能够正常走通。

InfraPyTorch分布式训练DTensor

Cognition Open-Sources an Agent Plugin that Helps Secure Systems against Recent Cybersecurity Threats

MarkTechPost · 10-25 10:59 UTC+8

Cognition 开源了 Devin Vulnerability Fixes 插件,包含三个 MIT 许可的 agent skill,用于清点、修补并验证受本周高危 RCE 漏洞影响的 PHP、Node.js 与自建 GitLab 部署,并自动为每个仓库提交一个 PR。这把 Agent 从代码补全推进到了真实的安全运维闭环,对平台团队来说提供了一套可直接复用的「漏洞扫描—修复—验证—提 PR」自动化范式,也说明面向具体工作流的 skill 封装正成为 Agent 落地的主要形态。

Agent智能体框架安全

论文 20 篇

今日暂无当天新论文。周末或节假日 arxiv 不公告、HuggingFace 每日精选也不更新。以下为近期精选 20 篇。

IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems

HF 精选 · 10-23 08:00 UTC+8

「IQuest-Q1」是一个稀疏 MoE 基座模型,走的是多阶段预训练、中期训练加后训练的组合路线,目标是把智能体化的命令行编程能力和通用能力同时做上去。它针对的是现有基座在 CLI 这类长链路、强工具交互场景里指令遵循和状态维护偏弱的问题,靠分阶段喂入代码与终端交互数据来塑造行为。对做 coding agent 和终端自动化的团队来说,这类专为 CLI 系统打磨的基座值得关注其后续权重与评测表现。

基座MoE 基座代码智能体预训练CLI

WeVisOne-VL: Unified Visual Perception from Objects to Pixels

HF 精选 · 10-23 08:00 UTC+8

WeVisOne-VL 想把物体级和像素级视觉感知收进同一个模型,用结构化 token 预测统一表达检测框、点定位、计数、OCR、分割和抠图这些原本各管一摊的任务。做法上配了一个轻量像素解码器加多阶段训练,让同一骨干既输出离散的结构化语义 token,又能还原到像素掩码,省掉了为每类任务单开 head 的冗余。这种统一范式的价值在于降低多任务部署成本,也让细粒度定位与像素级输出能在同一套接口下被下游直接调用。

基座多模态基座统一视觉感知像素级分割结构化预测

Deep Search in Real-World Web Environments

HF 精选 · 10-23 08:00 UTC+8

OpenDS-World 把深度搜索的评测搬进真实在线网页环境,构建了一个需要多步自主检索与信息整合的 live-web 基准,而不是在静态快照上刷分,重点考察智能体在真实噪声、动态页面和链接跳转中的规划与自我纠错。结果显示前沿模型与人类之间仍有明显差距,说明当前 deep search agent 在开放网络下的鲁棒性远未收敛。对做搜索智能体和 RAG 系统的人来说,这是一个直接的提醒:离线基准的高分并不等于真网可用。

Agent深度搜索智能体评测真实网页基准

Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

HF 精选 · 10-23 08:00 UTC+8

这篇提出 Deep Fusion Memory,把分块级参数化记忆通过门控交叉注意力直接注入模型的中间隐状态,让模型推理时无需在线检索就能调用外部知识。关键在于记忆按 chunk 预编码成参数、在层内融合,从而绕开长上下文拼接与向量库检索带来的延迟和显存开销。在知识密集型任务上它不只效果更好,还显著降低了检索开销,对想把 RAG 从外挂变成内生的工程团队是一条可参考的路径。

Agent参数化记忆RAG交叉注意力知识密集型任务

Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

上海 AI LabHF 精选 · 10-23 08:00 UTC+8

针对 MoE 每层各养一堆 local expert 带来的参数冗余与显存占用,这篇提出跨层共享的 meta expert,让不同层复用同一组专家以压低存储和专家检索成本。思路是把层特有的细粒度专家和跨层共享的通用专家拆开,共享部分承担共性能力、局部部分保留层间差异。这样在维持模型容量感的同时减少总参数量和路由开销,对大规模 MoE 的部署成本控制有直接意义。

InfraMoE专家共享推理效率模型架构

Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents

HF 精选 · 10-23 08:00 UTC+8

实时语音智能体通常要等用户说完才开始推理和调工具,端到端延迟居高不下。这篇提出 heartbeat 式的推测推理:用户还在说话、内容不断更新时,智能体就持续预跑可能的工具调用并做心跳式刷新,话一说完立刻出结果。这样既提高了工具调用的覆盖率,也明显降低了响应时延,对做实时语音助手和通话类 agent 的团队是很实用的工程思路。

Agent实时语音工具调用推测执行低延迟

RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing

HF 精选 · 10-23 08:00 UTC+8

现实中的 LLM 路由既要挑模型、又要挑推理模式(快答、思考、调工具),已有方法往往把这两件事分开处理。RouteWeaver 把模式选择和执行统一进一个路由框架,用协同训练加渐进式探索让路由器学会在不同任务上联合决定用哪个模型配哪种执行方式。在多样推理任务上准确率相比分离式路由有提升,说明选模型和选用法应当一起优化。

InfraLLM 路由推理模式选择模型编排协同训练

Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought

HF 精选 · 10-23 08:00 UTC+8

这篇对当下火热的智能体记忆泼了盆冷水:在多个基准上,直接把未加工的原始对话历史拿去做朴素 RAG,效果反而优于复杂的记忆抽取与改写管线。分析指向一个简单结论——保留原始证据比做精巧的记忆变换更重要,中间层的摘要和结构化很容易丢信息。对正在搭 agent memory 的团队来说,这提示先把原始上下文检索做扎实,再谈复杂记忆架构。

Agent智能体记忆RAG上下文工程基准评测

Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models

HF 精选 · 10-23 08:00 UTC+8

扩散语言模型量化的难点在于不同去噪步、不同任务对激活值的敏感度差异很大,一刀切分配位宽会明显掉点。T2Quant 的做法是先预测任务相关与时间步相关的敏感度,再据此在去噪过程中动态分配激活精度,把高位宽留给关键步。这样在低比特下比静态量化更好地保住了生成质量,对想把扩散 LM 推到端侧或低成本服务的工程实践有参考价值。

扩散语言模型量化时间步感知推理优化

Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models

HF 精选 · 10-23 08:00 UTC+8

推理模型里常见的 wait 类自我反思标记,常被直接归功于 RL 训练。这篇做了溯源分析:RL 提升的是推理准确率,但并不依赖某个特定的 wait 标记,这些标记本身来自训练数据而非 RL 过程。更值得警惕的是,常用的自动化评测指标会误读推理长度变化趋势,把数据分布带来的现象当成 RL 的功劳,对做 RLVR 和推理模型评测的人是一次方法论纠偏。

后训练推理模型RLVR可解释性评测方法

What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

HF 精选 · 10-23 08:00 UTC+8

掩码扩散语言模型的解码效率高度依赖解掩码策略,但什么样的策略算好一直缺少受控对比。这篇系统研究了学习式解掩码策略,用轨迹收缩目标结合置信度和隐状态训练策略网络,以极小的额外开销换来更好的速度-精度权衡。结论对做扩散 LM 推理加速的人可直接当作设计准则借用,而不只是一个新策略。

推理优化扩散语言模型解掩码策略推理加速速度精度权衡

Diffusion Language Models Change Speed Across Tasks and Languages

HF 精选 · 10-23 08:00 UTC+8

这篇观察到一个有意思的现象:扩散语言模型在不同任务、不同语言上的解码速度差异很大,遇到新颖、罕见或容易出错的输出时会花更多计算步。基于此,解码速度本身就能当作信号,既可用于推理加速的调度,也能作为可靠性判断的线索——算得慢往往意味着模型不确定。对研究扩散 LM 解码与不确定性估计的同行,这提供了新的切入角度。

推理优化扩散语言模型解码速度推理效率不确定性

What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models

HF 精选 · 10-23 08:00 UTC+8

统一多模态模型通常只把生成侧用于图像合成,而这篇 GAFU 认为生成过程中形成的原生表征本身就蕴含细粒度视觉理解能力。方法上把生成侧表征压缩成紧凑 token,再按任务条件做检索式调用,把会画的能力转化为看得细的能力。这让统一模型在细粒度理解任务上不必再外挂额外视觉编码器,对多模态基座的架构设计是一条省算力的复用路径。

基座统一多模态生成式理解细粒度视觉表征复用

Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports

HF 精选 · 10-23 08:00 UTC+8

现有视频问答智能体多是看完再答,这篇把任务推进到以视频为中心的深度研究报告:智能体要跨视频与外部证据检索、整合,产出可交互、可回溯到具体视频片段的报告。作者给出了配套基准与评测框架,覆盖证据引用、片段对齐和报告组织。对做视频理解 agent 和深度研究产品的团队,这定义了一个更接近真实工作流的任务形态。

Agent视频理解深度研究智能体基准多模态

Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems

HF 精选 · 10-23 08:00 UTC+8

这篇点出智能体系统里一种被低估的风险:单份文档都不敏感,但智能体跨多份机密文档汇总后得出的结论本身就是泄密,即 mosaic 式披露。作者构建了识别这类泄露的评测与方法,并发现常见的单文档过滤、拒答策略几乎消除不了该风险。对在企业内落地 agent 的团队,这意味着权限与合规边界必须按组合后的信息而非单条数据来设计。

Agent智能体安全数据泄露合规评测

EvalResearchBench: Can AI Agents Build Their Own Feedback for Recursive Self-Improvement?

HF 精选 · 10-23 08:00 UTC+8

如果 AI 智能体能自己造评测,就能大幅压低评测成本并支撑递归自我改进,但这条路到底通不通?EvalResearchBench 用基准化的方式检验智能体自动设计评测的能力,发现生成的评测器在与目标评判的一致度上仍明显不足,还出现预算耗尽、个别分数主导整体结果等失效模式。对想用 LLM-as-judge 自动造 benchmark 的人,这是一份务实的风险清单。

Agent自动评测自我改进智能体基准

Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation

字节 SeedHF 精选 · 10-23 08:00 UTC+8

Cola2 面向分层语言生成,把连续语义压缩和离散 token 生成放进同一个协同优化框架,缓解以往压缩过头导致重建失真、重建过强又学不到语义的失衡。它用动态跨度切分、掩码扩散解码和 flow-matching 先验,让编码器与解码器在训练中互相适配。这种联合优化在压缩率与生成质量之间取得了更好的平衡,对做长文本高效生成和分层建模的人有借鉴意义。

基座分层语言模型语义压缩扩散解码Flow Matching

Rethinking Sequence Compression with Test-time Regression

HF 精选 · 10-23 08:00 UTC+8

长序列压缩里常用的池化是无参数的粗暴下采样,容易丢信息。这篇引入 test-time regression,把压缩看成一个可学习且有闭式解的回归问题,从而在压缩 token 时按内容自适应地保留关键信息。方法可同时用于语言和多模态模型,为高效长上下文建模提供了一个比 pooling 更聪明的替换件,且不引入沉重的训练负担。

推理优化序列压缩长上下文Test-time Regression高效推理

AgentVQA: A Unified Benchmark for Agentic Visual Understanding

HF 精选 · 10-23 08:00 UTC+8

AgentVQA 提出一个离线的智能体视觉理解基准,覆盖网页、机器人、视频、游戏和空间规划等真实任务形态,用来评估 VLM 在需要多步观察与操作时的表现。评测揭示主要失效模式集中在视觉 grounding 和状态跟踪上,而不是常识或语言理解。这让视觉 agent 究竟卡在哪有了可量化的答案,对做 GUI agent 和具身智能的团队是明确的优化方向。

Agent视觉智能体VLM 评测视觉定位状态跟踪

BrickWright: Agentic Creation of Physically Feasible Brick Builds

HF 精选 · 10-23 08:00 UTC+8

让 AI 生成乐高拼搭方案,难点不在创意而在物理可行性——结构得站得住、砖块不能悬空。BrickWright 给智能体配了装配 API 和一个可行性校验器,让它在生成过程中就被约束和纠错。结果在保持提示词贴合度的同时把物理有效性做到满分,说明工具加验证器的组合是把生成式设计落到可制造世界的关键。

Agent智能体工具生成式设计物理可行性验证器