每日 AI 速览

2026-10-23

生成于 2026-10-24 04:59
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今日主线集中在推理侧的工程化提速:GLM-5.3 公布 PCP、DCP 与混合 HiSparse 在 16 卡 H200 上的优化实践,vLLM 对 MiniMax-M3.1-Flash 实现 day-0 支持,Qwen 线性注意力优化与决策模型专用推理引擎 Prism 也同步亮相。Agent 侧则出现反思与加固两条路径:有研究指出朴素 RAG 未必弱于复杂智能体记忆,Google 则以硬件隔离微虚拟机承载每个 Gemini Agent。训练与后训练方面,把数据库评分转化为 RL 奖励、免运维 GPU 的托管训练 API 同样值得关注。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
vLLM #63163 MERGED

[Recipe] MiniMax-M3: add B200 NVFP4 AgentX aggregated profile

本日合并至 main · 10-23 23:33 UTC+8 · @hshrivastava-droid

为 MiniMax-M3 新增 B200 NVFP4 AgentX aggregated 推理配方,在命令构建器中固化前缀缓存、--max-num-batched-tokens 16384、0.95 显存占用、--disable-flashinfer-autotune 等量化版本可用 flag,并沿用 FlashInfer draft attention 加 local argmax reduction 的 GQA EAGLE3 草稿模型。文档补充了按并发度配置 max-num-seqs、活跃序列数、draft token 数与 CUDA graph 捕获尺寸的指引,方便在 B200 上直接复现推测解码服务配置。

推测解码 算子与内核控制流优化硬件适配
vLLM #63320 MERGED

[CI][Rust Frontend] Run more Python server tests against the Rust frontend

本日合并至 main · 10-23 22:14 UTC+8 · @BugenZhao

把 Rust frontend 的 CI 配置更新到当前实际可通过的范围:清理 10 条失效的 -k 排除项并注明保留原因,新增 11 条来自 server 级测试文件的命令,同时改造三个测试使其可跑在 Rust frontend 上。价值在于用 Python 原生 server 测试扩大 Rust 前端的回归覆盖面,降低前端迁移过程中出现行为差异的风险。

推测解码 性能优化分布式训练服务与推理
Megatron-LM #7480 MERGED

Two small fixes (re. FP32-output-logit&residuals) from Nemotron

本日更新,目标 main · 10-23 21:03 UTC+8 · @kwangjunahn

移植 Nemotron 下游的两个小修复:明确 FP32 logits 输出的所有权与 provider 接线,按来源设置 MIMO bridge dtype、做局部 embedding 提升,并在 RADIO encoder 中只重置精度以让复制来的 tower/projector 配置保持参数 dtype。这类精度与 dtype 归属修正有助于在多模态/混合并行训练中避免 logits 与残差路径的精度偏差。

推测解码 算子与内核控制流优化分布式训练
SGLang #46005 MERGED

[Doc] cookbook: Refresh SemiAnalysis AgentX launches with seven open InferenceX PRs

本日合并至 main · 10-23 16:04 UTC+8 · @nvpohanh

刷新 cookbook 中 Agentic 长上下文部署章节,把 SemiAnalysis InferenceX AgentX 提交同步到 main(含 DeepSeek-V4.1-Flash GB300 Dynamo+SGLang、GLM-5.2 FP4/FP8 B200、GLM-5.3 B300),并叠加七个尚未合并的 InferenceX PR 启动配置。作用是让文档中的启动命令与实测 submission 保持一致,减少复现推理性能时的配置漂移。

推测解码 算子与内核控制流优化硬件适配
FlashInfer #7081 MERGED

deslop(cake_balanced_gqa_decode): share the K/V TMA encoders, move test-only planners, derive kwargs from arg plans

本日合并至 main · 10-23 14:26 UTC+8 · @yyihuang

对实验性 balanced GQA decode 包做第二轮去冗余:把三个 host binding 中重复的 K/V TMA encoder 合并进共享头文件,将仅测试用的 planner 移入 test helper 并删除未引用的 CakeTensorMap64,同时改为从 arg plan 推导 launch kwargs。改动为等价重构,针对 SM100/SM103 的 BF16 paged GQA 解码(含 packed-row MTP)在保持行为不变的前提下降低维护成本。

推测解码 算子与内核硬件适配性能优化
TensorRT-LLM #15343 MERGED

[https://nvbugs/6287561][fix] Add `get_sm_version() < 90` check at the top of `run_MTP()` in…

本日更新,目标 main · 10-23 13:50 UTC+8 · @tensorrt-cicd

在 run_MTP() 顶部加入 get_sm_version() < 90 的判断,避免在 A100/SM80 上执行仅面向 Hopper+ 构建的 DeepSeek MLA FMHA kernel(D=576、DV=512、bf16)而导致 MPI worker 终止、pytest 子进程挂死。该守卫让不支持的硬件快速失败并给出明确告警,也使得此前被排除的推测解码集成测试可以重新启用。

推测解码 算子与内核硬件适配服务与推理
TensorRT-LLM #15312 MERGED

[https://nvbugs/6270671][fix] Replace the hardcoded multiBlock=1 with a call to…

本日更新,目标 main · 10-23 13:50 UTC+8 · @tensorrt-cicd

修复 BF16(HMMA)spec-dec XQA kernel 中硬编码 multiBlock=1 的问题,改为调用 computeMultiBlockCountSpecDecGMMA 并传入 nbTokenBlocksPerGrp 以匹配 HMMA 的 gridDim 布局,使多 block 优化覆盖到 BF16 路径。这直接关系到推测解码时 XQA attention 的并行度利用,进而影响解码阶段的吞吐。

推测解码 算子与内核性能优化服务与推理
vLLM #61855 MERGED

[ROCm][Perf] Triton port of the fused GDN MTP decode kernel

本日合并至 main · 10-23 10:41 UTC+8 · @iseeyuan

为 flat qkvz 布局的 GDN 层补充 fused GDN MTP decode kernel 的 Triton 版本,采用与 CUDA 实现相同的函数签名,在 ROCm 上启用按 value 维分块的状态更新 kernel 加 gated-RMSNorm 尾处理。此前 Qwen3.5 系列等模型在 ROCm 上会退回未融合的推测解码路径,该移植让这些模型能用上融合 MTP 解码。

推测解码 算子与内核硬件适配性能优化
FlashInfer #6604 MERGED

Gdn rubin stp t1

本日合并至 main · 10-23 05:41 UTC+8 · @ameynaik-hub

新增面向 Rubin(sm107a)的 GDN T=1 decode kernel,使用 bf16 state,将 gated delta rule decode 的 pretranspose 路由到该实现,并引入 uGPU 本地化:借助新的 state pool 让 Rubin 两个 die 各自在本 die 内存与 SM 上更新状态的一半。PR 给出的数据显示 B=512 时解码延迟由 187.0µs 降至 132.6µs,其他 GPU 行为不变。

推测解码 算子与内核控制流优化硬件适配
vLLM #36681 MERGED

[ROCm][Perf] Allow MTP lens > 1 in Sparse MLA

本日更新,目标 main · 10-23 19:54 UTC+8 · @tvirolai-amd

把 ROCMAiterMLASparseMetadata 加入允许 MTP lens > 1 的 attention metadata 白名单,使 RoCM 上的 sparse MLA 后端可以在用户确认可用时开启多 token 推测解码。这是放开而非保证兼容性的改动,为 DeepSeek 类模型在 ROCm 上尝试 MTP 提供了入口。

推测解码 硬件适配性能优化
vLLM #45149 MERGED

[ROCM][DSV32][Perf][MTP] Enable UNIFORM_BATCH CG mode in rocm_aiter_mla_sparse

本日更新,目标 main · 10-23 19:54 UTC+8 · @tvirolai-amd

在 rocm_aiter_mla_sparse 中为 DeepSeek-V3.2 的 MTP 启用 UNIFORM_BATCH CUDA graph 模式,此前该模式因测试原因和对 MTP 关注不足而未开启。它主要改善 MTP 场景下 CPU bound 时的执行开销,PR 描述中给出在 MI350X/MI355X 上不同并发度的性能与评测验证。

推测解码 硬件适配性能优化
TensorRT-LLM #20276 MERGED

[TRTLLM-17033][feat] Qwen3.8-Flash-Next modeling_v2: CUTEDSL, MTP 1..7, video, FP8/NVFP4 KV, bf16 state, canonical QSA selection, breakable prefill graph, GB300 fast paths

本日合并至 main · 10-23 17:45 UTC+8 · @Wanli-Jiang

在 modeling_v2 中补齐 Qwen3.8-Flash-Next 目标(GB300 sm103、TP1)的功能:CUTEDSL 实现、MTP 1..7、视频输入、FP8/NVFP4 KV cache、bf16 state、规范化的 QSA 选择、可断开的 prefill graph,并加入 GB300 快速路径。所有新特性默认关闭、需经 engine 配置选择,因此在扩展模型能力的同时不改变既有模型行为。

推测解码 性能优化服务与推理
vLLM #62419 MERGED

[XPU] Enable kernel/sampler unit tests on Intel XPU

本日合并至 main · 10-23 16:23 UTC+8 · @pmanczak

把 27 个 kernel/sampler/speculator 单元测试文件从仅 CUDA 的门控放开到 Intel XPU,改用 current_platform.is_cuda_alike() 或 is_xpu() 判断并统一设备来源,仅改测试不改源码。这让这些实际可在 XPU 上运行的 Triton kernel 获得单元测试覆盖,同时保持 CUDA 侧行为不变。

推测解码 算子与内核硬件适配
SGLang #40929 MERGED

[Feat] KVShard: Support kv cache sharding for MTP

本日合并至 main · 10-23 15:20 UTC+8 · @Shunkangz

为 dense MLA 与 MHA 模型增加 pool 级别的 MTP KV cache 分片(KVShard):draft 复用 target 的 allocator 与分片布局,但保持独立的 KV 存储与 scratch buffer,MTP 相关的兼容性检查暂放在 pool 构造阶段。其工程意义在于降低 MTP 草稿模型带来的额外 KV 显存占用,并为后续把这些校验前移到参数验证留下接口。

推测解码 性能优化服务与推理
TensorRT-LLM #20388 MERGED

[TRTLLM-16628][refactor] BREAKING: Migrate LlmRequest fields to Python

本日合并至 main · 10-23 14:26 UTC+8 · @Funatiq

将 LlmRequest 中 log-probability 与 encoder-feature 的所有权迁移到 Python,移除 C++、序列化与 binding 中已废弃的 native logits、encoder 输出和 additional output 字段。这是标注为 breaking 的重构,主要风险集中在 API 兼容性、序列化顺序以及 pause 与子请求流程中的 encoder 长度处理。

推测解码 性能优化服务与推理
TensorRT-LLM #15797 MERGED

[https://nvbugs/6342840][fix] Add spec_metadata=None kwarg to SpecWorkerBase._apply_force_accepted_tokens…

本日更新,目标 main · 10-23 13:51 UTC+8 · @tensorrt-cicd

为 SpecWorkerBase._apply_force_accepted_tokens 增加 spec_metadata=None 参数,并在 CUDA graph 预热阶段(非当前流捕获)提前返回,同时把 spec_metadata 贯通到 interface.py、mtp.py、eagle3.py 等七处调用点。修复的是强制接受 token 数在 dummy request 缓冲未填充时导致下游 C++ MTP 算子越界访问(IMA)的问题。

推测解码 控制流优化硬件适配
TensorRT-LLM #14109 MERGED

[https://nvbugs/6162860][fix] Set free_gpu_memory_fraction=0.6 only when torch_compile=True for test_bfloat16_

本日更新,目标 main · 10-23 13:48 UTC+8 · @tensorrt-cicd

仅在 torch_compile=True 的 test_bfloat16_4gpus 用例中把 KvCacheConfig.free_gpu_memory_fraction 设为 0.6,其余情况保持 0.75,并移除对应的 nvbugs waiver。原因是 torch compile + DP + MTP + ep4 同时开启时,0.75 的占用没有给分段 CUDA graph workspace 和惰性 cublasLt handle 分配留出余量。

推测解码 硬件适配性能优化
TensorRT-LLM #19989 MERGED

[None][perf] One-model speculative decoding: host work between steps, worker-produced target logits, KDA drafts' records

本日合并至 main · 10-23 10:18 UTC+8 · @vsabavat

合入 one-model 推测解码的通用组件:用 StepInputGather/SlotScatter 两个 CuTe DSL kernel(仅 SM100)各一次 launch 完成 overlap scheduler 的输入 gather 与 sampler 的 store 更新、由 worker 产出 target logits、以及 KDA draft 的记录,kernel 未覆盖时回退 torch 路径。这些改动默认关闭或对既有模型行为透明,目标是削减推测解码步与步之间的 host 开销。

推测解码 性能优化服务与推理
TensorRT-LLM #19850 MERGED

[None][feat] Add lm_head_output_dtype for FP32 LM head logits

本日合并至 main · 10-23 09:41 UTC+8 · @shikicloud

新增 TorchLlmArgs.lm_head_output_dtype,在保留 "auto" 默认值的同时支持 "float32",loader 映射为 torch.float32 并传入两条 LM-head 路径,量化与 ROW 张量并行的 head 会拒绝该选项。该选项用于在需要更高数值精度的场景下以 FP32 输出 LM head logits,代价是额外的输出带宽与显存开销。

推测解码 算子与内核服务与推理
SGLang #45924 MERGED

[Doc] Cookbook: add MiniMax-M3.1

本日合并至 main · 10-23 09:07 UTC+8 · @zijiexia

新增 MiniMax-M3.1 的 cookbook 页面与配置驱动 recipe,覆盖 B200/B300 低延迟与高吞吐配方(含 MSA-V1 MonoKernel)、MI350X/MI355X 与 M3.1-Flash(NVFP4、Quark MXFP4)、DFlash2 推测解码、PD 分离与 HiCache(含 Mooncake L3 层)。纯文档改动,用于把该模型在多种硬件与部署形态下的推荐配置集中到可复制的入口。

推测解码 硬件适配性能优化

行业动态 25 条

GLM-5.3 Optimizations, Part 2: PCP, DCP, and Hybrid HiSparse on 16 H200s

vLLM 博客 · 10-23 08:00 UTC+8

vLLM 公布了在 16 张 H200 上服务 GLM-5.3 的优化第二部分,prefill 侧用 PCP 与 DCP、decode 侧用混合 HiSparse,把上下文推到 100 万 token。在 AgentX 智能体基准上,单用户速度达到数据并行 P/D 方案的 1.7 到 3.2 倍。对做长上下文智能体推理部署的团队,这是一套可直接借鉴的并行策略组合。

vLLM推理优化长上下文分布式并行

vLLM Delivers Day-0 Support for MiniMax-M3.1-Flash

vLLM 博客 · 10-23 08:00 UTC+8

vLLM 对 MiniMax-M3.1-Flash 实现 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin 以及 AMD MI350 系列 GPU,并带上 NVFP4 的 MSA kernel、NVFP4 MegaMoE、DSpark 投机解码与 AgentX 实测结果,同时提供 day-0 的 RL 支持。对新模型想第一时间上线推理服务的团队,这意味着不用自己写 kernel 就能吃到低精度与投机解码带来的吞吐收益。

推理优化vLLM推理框架低精度量化投机解码

Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox

HuggingFace 博客 · 10-23 06:24 UTC+8

ThinkingBox 介绍了把数据库判题结果直接转成 RL 奖励、用于智能体后训练的思路,从而避开人工标注与模型裁判的不确定性。对反馈确定、可环境验证的任务,这种确定性奖励信号比 LLM 裁判更稳,训练曲线也更好解释。对正在搭建 Agent RL 训练管线的团队,这是一个把领域工具改造成 reward 的现成范式。

后训练强化学习智能体后训练奖励设计数据工程

Announcing new ways to customize models with SageMaker AI, without managing GPUs

AWS 机器学习 · 10-23 02:00 UTC+8

Amazon SageMaker AI 的无服务器模型定制新增 training sessions 并正式可用:用户自己编写并编排后训练循环,包括自定义损失函数、奖励信号与多轮强化学习,而 GPU 分配、分布式执行、故障恢复与 checkpoint 存储都交给平台。对不想养集群、又要保留训练逻辑控制权的团队,这把自研 RL 流程的门槛拉低了一档。

训练SageMaker后训练无服务器强化学习

Write your own training loop — without managing GPUs — with Amazon SageMaker training session APIs

AWS 机器学习 · 10-23 02:00 UTC+8

SageMaker AI 的 training session API 允许用一份 Python 脚本写完整的 LLM 训练循环,SFT、RL 或自定义目标都行,GPU 由服务托管,文中还介绍了其编程模型与三个 SDK 客户端。示例包括在 GSM8K 上跑完整的 GRPO 循环,以及一个竞赛编程的强化学习负载。对想快速验证 RL 配方又不愿碰集群运维的人,这是一条捷径。

训练SageMaker训练框架GRPO强化学习

Google's Agent Compute Engine gives every Gemini agent its own hardware-isolated micro virtual machine

The Decoder · 10-23 01:50 UTC+8

Google 推出 Agent Compute Engine,为每个 Gemini 智能体分配一个硬件隔离的微虚拟机,作为专为 AI 智能体设计的运行时环境,同时扩展了跨云、混合与本地环境的智能体治理能力。对要把 Agent 推进生产的企业,这直接回应了多租户隔离、运行时安全与统一管控这几件最棘手的事。

Agent智能体基础设施安全隔离Gemini企业治理

面向 Qwen 系列模型线性注意力的高性能优化实践

InfoQ 中文 · 10-23 01:08 UTC+8

这篇文章分享了针对 Qwen 系列模型线性注意力模块的高性能优化实践,讨论在真实推理负载下如何把线性注意力的计算与访存效率提上来,并给出具体的优化取舍。对需要长上下文、又受限于注意力二次复杂度的推理部署而言,线性注意力的算子级调优往往直接决定吞吐与显存表现。

线性注意力推理优化Qwen算子优化

Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes

NVIDIA 开发者 · 10-23 00:00 UTC+8

这篇实践展示了如何把 8 台 NVIDIA DGX Spark 节点连起来跑前沿级模型,重点不在单机推理,而在于多模型并行编排、推理调用链式串联这类真实开发者的工作方式。对想在小规模集群上做多智能体或多模型流水线实验的团队,它提供了一份可复现的组网与调度参考。

InfraDGX Spark分布式推理多模型编排硬件

决策模型也有专用推理引擎了:StartLux 开源 Prism,单卡最高提速 5.3 倍

InfoQ 中文 · 10-23 20:03 UTC+8

StartLux 开源了名为 Prism 的推理引擎,专门面向决策模型而非生成式大模型做推理加速,单卡最高提速 5.3 倍。这补上了决策类模型同样需要专用推理引擎这一空白,对线上有大规模排序与决策模型服务、却只能用通用框架硬扛的工程团队很有吸引力。

推理优化推理引擎决策模型开源性能优化

Anthropic's Claude now writes code and proves it safe automatically

The Decoder · 10-23 19:32 UTC+8

Anthropic 让 Claude 为现有代码自动生成数学证明,为 123 个开源库产出了约 1.8 亿行证明代码,过程中还发现了多年测试未能捕获的 bug。其目标是让 AI 辅助的形式化验证变得像常规测试一样日常。对做代码生成与软件可靠性的团队,这展示了「生成加可证明正确」这条路已经能规模化落地,而不再只是论文里的演示。

厂商动态形式化验证代码生成Claude软件可靠性

上下文语言模型:通过自主管理上下文提升性能、降低计算成本

InfoQ 中文 · 10-23 17:05 UTC+8

这篇文章讨论上下文语言模型:让模型自主管理上下文,决定什么该记住、什么该丢弃、何时压缩或重写,从而在长任务中提升表现并降低计算成本。对需要在长对话与长程 Agent 任务里严格控制 token 预算的团队,这种把上下文管理从固定窗口策略变成模型自身能力的思路值得关注。

推理优化上下文管理长上下文计算成本语言模型

b11834: Extend probabilistic sampling for DFlash2 drafts (#30663)

llama.cpp · 10-23 13:45 UTC+8

llama.cpp 在 b11834 版本为 DFlash2 草稿模型扩展了概率采样支持,让投机解码的草稿侧不再局限于贪心式的候选生成。对在本地或端侧用投机解码压延迟的开发者,这能改善采样的正确性与生成多样性,同时保住投机解码的加速收益。

推理优化llama.cpp投机解码采样推理加速

v0.40.9

Ollama · 10-23 10:12 UTC+8

Ollama v0.40.9 在 Apple Silicon 上引入 Phonon 语音生成,ollama run 可以在音频边生成边朗读文本或聊天模型回复,应用也能通过 OpenAI 兼容的 /v1/audio/speech 端点流式取音频;同版本还把 vLLM Semantic Router 的 d3 决策模型家族搬进 Ollama,给定文本、结构化状态或图像即可做分类、是/否判断或带概率的选项打分。对本地推理玩家来说,这意味着一个二进制同时覆盖语音输出和小模型决策路由,省去了自己拼 TTS 服务与分类器链路。

InfraOllama语音合成本地推理

Stream low-latency speech from AI agents using Kokoro TTS on Amazon SageMaker AI

AWS 机器学习 · 10-23 01:45 UTC+8

针对语音 Agent 常要等整段回复生成完才开始合成、延迟被用户直接感知的痛点,这篇实践给出按句流式方案:Agent 每产出一句就送进部署在 Amazon SageMaker AI 上的 Kokoro-82M TTS 模型,再把音频通过 Server-Sent Events 或统一二进制传输回浏览器。核心价值在于把首字延迟压到句子级别,是构建低延迟语音交互链路可以直接照抄的工程范式。

推理优化TTS流式推理SageMaker

How to Read Data into GPU Memory in Python with NVIDIA GPUDirect Storage

NVIDIA 开发者 · 10-23 00:39 UTC+8

NVIDIA 这篇教程讲如何在 Python 里用 GPUDirect Storage 把数据直接从存储读进 GPU 显存,绕开经由主机内存的中转拷贝。随着训练与推理数据集越来越大,这种直连路径能减少 CPU 参与和内存带宽占用,对做大规模数据加载、特征读取的 Infra 工程师是实打实的 I/O 优化手段。

InfraGPUDirect StorageGPU数据加载

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

AWS 机器学习 · 10-23 00:30 UTC+8

很多团队在 SageMaker AI 上部署自研 TTS 模型时靠拍脑袋设自动扩缩容阈值,猜高了浪费 GPU 预算,猜低了直接击穿延迟 SLO。文章把 Kokoro-82M 打成自定义容器上线,并基于线上端点实测得到的 Q_max 与 T_total 两个量推导扩缩容策略,替代经验估计。给出的方法论对任何有状态、延迟敏感的 GPU 推理服务都适用。

推理优化自动扩缩容TTSSageMaker

千问蒋冠军:Personal Agent技术框架,需要模型、记忆与生态协同推进

InfoQ 中文 · 10-23 23:45 UTC+8

千问团队蒋冠军分享 Personal Agent 的技术框架,强调个人智能体不是单靠一个强模型就能成立,需要模型能力、长期记忆体系与外部生态三者协同推进。对做 Agent 落地的团队而言,这提供了一个判断优先级与短板的框架视角:记忆与生态接入往往才是产品体验的分水岭。

Agent记忆阿里千问

v0.40.10-rc0: Update gemma renderers (#19241)

Ollama · 10-23 22:12 UTC+8

Ollama v0.40.10-rc0 新增 gemma4-nemotron 渲染器变体,把助手内容渲染在工具调用之前而不是工具返回之后,模型通过 RENDERER 指令显式选用,gemma4 的自动探测逻辑保持不变,并附上对应 chat template 作为 Jinja 一致性测试样例。同时在 MLX 后端支持 Gemma 4 目标模型搭配 DFlash 草稿模型,在需要时加载草稿自带的输出头,兼容已有的目标头路径。这类渲染与草稿模型的细节调整,直接影响工具调用正确性和投机解码加速是否生效。

InfraOllamaGemma投机解码

讯飞发布新一代端到端交互模型:语音大模型调用量暴涨20倍,端侧已实现约70%云端能力

InfoQ 中文 · 10-23 19:39 UTC+8

讯飞发布新一代端到端交互模型,官方称语音大模型调用量暴涨 20 倍,且端侧已实现约 70% 的云端能力。对做语音交互与端侧部署的从业者,这组数字意味着端云能力差距正在快速收窄,实时语音 Agent 的架构选型(端侧常驻还是云侧调用)需要重新评估。

厂商动态科大讯飞语音大模型端侧推理

b11835

llama.cpp · 10-23 15:32 UTC+8

llama.cpp 版本 b11835 的小改动:SYCL 后端把 device 参数透传进 mul_mat_uses_onednn,让 oneDNN 路径能按具体设备判断矩阵乘是否走加速实现。同时该版本照例更新了 macOS Apple Silicon、Ubuntu x64/arm64 的 CPU、Vulkan、CUDA 12/13 等预编译产物。对在 Intel GPU 上跑 GGUF 推理的用户,这类后端细节决定了性能是否被正确触发。

Infrallama.cppSYCL推理框架

Left alone with nothing to do, AI agents started playing

TechCrunch · AI · 10-23 08:45 UTC+8

MIT 研究者把 13 个 AI 智能体放到一座虚拟孤岛上无事可做,结果它们自发发明了游戏、为丢失的戒指悼念,最终在任务表现上还有提升。这个实验对研究多智能体涌现行为、开放式环境下的自主目标生成与社交动态的人有直接参考价值,也提示闲置算力下的 Agent 群体可能产生非预期的自组织行为。

多智能体涌现行为Agent

Does Your Model Run on AWS Trainium? Look It Up

HuggingFace 博客 · 10-23 08:00 UTC+8

Hugging Face 博客介绍了一个可查询模型能否运行在 AWS Trainium 上的索引工具。对在做自研芯片适配与成本优化的团队,这类目录能省去逐个翻仓库、试编译的功夫,快速判断某个模型在 Trainium 上是否已有可用支持。

InfraAWS Trainium模型适配AI Infra

OpenAI makes its Jev competitor widely available as decision model competition heats up

TechCrunch · AI · 10-23 03:00 UTC+8

OpenAI 将其决策模型向所有用户开放,正式进入与 Jev 正面竞争的决策模型赛道。所谓决策模型面向的是分类、判断、打分这类比生成更结构化的小任务,厂商开始把它当作独立品类推,说明推理成本与延迟敏感型场景正在被单独优化,应用侧在路由、审核、判定环节会多一个可选底座。

OpenAI决策模型厂商动态

企业 AI 越用越复杂,如何用一个 Gateway 管好模型、Agent 和成本?| 技术趋势

InfoQ 中文 · 10-23 02:00 UTC+8

文章讨论企业 AI 应用越铺越复杂后,如何用一个 Gateway 统一管理模型调用、Agent 编排与成本核算。对已经同时接入多家模型、多个 Agent 框架的团队,集中式网关是收敛密钥管理、限流路由、用量与成本观测的常见落点,也是避免烟囱式集成的关键一层。

InfraAI Gateway成本治理Agent

How Rescale built an AI triage agent with Strands Agents and AI-DLC

AWS 机器学习 · 10-23 00:25 UTC+8

Rescale 基于 AWS 的 AI-Driven Development Lifecycle 框架,用 Strands Agents 加 Amazon Bedrock 在数周内搭出一个智能测试分诊 Agent,并正在把这一实践推广到整个工程组织。案例的可借鉴点在于 AI-DLC 如何把 AI 辅助开发拆成有结构的阶段,以及 Agent 落地时如何选型框架与托管模型服务。

AgentStrands AgentsBedrockAgent 落地

论文 20 篇

「IQuest-Q1」探讨 Agentic CLI 系统所需的基座能力,「Meta Expert」以跨层专家共享降低 MoE 的存储与检索开销,另有工作系统考察扩散语言模型中学到的 unmasking 策略。

IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems

HF 精选 · 10-23 08:00 UTC+8

IQuest-Q1 是一个面向智能体命令行(CLI)场景打造的稀疏 MoE 基座模型,走的是多阶段预训练、中期训练再到后训练的分段式流水线,而不是一次性堆数据。它的重点在于把代码智能体所需的工具调用、长程任务执行与通用能力放进同一套训练配方里打磨,让基座本身就更贴近真实终端环境下的操作需求。对做 Agent 与代码助手的团队来说,这种把基座直接与 agentic 场景对齐的做法,比在通用模型上再叠一层后训练更值得参考。

基座大模型基座MoE代码智能体预训练

Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models

HF 精选 · 10-23 08:00 UTC+8

这篇工作追问推理模型里那个「等等」式的自我反思标记到底从哪来:通过受控对照实验发现,强化学习提升答案正确率并不依赖某个特定的等待词,模型在 RL 前后都会自然生成这类标记,其来源是训练数据而不是 RL 过程本身。更值得警惕的是,常用的自动化评估指标会把这类表面特征的变化误读成推理能力的涨跌,给出失真的趋势判断。对做 RLVR 与推理评测的人而言,这提醒我们要把「模型在说什么」和「模型是否真的算得更好」分开度量。

后训练推理模型强化学习评测方法数据工程

MoG-VLM: Efficient Video Anomaly Detection through Motion-Guided Vision-Language Models

BMVC 2026CCF-C推荐arXiv · 10-23 00:03 UTC+8

视频异常检测用上视觉语言模型后精度上去了,但逐帧稠密推理的代价让实时部署基本无望,而常见的均匀采样既忽略画面内容动态,又容易在静止片段上白算、在异常瞬间漏采。MoG-VLM 的做法是把运动信息纯粹当作轻量控制信号,由它决定什么时候才真正需要调用 VLM 推理,从而把算力花在有动态的片段上。这种把运动估计与重模型解耦的调度思路,对任何要在视频流上跑大模型的落地场景都有借鉴价值。

推理优化视频理解多模态推理加速异常检测
Khaled Waleed Dawoud, Muhammad Zaigham Zaheer, Khan Muhammad, Muhammad Haris Khan

WeVisOne-VL: Unified Visual Perception from Objects to Pixels

HF 精选 · 10-23 08:00 UTC+8

WeVisOne-VL 想解决的是视觉感知任务各自为战的问题:检测、定位、计数、OCR、分割、抠图长期以来各有一套输出范式,模型之间难以复用。它用结构化 token 预测把物体级的框输出和像素级的掩码统一进同一个生成框架,再配一个轻量像素解码器与多阶段训练把两类能力对齐。结果是一套模型覆盖了从框出目标到抠到像素的连续感知谱系,对需要统一视觉接口的下游系统是个省事的选择。

基座多模态基座视觉感知统一模型图像分割

Deep Search in Real-World Web Environments

HF 精选 · 10-23 08:00 UTC+8

OpenDS-World 把深度搜索智能体的评测从静态离线语料搬到真实可交互的网页环境,要求智能体自主完成多步检索、跳转与信息整合。这类基准暴露了一个尴尬现实:前沿模型在需要长程规划与跨站点交叉验证的任务上与人类仍有明显差距,单步检索准确并不等于能完成一次真正的调研。对做搜索 Agent 与浏览器智能体的团队来说,它提供了一份更贴近生产环境的失败模式清单。

Agent深度搜索智能体评测基准测试网页智能体

Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

HF 精选 · 10-23 08:00 UTC+8

针对 RAG 每次查询都要外部检索、延迟与工程复杂度都高的问题,Deep Fusion Memory 提出一种块级参数化记忆:把预测出的参数化记忆通过门控交叉注意力直接注入模型的中间隐状态。知识于是以参数形式随前向计算一起被调用,省掉了在线检索这一环,在知识密集型任务上还能拿到更好的效果。对想压低检索开销、又不愿放弃外部知识注入的团队,这是介于纯参数记忆与显式 RAG 之间的一条中间路线。

Infra记忆机制RAG参数化记忆模型架构

Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

上海 AI LabHF 精选 · 10-23 08:00 UTC+8

MoE 模型的专家参数往往逐层独立,存储与加载成本随层数线性膨胀。Meta Expert 让不同层共享一组元专家,削减层间冗余,在存储占用和专家检索开销上都比每层各养一批本地专家更划算。对在显存与带宽都吃紧的环境里部署大 MoE 的工程团队,这种跨层共享是一个直接的省资源手段。

基座MoE模型架构显存优化推理效率

Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents

HF 精选 · 10-23 08:00 UTC+8

实时语音智能体常见的问题是:用户还在说话时模型只能干等,等话说完才开始思考工具调用,端到端延迟因此被拉长。Heartbeat Thinking 引入类似心跳的投机推理机制,在语音流持续更新的同时提前准备候选工具调用方案,等语义确定后直接命中。这样既扩大了可覆盖的工具路径,又明显压低了响应时延,对做实时语音助手与电话客服 Agent 的团队很实用。

Agent语音智能体工具调用投机推理低延迟

RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing

HF 精选 · 10-23 08:00 UTC+8

LLM 路由此前多把「选哪个模型」和「怎么执行」分开处理,不同模式之间彼此割裂。RouteWeaver 把异构路由模式的选择与执行编织进一个统一框架,用协同训练加渐进式探索让路由器学会在不同推理任务上切换策略。在多样化的推理任务上准确率有提升,说明路由本身也可以被当作一项需要训练的能力,而不是靠拍脑袋的阈值规则。

Infra模型路由推理优化训练方法推理任务

Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought

HF 精选 · 10-23 08:00 UTC+8

这篇工作对当下流行的复杂智能体记忆系统泼了盆冷水:在多个基准上,直接对未加工的对话历史做朴素 RAG 检索,效果反而超过那些做了摘要、重构、图谱化的精巧记忆管线。作者由此指出,保留原始证据比层层变换更关键,复杂加工很容易在中途丢掉真正有用的细节。对正在给 Agent 搭记忆模块的团队,这意味着先把原始上下文的检索做扎实,再谈花哨结构。

Agent智能体记忆RAG上下文管理实验对比

Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation

字节 SeedHF 精选 · 10-23 08:00 UTC+8

Cola2 关注分层语言生成里连续语义压缩与离散生成难以兼顾的老问题:压得太狠则重建失真,只顾离散解码则压缩率上不去。它用动态跨度分段做自适应语义切分,配合掩码扩散解码与 flow-matching 先验,并让编码器与解码器协同自适应训练,把压缩、重建与生成放进同一个优化目标里平衡。这种联合优化使分层生成在压缩率与生成质量上同时受益,对研究非自回归与扩散式语言模型的读者有参考价值。

基座语言模型架构语义压缩扩散模型分层生成

Rethinking Sequence Compression with Test-time Regression

HF 精选 · 10-23 08:00 UTC+8

长序列压缩通常靠池化把上下文压成若干向量,但池化本身没有可学习的目标,信息损失不可控。这篇工作提出用测试时回归来做压缩,给出闭式解的同时保留可学习性,让压缩过程能针对下游任务自适应。对想在高效率语言与多模态模型里做长序列下采样的工程实践,这是一个比启发式池化更有原则的替代方案。

基座序列压缩长上下文高效推理多模态

What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

HF 精选 · 10-23 08:00 UTC+8

掩码扩散语言模型的解码速度很大程度取决于先揭哪个 token,但学界对什么算好的解掩码策略缺乏受控比较。作者系统对比了学习式解掩码方案,提出以轨迹收缩为目标、结合置信度与隐状态来打分的策略,并通过控制变量厘清各因素的贡献。结果是在几乎不增加开销的前提下拿到更好的速度与精度折中,为扩散式 LM 的采样调度提供了可复用的经验。

推理优化扩散语言模型解码策略推理加速训练目标

MambaAct: Efficient Mamba Action Experts for Flow-Matching Vision-Language-Action Models

HF 精选 · 10-23 08:00 UTC+8

流匹配 VLA 策略通常挂一个 transformer 动作专家做动作去噪,参数量与推理延迟都不小,成了机器人高频控制的瓶颈。MambaAct 用紧凑的 Mamba 结构替换这个动作专家,并加一个上下文压缩器把视觉语言条件摘要成更短的表示,以此压低单步推理耗时。在降低延迟的同时机械臂操作成功率还提升了,说明动作头的架构选择对 VLA 实时性的影响被低估了。

推理优化视觉语言动作模型Mamba机器人操作推理延迟

Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation

HF 精选 · 10-23 08:00 UTC+8

视频扩散 transformer 想用上多模态语言模型的表征,但 MLLM 的隐表示与扩散目标长期对不齐,这些语义信息往往形同虚设。Factor-Aware Predictive Learning 通过分阶段的 grounding 与优化,让模型在稀疏时间步推理下也能利用 MLLM 表征,并把构图、运动等镜头语言要素显式纳入可控条件。这让电影级视频生成在时间一致性与可控性上都有改善,也给多模态表征复用提供了思路。

基座视频生成扩散模型多模态表征可控生成

What Generation Knows: Unlocking Fine-Grained Understanding in Unified Multimodal Models

HF 精选 · 10-23 08:00 UTC+8

统一多模态模型里,生成分支的表示通常只被用来出图,理解任务仍靠视觉编码器,等于浪费了一半能力。GAFU 把这些原生生成侧表示压缩成紧凑 token,按任务条件做检索式调用,用于细粒度视觉理解。这样在细粒度识别与定位类任务上取得提升,也说明统一模型内部理解与生成之间的壁垒值得主动打通。

基座统一多模态模型视觉理解表征复用生成模型

Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports

HF 精选 · 10-23 08:00 UTC+8

现有视频理解智能体大多停留在看懂片段或检索片段,而真实需求是以视频为线索写出一份带外部证据的研究报告。作者提出配套的基准与评测框架,要求智能体把视频中的关键时刻与外部资料综合起来,产出可交互、并能回链到具体时间点的报告。这对评估视频深度研究类 Agent 的证据整合与引用能力,提供了一个比问答更接近真实工作的测试面。

Agent视频理解深度研究智能体评测基准测试

AgentVQA: A Unified Benchmark for Agentic Visual Understanding

HF 精选 · 10-23 08:00 UTC+8

AgentVQA 是一个离线基准,把视觉语言模型放进网页、机器人、视频、游戏与空间规划等更贴近真实智能体的任务里考察,而不只是单轮看图问答。评测显示主要失败模式集中在视觉 grounding 不准与状态跟踪丢失,而不是语言推理本身不够。这个结论对做 GUI Agent、具身智能的团队有直接指导意义:先把感知与状态维护补上,再谈规划。

Agent智能体评测视觉语言模型视觉定位基准测试

Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems

HF 精选 · 10-23 08:00 UTC+8

Agent Mosaic 关注一种容易被忽视的泄露:智能体分别读取多份本身合规的机密文档,却能拼装出任何单份文档里都不存在的敏感结论,也就是马赛克效应。作者构造了相应评测,发现拒答、脱敏、访问控制这类常见护栏几乎无法消除这种组合式披露风险。对在企业内部署文档智能体的团队,这意味着权限模型必须考虑跨文档聚合,而不只是单文档级 ACL。

Agent智能体安全隐私泄露权限控制风险评估

Reading, Writing, Sharing, and Interacting with the World through Video

HF 精选 · 10-23 08:00 UTC+8

这篇综述用世界模型这条主线把视频理解与视频生成统一起来,按推断、合成、共享、交互潜在时序状态这四个环节组织进展。它强调应关注跨时间持续存在的动态规律,而不是片段级的表面感知,从而把读懂视频、生成视频与在世界中行动放进同一概念框架。对想理清视频方向研究脉络、寻找理解与生成结合点的读者,这是一份不错的地图。

基座视频理解视频生成世界模型综述