每日 AI 速览

2026-10-12

生成于 2026-10-13 04:10
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今天主线集中在三层:智能体训练环境与长期任务从软件、编程、图形界面技能到自动研究快速扩张;AI 基础设施围绕「vLLM」双向「KV」、投机解码、量化与多节点推理继续压低延迟;芯片与算力侧,「Maia」和「Vera Rubin」显示 AI 工厂竞赛升级;多模态与决策模型也在向端到端感知行动收敛。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
TensorRT-LLM #20077 MERGED

[TRTLLM-16956][feat] Modeling V2 dynamic switch with LLM config and args

本日合并至 main · 10-12 23:05 UTC+8 · @WeiHaocheng

该 PR 将 Modeling V2 开关从环境变量迁移到 TorchLlmArgs,并把 off、auto、require 的决策收敛到 model loader。它让 LLM API 参数按既有分布式参数路径送达所有 rank,避免 driver 与 worker 构建不同推理目标。

推测解码 控制流优化硬件适配服务与推理
vLLM #56322 MERGED

[Qwen4Exp] support Sequence Parallelism for Qwen3.8-Flash-Next

本日合并至 main · 10-12 20:56 UTC+8 · @peakcrosser7

该 PR 为 Qwen4Exp 和 Qwen3.8-Flash-Next 增加 sequence parallelism,覆盖 GR、PLE 与 sequence-parallel MoE 场景,并保留 tensor-parallel MoE。它减少重复的 GR/PLE 计算,为 MoE 推理或训练中的序列并行扩展提供更清晰的控制路径。

推测解码 控制流优化性能优化分布式训练
vLLM #57146 MERGED

[Bugfix][Multimodal] Fix Qwen3-ASR audio preprocessing parity

本日合并至 main · 10-12 18:42 UTC+8 · @MatthewCYM

该 PR 修正 Qwen3-ASR 的音频预处理一致性,改用上游 Transformers 的 Qwen3ASRProcessor,并移除 Omni waveform padding 与内置处理器注册。它使不同长度音频片段、部分缓存命中、文本输入和预计算特征在多模态推理中更接近 checkpoint 上游处理结果。

推测解码 硬件适配性能优化分布式训练
TensorRT-LLM #19490 MERGED

[TRTLLM-16593][fix] Size expanded draft probabilities by batch capacity

本日合并至 main · 10-12 18:17 UTC+8 · @zhaoyangwang-nvidia

该 PR 在 draft 与 target 词表不一致时,将 full draft probabilities 的尺寸改为按 batch capacity、draft length 和 vocab size 分配。它使 slot-based draft probs 聚合后的 generation-batch 索引匹配实际容量,降低推测解码词表不匹配路径中的越界或错配风险。

推测解码 算子与内核控制流优化硬件适配
SGLang #43799 MERGED

[Docs] Cookbook: refresh SemiAnalysis AgentX launches (GLM-5.2 B300, DeepSeek-V4.1 GB300)

本日合并至 main · 10-12 17:08 UTC+8 · @nvpohanh

该 PR 刷新 SGLang cookbook 中 Agentic Long-Context Deployment 的 SemiAnalysis AgentX 启动配置,覆盖 GLM-5.2、DeepSeek-V4、DeepSeek-V4.1、Qwen3.5 和 Qwen3.8-Flash-Next。它把最新提交中的原始 launch command 和对应 run 信息同步到文档,方便复现实验性硬件与推测解码部署配置。

推测解码 控制流优化硬件适配性能优化
TensorRT-LLM #18697 MERGED

[None][fix] Align the budget split, spec layers and pool_ratio with derived per-layer KV windows

本日更新,目标 main · 10-12 13:15 UTC+8 · @moraxu

该 PR 为混合 layer type schedule 增加 V2 per-layer attention window 推导,并将推导结果用于运行时 KV-cache 构建与成本估计。它让 KV 预算拆分、spec layers 和 pool_ratio 与逐层窗口保持一致,提升复杂注意力结构下推理内存规划的可靠性。

推测解码 控制流优化性能优化服务与推理
TensorRT-LLM #19478 MERGED

[TRTLLM-15718][test] Add disagg closure tests, demote one E2E to post-merge and replace another with CPU/1-GPU tests

本日更新,目标 main · 10-12 13:15 UTC+8 · @nv-xtf

该 PR 用 CPU closure tests 和单 GPU host-offload transfer 测试替换部分 disaggregated E2E 覆盖,并将一个 E2E 场景降级到 post-merge。它加强了 transfer failure、cancel、timeout、资源释放、首 token logits/logprobs 和 speculative slot 的轻量回归覆盖。

推测解码 控制流优化性能优化服务与推理
TensorRT-LLM #16214 MERGED

[None][feat] Support custom masks in TRTLLM attention

本日更新,目标 main · 10-12 13:13 UTC+8 · @yuxianq

该 PR 为 PyTorch TRTLLM attention backend 增加 custom mask 支持,引入 Triton custom-mask context FMHA,并在 causal generation 中继续使用 TRTLLM-gen kernel。它扩展了 Gemma4 H512 等非标准 mask 场景的推理适配,同时复用既有 attention metadata 以减少专用控制面复杂度。

推测解码 算子与内核硬件适配性能优化
TensorRT-LLM #17399 MERGED

[None][feat] integrate PrimTS FMHA kernels

本日更新,目标 main · 10-12 13:13 UTC+8 · @yuxianq

该 PR 将 FlashInfer 实验性的 task-scheduled PrimTS FMHA kernel 集成到 PyTorch TensorRT-LLM attention backend,并以 opt-in 方式支持 SM100 与 SM103。它为 Blackwell 上的 BF16/FP16 paged context、single-token decode 和部分 MLA decode 提供新的 attention kernel 选择。

推测解码 算子与内核控制流优化硬件适配
SGLang #41783 MERGED

[PD][Spec] Give a PD decode's first EAGLE draft step a proposal distribution

本日合并至 main · 10-12 18:49 UTC+8 · @salexspb

该 PR 为 PD decode 的首个 EAGLE draft step 补齐 proposal distribution,使其与 prefill 传来的 draft token、概率和 hidden state 对齐。它修复了 rejection sampling 需要每步 proposal distribution 时的输入缺口,提升 PD 与 EAGLE 组合推理在 ROCm 等路径上的稳定性。

推测解码 服务与推理
SGLang #40223 MERGED

[HiCache] Preserve all MTP KV and recurrent state

本日合并至 main · 10-12 15:38 UTC+8 · @paulzhang-tm

该 PR 在 HiCache prefix 复用时保存并恢复 Inkling MTP 的所有 draft head KV、convolution state 和 recurrent state,并区分 draft 与 target SWA 的物理索引池。它保证 all-SWA、mixed 和 all-full MTP draft attention 在缓存命中后恢复完整状态,避免后续 draft head 使用错误或缺失的状态。

推测解码 性能优化
vLLM #60692 MERGED

[Spec Decode] Skip metadata build for dflash/dspark when all model backends support it

本日合并至 main · 10-12 15:09 UTC+8 · @TheEpicDolphin

该 PR 让 DFlash 和 DSpark draft model-based speculator 在所有 model backend 支持时跳过 uniform decode cudagraph replay 前的完整 attention metadata rebuild。它复用 cudagraph-safe 的 draft decode metadata update 路径,减少推测解码中的不必要 GPU kernel launch 开销。

推测解码 服务与推理
vLLM #57549 MERGED

[EPLB] Add EPLB support to dspark draft models (DeepSeekV4)

本日合并至 main · 10-12 22:03 UTC+8 · @ilmarkov

该 PR 为 DeepSeek V4 的 DSpark draft model 增加 EPLB 支持,使 DSpark MoE drafter 实现 MixtureOfExperts 并可随 target model 一起注册和再均衡 expert。它让使用 --enable-eplb 的 DSpark speculative decoding 能同时覆盖 draft expert 负载均衡,而 dense draft 与专家数不匹配场景保持在范围外。

推测解码
vLLM #60945 MERGED

[Bugfix] Fix out-of-bounds lookahead in adaptive block verification

本日合并至 main · 10-12 21:21 UTC+8 · @chaunceyjiang

该 PR 修复 adaptive block verification 中 residual mass kernel 使用配置最大 speculative steps 做边界判断导致的越界 lookahead。它让实际 verification block 短于配置步数时按真实长度访问数据,提升推测解码 rejection sampler 的内存安全性。

推测解码
llama.cpp #30095 MERGED

examples : fix draft sampling and rejection handling

本日合并至 master · 10-12 18:02 UTC+8 · @danbev

该 PR 修复 llama.cpp speculative example 中 draft sampling 与 rejection handling 的两个问题。它让示例更准确地展示推测解码的采样和拒绝流程,降低使用者复用示例逻辑时引入错误的风险。

推测解码
vLLM #61079 MERGED

[Bugfix][GLM-5.3-Flash] Restore MTP index sharing across draft iterations

本日合并至 main · 10-12 13:41 UTC+8 · @gcanlin

该 PR 恢复 GLM-5.3-Flash 中 MTP draft iterations 的 index sharing,使 draft step 0 计算的 sparse indexer top-k 可在后续步骤复用。它修正配置标志丢失导致的行为退化,有助于恢复该模型推测解码的接受效率和 decode 吞吐表现。

推测解码
SGLang #40666 MERGED

[AMD][MORI] Add MORI EP V2 support

本日合并至 main · 10-12 11:54 UTC+8 · @ChengYM5685

该 PR 为 DeepSeekV4 Pro 增加 MORI EP V2 支持,新增 mori-epv2 all-to-all backend,并集成 aiter kernel 以配合 dispatch 与 combine。它扩展了 AMD ROCm 路径上的 expert parallel 硬件适配,为 DeepSeekV4 Pro 的分布式 MoE 推理提供新通信后端。

推测解码
TensorRT-LLM #20076 MERGED

[None][test] Update MiniMax M3 EAGLE3 draft model directory

本日合并至 main · 10-12 10:19 UTC+8 · @fredricz-20070104

该 PR 更新八个 MiniMax M3 disaggregated performance 配置中的 EAGLE3 draft model directory,并保持主模型目录、speculative decoding 设置和 worker 拓扑不变。它修正共享模型根目录下的 draft 模型路径,保证 GB300 与 VR200 配置能定位到一致的 EAGLE3-GQA 资源。

推测解码
vLLM #61033 MERGED

[Model][LoRA] Enable LoRA support for BERT and RoBERTa embedding models

本日合并至 main · 10-12 22:09 UTC+8 · @hoaivoke

该 PR 为 BertModel、RobertaModel 和 XLMRobertaModel embedding models 启用 LoRA adapter 支持,并复用 BertEmbeddingModel 加载路径。它让 BGE、all-MiniLM 和 multilingual-e5 等嵌入模型可以在 vLLM 中加载 PEFT adapter,扩展了低成本微调模型的推理覆盖。

算子与内核 控制流优化性能优化分布式训练
TensorRT-LLM #19809 MERGED

[https://nvbugs/6838020][fix] Tolerate near-tie greedy flips in KV pool rebalance accuracy test

本日合并至 main · 10-12 21:15 UTC+8 · @thorjohnsen

该 PR 调整 KV pool rebalance accuracy test,在 greedy 输出近似并列时请求 top-2 raw logprobs,并仅在受限条件下接受首次分歧。它降低了近 tie token 翻转造成的测试误判,同时继续验证 logprob 对齐和 GPU pool ratio rebalance 是否实际发生。

算子与内核 控制流优化性能优化服务与推理

行业动态 26 条

Improve TTFT for Multi-Turn Agentic Workloads with Bi-Directional KV Transfer in vLLM

vLLM 博客 · 10-12 08:00 UTC+8

vLLM 引入双向 KV transfer,让 prefill 节点在多轮对话后续轮次复用 decode 节点已经计算过的 KV,减少长上下文重复 prefill。对 agentic workload 很关键,因为多轮工具调用会不断带着长历史返回模型,这项优化可将 TTFT 最多降低 3.3 倍。

vLLMKV Cache推理优化Agent Serving

Run multi-node inference workloads using Ray LLM Deep Learning Containers

AWS 机器学习 · 10-12 23:50 UTC+8

AWS 展示用 Ray LLM Deep Learning Containers 在 Amazon EKS 上跨两个 GPU 节点部署单个大模型,并把 prefill 与 decode 节点拆开挂到一个 OpenAI 兼容端点后面。重点在于预构建容器已经包含推理栈,团队主要做部署配置即可,更适合快速落地多节点大模型推理。

推理优化AWSRay多节点推理LLM Serving

Microsoft plans to scale its own Maia AI chips to gigawatt levels by 2027

The Decoder · 10-12 23:24 UTC+8

Microsoft 计划从 2027 年开始把自研 Azure Maia 芯片作为旗下产品的主要 AI 推理系统,并推进到多吉瓦级部署规模。Maia 300 号称每兆瓦 token 产出比领先 GPU 系统高 40%,这显示云厂商正在用自研芯片重塑推理成本和供应链主动权。

InfraAI芯片Microsoft推理成本云基础设施

OCP Global Summit: Amid Ecosystem Adoption, NVIDIA Opens Vera Rubin Architecture to Help Scale AI Factories Worldwide

NVIDIA 博客 · 10-12 23:00 UTC+8

NVIDIA 在 OCP Global Summit 宣布围绕 Vera Rubin 架构开放更多设计与生态合作,目标是帮助 AI factory 从兆瓦级扩展到吉瓦级。对基础设施团队而言,这意味着下一代集群建设会更依赖开放标准、电力和散热协同,而不只是单卡算力提升。

InfraNVIDIAAI工厂开放硬件数据中心

Google Deepmind's AlphaProof Nexus solved dozens of open math problems and actually got peer reviewed

The Decoder · 10-12 17:35 UTC+8

Google DeepMind 的 AlphaProof Nexus 解出数十个开放数学问题,包括 9 个 Erdős 问题,其中 2 个已悬而未决 56 年,并以 Science 论文形式经过同行评审。相比直接把 AI 证明丢到代码仓库,这一事件更重要的是展示了形式化或半形式化 AI 数学系统进入学术验证流程的路径。

基座Google DeepMind数学推理AlphaProof能力评测

Deploy decision models with llama.cpp on Amazon SageMaker AI

AWS 机器学习 · 10-12 23:51 UTC+8

AWS 介绍如何在 Amazon SageMaker AI 上用 llama.cpp 部署 decision models,并通过 OpenAI 兼容 chat completions 提供服务。示例还扩展了 SemIf 运行时,可在 CPU 或 GPU 上返回指定选项的概率,适合路由、分类和决策类低成本推理。

Infrallama.cppSageMaker决策模型推理部署

Browser Use + Qwen-Image-2.1-Turbo

Unsloth · 10-12 22:57 UTC+8

Unsloth 加入 Browser use,本地模型可以打开网页、阅读、点击、输入和滚动,用户能直接观察浏览器操作过程。同时它还支持 Qwen-Image-2.1-Turbo 8 步生成、文本扩散 LLM 训练、更快 MoE GGUF 和 Mac 上的 speculative decoding,覆盖从 agent 到本地推理的一串实用更新。

AgentUnsloth浏览器智能体Qwen本地推理

智谱新模型,490 tokens/s!

量子位 · 10-12 10:37 UTC+8

智谱的新模型主打高速生成,报道突出 490 tokens/s 的吞吐表现。对开发者而言,这类速度指标意味着国产模型厂商正在把低延迟交互、实时 agent 和高并发推理作为核心竞争点,而不仅是刷静态榜单。

厂商动态智谱GLM推理速度国产大模型模型发布

Meet Cloudflare Clef-omni: A 30B-A3B Multimodal Decision Model for Audio, Video, Image and Text

MarkTechPost · 10-12 07:15 UTC+8

Cloudflare 发布 Clef-omni,这是基于 Qwen3-Omni-30B-A3B 的 Apache-2.0 多模态决策模型,可在一次调用中对文本、图像、音频和视频打分。其价格为每百万输入 token 0.15 美元,Clef-flash 降到 0.038 美元,适合内容审核、路由和多模态判别这类不需要长文本生成的场景。

基座多模态模型决策模型CloudflareQwen

What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models

MarkTechPost · 10-12 05:43 UTC+8

vLLM Semantic Router 发布 Decision 3.0,包含 5 个 Apache-2.0 多模态决策模型,规模从 0.8B 到 27B。它们面向文本和图像的一选一、是非和打分问题,直接输出决策而非生成长文本,对路由、审核和评测链路能降低延迟与成本。

基座vLLM语义路由决策模型多模态

b11574

llama.cpp · 10-12 23:16 UTC+8

llama.cpp b11574 继续优化 Hexagon 后端的 CPY 和 CONCAT,重点解决短行场景下 DMA 延迟受限的问题,并引入 threaded DMA 和 HVX gather-row helper。对边缘和移动端推理很实用,因为这类底层拷贝与拼接优化会直接影响量化模型在 Qualcomm 生态上的吞吐和延迟。

推理优化llama.cppHexagon边缘推理内核优化

b11573

llama.cpp · 10-12 22:51 UTC+8

llama.cpp b11573 优化 Vulkan 后端,在没有 dot product op 的情况下为 f16 accumulation 打包 FMA,并将相关实现整理为 dot_product_v2。这个更新主要面向 GPU 后端兼容性和吞吐细节,能让更多 Vulkan 设备在本地 LLM 推理中获得更好的矩阵计算效率。

推理优化llama.cppVulkan本地推理GPU优化

b11572

llama.cpp · 10-12 22:27 UTC+8

「llama.cpp」b11572 增加对 vLLM D3 系列模型的加载支持,并继续收紧模型命名规则与校验逻辑。对本地推理和模型分发来说,这类更新能减少从 vLLM 生态迁移决策类模型时的格式摩擦,也能更早暴露命名或张量结构不匹配的问题。

Infra本地推理模型格式llama.cpp

b11571

llama.cpp · 10-12 22:00 UTC+8

「llama.cpp」b11571 支持 vLLM Decision 2 模型,并清理了相关转换路径中的冗余张量过滤逻辑。它的价值主要在模型兼容性和加载确定性上,尤其适合需要把 vLLM 侧决策模型接入轻量本地运行时的团队。

Infra本地推理模型兼容llama.cpp

b11569

llama.cpp · 10-12 21:19 UTC+8

「llama.cpp」Metal 后端修复了「mul_mat_id」在重复 id 场景下的错误计算,旧实现假设每个 token 至多匹配一次且每个专家容量固定,可能导致输出行丢失、写错位置或越界覆盖相邻专家切片。新实现按专家构建紧凑的 token 与 slot 列表,更符合 MoE 路由里重复专家命中的实际情况,对 Apple Silicon 上的推理正确性很关键。

推理优化MetalMoE推理推理正确性llama.cpp

b11567

llama.cpp · 10-12 20:29 UTC+8

「llama.cpp」新增推理期计算图缓冲区重分配回调,当预留 buffer 不够、调度器需要重新分配时,用户代码可以收到通知,并知道后端分配或图大小是否变化。这个可观测性改动有助于定位延迟尖峰、显存预估不足和动态图尺寸变化,对线上推理调优比单看吞吐指标更有用。

推理优化可观测性内存管理llama.cpp

b11568: examples : fix draft sampling and rejection handling (#30095)

llama.cpp · 10-12 18:02 UTC+8

「llama.cpp」示例代码修复了 speculative decoding 中 draft sampling 与拒绝处理的两个问题,并为并行度大于 1 的场景补上统一 KV 的要求。对复用示例搭建草稿模型加速链路的开发者来说,这能避免采样分布和 token 接受逻辑偏离预期。

推理优化投机解码采样KV缓存llama.cpp

viable/strict/1791812968: [inductor] Extend partitioned scatter to additional ops (#194078)

PyTorch · 10-12 17:41 UTC+8

「PyTorch Inductor」把 partitioned scatter 优化扩展到更多会产生竞争性 atomic_add 写入的算子,包括 masked index put、scatter_add 和 scatter_reduce 等。更新还加入按内存流量约束的分区上限,避免优化本身带来比原 scatter 更高的访存成本,对稀疏更新和归约型训练负载的性能更稳。

InfraPyTorch编译器优化训练框架访存优化

b11564

llama.cpp · 10-12 14:59 UTC+8

「llama.cpp」Vulkan 后端针对 CM2 matmul 的量化块大小做了专门化处理,并用三元表达式避免 switch lowering 带来的低效代码生成。这个改动属于底层 kernel 细节优化,目标是让 Vulkan 路径在量化矩阵乘场景下生成更直接、更可预测的执行代码。

推理优化Vulkan量化推理Kernel优化llama.cpp

Flash-Attention2, Causal-Conv1D, Mamba_SSM Binaries

Unsloth · 10-12 14:01 UTC+8

「Unsloth」发布 CUDA 13 预编译 wheels,覆盖「Flash-Attention2」「Causal-Conv1D」「Mamba_SSM」等训练和序列建模常用依赖,面向 Python 3.13、PyTorch 2.13 与 2.14,并包含 x86_64、aarch64 和部分 Windows ARM64 组合。它降低了新 CUDA 与新 Python 环境下编译这些高性能算子的门槛,能节省大量环境搭建和 CI 时间。

Infra训练框架CUDAFlashAttention环境构建

TII Releases Falcon-ASR: 1.6B Arabic Speech Model Hits 20.92% WER

MarkTechPost · 10-12 11:16 UTC+8

TII 发布「Falcon-ASR」,这是一个 1.6B 参数的阿拉伯语语音识别模型,重点覆盖阿联酋口音,并报告在 6 个阿拉伯语测试集上的平均 WER 为 20.92%。目前权重和 API 尚未开放,所以它更像是一次能力预告,但对低资源方言 ASR 和区域化语音基座模型仍有参考价值。

基座语音识别多模态基座阿拉伯语模型模型发布

viable/strict/1791833208

PyTorch · 10-12 23:02 UTC+8

「PyTorch Inductor」推进 dtype conversion 复用优化,核心是避免在 full 类张量生成路径上重复执行相同类型转换。这个改动面向编译图里的冗余算子消除,能降低小算子开销和不必要的内存读写,对训练与推理中的图编译性能都有帮助。

InfraPyTorch编译器优化dtype转换性能优化

viable/strict/1791827615: [MPS] [Inductor] Compute in float32 after casting to fp16/bf16 (#200559)

PyTorch · 10-12 21:36 UTC+8

「PyTorch」修复 MPS 后端 Inductor 在 fp16 和 bf16 cast 后继续用半精度计算的问题,现在会像 CPU 与 CUDA 一样转为 float32 执行相关计算。该问题会导致 bf16 在 Metal abs 缺少重载时编译失败,也会让 fp16 的小值 log1p 结果异常,因此这次修复同时改善了 Apple GPU 路径的兼容性和数值一致性。

InfraPyTorchMPS数值精度Apple GPU

White House reverses course and restores UK AI Safety Institute's access to frontier models

The Decoder · 10-12 21:14 UTC+8

白宫恢复了英国 AI Security Institute 对 Anthropic、Google DeepMind 和 OpenAI 前沿模型的早期访问,此前美国政府曾在 9 月要求企业停止向该机构共享模型。对从业者而言,这说明前沿模型安全评测已经成为外交与监管协作的一部分,也会影响模型发布前的外部红队和合规流程。

厂商动态AI安全政策监管前沿模型模型评测

Anthropic's Andrej Karpathy says "the external world has seen the preview" of what AI can actually do

The Decoder · 10-12 20:51 UTC+8

Andrej Karpathy 表示,公众看到的 AI 仍只是预览版,约 75% 的人几乎没有真正使用过 LLM,而少数内部人员已经接触到能以 agent swarm 完成专家多年工作量的前沿系统。这个判断提醒从业者,当前公开产品体验与实验室级智能体能力之间可能存在巨大落差,评估 AI 进展时不能只依据普通聊天机器人界面。

厂商动态智能体前沿模型能力评估产业观察

b11565

llama.cpp · 10-12 17:19 UTC+8

「llama.cpp」SYCL 后端为 DMMV 行尾读取增加保护,避免在矩阵行末尾处理不完整块时发生越界或读取无效数据。对使用 Intel GPU 或其他 SYCL 设备跑本地推理的用户来说,这类修复直接关系到结果稳定性和后端可靠性。

InfraSYCL本地推理推理正确性llama.cpp

论文 20 篇

论文看点:智能体可扩展环境、自蒸馏小模型、投机解码和多模态视觉表征形成从训练到推理的闭环议题。

SoftwareGym: Scaling Computer-Use Agent Training with Diverse Synthesized Software Environments

HF 精选 · 10-12 08:00 UTC+8

SoftwareGym 面向计算机使用智能体训练中的环境瓶颈:原生应用环境构建重、浏览器环境交互浅,都会限制任务覆盖并诱发过拟合。它用自动化流水线合成 GUI 软件环境,把应用逻辑、界面和可验证任务批量生成出来,让智能体能在更接近真实软件的多步骤工作流里练习。价值在于把 CUA 训练从少量手工环境扩展到多样软件生态,尤其适合评估和训练跨应用迁移能力。

Agent智能体训练GUI智能体合成环境计算机使用

ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents

HF 精选 · 10-12 08:00 UTC+8

ProgramGym 关注从零构建程序的长程编程智能体,而不是常见的修 bug 或按规格生成仓库任务。它设计可验证训练环境,迫使智能体自行探索参考程序、发现需求并规划系统设计,从而覆盖更接近软件工程实践的长时程开发过程。对编码智能体训练的意义在于提供可规模化、可检查的环境,让模型不仅会补代码,也能学习需求发现和架构复现。

Agent编码智能体长程任务程序合成训练环境

Continually Post-training Small Models via Synthetic Self-distillation

HF 精选 · 10-12 08:00 UTC+8

这篇工作处理小模型持续后训练里的典型矛盾:既要学习新能力,又要保留旧知识。传统自蒸馏微调依赖模型本身较强的上下文学习和指令跟随能力,小模型在这一步容易失效,因此论文转向合成自蒸馏来补足示例生成与监督信号。它的价值在于把持续学习方法下沉到低延迟、端侧部署常见的小模型规模,降低能力更新带来的遗忘风险。

小模型持续学习自蒸馏后训练

Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction

HF 精选 · 10-12 08:00 UTC+8

Work2Skill 针对 GUI 智能体面对陌生软件和领域流程时缺乏可复用经验的问题。它通过 WorkRecorder 捕获人类在同一 GUI 空间中的操作演示,再从上下文中区分通用工作流规则与任务特定细节,归纳成可复用技能。对智能体落地很关键,因为真实办公流程往往藏在专家操作里,而这类方法能把一次演示转成后续多任务可调用的过程知识。

AgentGUI智能体技能归纳人类演示工具使用

SoloQ: Calibration-Free Quantization for Diffusion Language Models

HF 精选 · 10-12 08:00 UTC+8

SoloQ 面向扩散语言模型的部署成本问题:这类模型需要反复全序列去噪,块扩散还会引入高内存 KV cache,低比特量化很有吸引力但校准流程复杂。论文提出免校准量化思路,针对扩散式生成的权重与激活分布做低比特压缩,避免依赖额外校准数据或繁重调参。它的价值在于让 dLLM 更接近可部署状态,尤其适合推理成本和显存压力敏感的场景。

扩散语言模型模型量化推理优化AI Infra

Contextual Correction of Parallel Draftsfor Speculative Decoding

HF 精选 · 10-12 08:00 UTC+8

这篇论文处理 speculative decoding 中并行草稿 token 之间缺少上下文互相修正的问题。扩散式 drafter 能一次预测多个未来位置,但同一批草稿内部并非自回归依赖,容易出现局部不一致;论文提出对并行草稿做上下文校正,使草稿序列在交给目标模型验证前更连贯。对推理系统的意义是提升草稿接受率,从而把并行草稿的速度优势更稳定地转化为端到端加速。

推理优化推理加速Speculative Decoding扩散草稿模型LLM Serving

Inducing Process Supervision from Outcome-Only Reinforcement Learning

HF 精选 · 10-12 08:00 UTC+8

TIPS 试图降低过程奖励模型的训练成本,因为人工步骤标注难扩展,Monte Carlo 估计又昂贵且可能偏离步骤本身正确性。它从只含最终结果的强化学习过程中诱导过程监督,让模型在 outcome-only RL 中学习哪些中间推理步骤真正贡献了成功。价值在于为推理模型后训练和测试时搜索提供低成本 PRM,有望减少对密集人工标注的依赖。

后训练过程监督RLHF推理模型奖励模型

When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better

HF 精选 · 10-12 08:00 UTC+8

这篇论文重新审视 on-policy distillation 是否总是适合任意教师和学生组合。作者提出 Semi-OPD,用初始学生离线生成的 rollout 来做蒸馏,结果在 17 组 1.5B 到 235B 的教师学生组合中经常比 OPD 更准、更省训练。它提醒从业者不要把在线采样当成默认最优,学生自身分布上的离线数据有时反而能提供更稳定、成本更低的迁移路径。

模型蒸馏后训练学生模型训练效率

Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding

HF 精选 · 10-12 08:00 UTC+8

这篇工作关注 speculative decoding 中目标模型隐藏层选择过于粗糙的问题。不同 decoder 层编码的信息互补,但现有方法常用固定位置启发式选少数层;论文把多层 hidden state 选择建模为有原则的组合优化问题,分析信息与几何结构来挑选更有用的层。它的价值在于提升草稿预测或验证辅助信号质量,让推理加速不只依赖经验选层。

Speculative Decoding隐藏状态推理优化模型分析

Stateless Language Agents: Scaling Long-Horizon Automated Research

AnthropicHF 精选 · 10-12 08:00 UTC+8

Stateless Language Agents 指出长程自动研究系统的瓶颈不只是推理次数不足,而是状态越积越长、重复实验和无效消耗。论文把失败归因于研究状态存放位置和下一步尝试决策机制,并提出无状态智能体框架,把长期研究进展从膨胀上下文中抽离出来管理。对 Agent 系统很重要,因为它直接面向长预算下的真实科研自动化,而不是很快饱和的短程 benchmark。

Agent研究智能体长程Agent状态管理自动化科研

PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling

HF 精选 · 10-12 08:00 UTC+8

PreSTO 面向 power sampling 的速度瓶颈:PowerMH 的 Metropolis Hastings 接受拒绝链是顺序的,每一步状态依赖上一轮结果。论文提出预测式子树预取,在不直接改造模型或采样目标的前提下,提前准备高概率会被访问的 proposal 分支。它的意义在于把测试时强化推理的采样开销降下来,让更强但更慢的 power sampling 更接近实际服务可用。

推理优化测试时计算采样算法推理加速LLM推理

DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models

HF 精选 · 10-12 08:00 UTC+8

DiffusionART 处理扩散模型在线强化学习的效率与稳定性两难:反向过程方法信用分配差,前向过程方法高效但依赖精细 EMA off-policy 训练。论文分析 NFT 类目标中隐藏的前向反向一致性力,并围绕这一机制设计更稳定、可扩展的强化训练方案。对图像和扩散生成模型后训练有价值,因为它让黑盒奖励优化更少依赖脆弱调参,更适合规模化训练。

后训练扩散模型强化学习生成模型训练对齐

VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs

HF 精选 · 10-12 08:00 UTC+8

VisionWeave 针对多模态大模型视觉 token 固定密集编码带来的高成本。它利用视觉信息分布不均的事实,让关键区域保留细粒度表示,低信息区域使用更紧凑的弹性表示,而不是简单下采样或粗暴剪枝。价值在于把内容自适应的视觉表示变成 MLLM 原生能力,在保持细节理解的同时降低 token 和推理成本。

基座多模态模型视觉Token推理成本表示学习

RSI-Anything: Unlocking Recursive Self-Improvement with World Models

HF 精选 · 10-12 08:00 UTC+8

RSI-Anything 关注递归自我改进中外部反馈昂贵、世界模型随策略演化失真的问题。它基于 JEPA-Anything,用预测世界模型指导行动选择和学习数据筛选,并用真实反馈驱动策略、工作流和条件世界模型更新,同时通过组件与兼容性检查约束改进过程。意义在于给 RSI 提供更通用的工程框架,使智能体能把交互经验转化为持久能力提升。

递归自我改进世界模型智能体学习Agent

PolyOCR-Venus: Unified OCR Foundation Models for Text-Centric Visual Intelligence

蚂蚁HF 精选 · 10-12 08:00 UTC+8

PolyOCR-Venus 把 OCR 从纯文本识别扩展到文本中心视觉智能,覆盖识别、定位、解析和推理。PolyOCR 采用统一指令跟随框架并提供不同规模模型,试图解决现有 OCR 系统只擅长部分任务、跨场景能力不均衡的问题。它对多模态应用很实用,因为文档、截图、票据和复杂场景文字都需要同一个模型同时读懂位置、结构和语义。

基座OCR多模态基座视觉理解文档智能

SWE-Duel: Towards a Self-Scaling Arena for Coding Agents

ICLR 2027HF 精选 · 10-12 08:00 UTC+8

SWE-Duel 针对静态编码 benchmark 会泄漏、会饱和的问题,提出自扩展的编码智能体竞技场。它让两个编码智能体通过镜像 Red-Blue 回合互相生成任务和判定 oracle,评测内容在运行时产生,难度由参赛智能体共同决定。价值在于把 coding agent 评测从固定题库推进到动态对抗环境,更能衡量强模型持续提升后的真实差距。

Agent编码评测Coding Agent动态Benchmark软件工程

Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression

HF 精选 · 10-12 08:00 UTC+8

LatentGRM 关注奖励模型在多准则评估时逐 token 生成推理链带来的推理成本。它用 rubric 引导的语义分块、压缩和重构,把评价过程转入连续潜空间中完成,同时尽量保持语义可恢复。对对齐和评测系统的意义在于,用更短的显式文本承载复杂判断,降低 generative reward model 的延迟和成本。

后训练奖励模型潜空间推理模型评测推理成本

Recurrent Harness for Agentic Continual Learning

MetaHF 精选 · 10-12 08:00 UTC+8

ReHarness 面向长交互流中的 agentic continual learning,解决智能体在线适应分布变化时只靠前向状态更新不够的问题。它在读写之外加入向后的修订机制,使 harness 能根据后续反馈回改先前状态,而不依赖额外 replay 或验证数据。价值在于让智能体运行框架本身具备持续学习能力,更适合长期任务、个性化环境和动态工具链。

Agent持续学习Agent框架状态修订长程交互

MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code

HF 精选 · 10-12 08:00 UTC+8

MetaKernelBench 关注 GPU kernel 优化智能体学到的经验是否真的可迁移,而不只是单次实现跑得快。它设计 74 个融合子图问题,覆盖六类 kernel,并要求从一种 kernel DSL 中蒸馏出的经验帮助另一种 DSL 下的新尝试。这个 benchmark 对 AI Infra 很有价值,因为它把优化知识库和技能蒸馏的复用价值变成可测指标。

InfraGPU Kernel性能优化AI Infra智能体评测

From Given to Gathered Evidence: Agentic Learning for Longitudinal Medical Reasoning

HF 精选 · 10-12 08:00 UTC+8

CASE 把医学智能体评测从给定证据上的推理,推进到跨病历和纵向影像主动寻找证据。它构建角色化 Clinical Agents、工具使用 harness 和面向紧凑视觉语言策略模型的 agentic post-training,并配套纵向多模态 benchmark。价值在于更贴近真实临床工作流:模型不仅要会回答,还要知道该查哪些记录、影像和时间点来支撑判断。

Agent医疗智能体多模态推理工具调用证据检索