fix(qsa): clamp the compress gather to the rows this forward has
修复 QSA 中压缩 gather 行索引越界问题,将 group_locs 钳制到当前 forward 实际 token 行数减一。避免 chunked prefill 尾部不足 compress ratio 时读取未映射内存导致 IMA 错误,提升推测解码在短 chunk 下的稳定性。
每天 04:00(Asia/Shanghai)自动抓「昨天」一天的新内容。
fix(qsa): clamp the compress gather to the rows this forward has
修复 QSA 中压缩 gather 行索引越界问题,将 group_locs 钳制到当前 forward 实际 token 行数减一。避免 chunked prefill 尾部不足 compress ratio 时读取未映射内存导致 IMA 错误,提升推测解码在短 chunk 下的稳定性。
[AMD] Document GLM-5.2 MXFP4 recipe update on MI355X
更新 MI355X 上 GLM-5.2 MXFP4 的部署配方,将低延迟映射到 TP8/EP1、高吞吐映射到 TP4/EP4,并统一 MTP 5-1-6、FP8 KV cache 与 Triton DSA 后端。为 AMD 硬件提供经过验证的可移植推理配置,提升 MXFP4 模型在 MI355X 上的低延迟和高吞吐部署适配性。
[AMD] Fix Dspark accept length and reduce host bubble on DSV4
修复 DSPARK 推测解码的 accept length 计算,并将 SWA 写入位置元数据改为原地更新,避免捕获的 kernel 引用过期 ring 位置。减少 DSV4 在 AMD 平台上 draft 阶段的 host bubble 和 KV 写入错误,提升推测解码正确性与端到端性能。
[CI/Build] Add DSv4.1 auto-label rules and narrow DSv4
为 DeepSeek-V4.1 添加独立的自动标签规则,并收紧 DSv4 标签的匹配范围,避免将 V4.1 相关 PR 错误归类。改善 CI 中推测解码相关 PR 的分类准确性,使不同 DeepSeek 架构的构建与审查流程更清晰。
[Attention] Add Triton/FlashInfer composite for multimodal prefix attention
为多模态前缀注意力新增 Triton 图像掩码与 FlashInfer 因果注意力的可复用组合实现,无需修改 worker 或核心逻辑。利用不同注意力后端处理模态差异,在固定负载下降低多模态模型的首 token 延迟并提升吞吐。
[Unified Cache][7/N] Support MTP, EAGLE, and DSpark draft KV caches in the external linker
在统一缓存的外部链接器中增加对 MTP、EAGLE 和 DSpark 草稿 KV 缓存的支持。使多种推测解码算法能接入统一缓存链接流程,提升缓存管理的通用性和多草稿模型部署效率。
[CI][Test][Spec Decode] Fix CI failure of Qwen3 Omni DSpark loader mock
修复 Qwen3 Omni DSpark 加载器单元测试中缺失的 parallel config mock,以匹配从目标 vLLM 配置派生草稿并行配置的改动。恢复推测解码相关 CI 测试的有效性,确保并行配置变更不会导致测试回归。
[MRV2] Revert explicit Triton JIT warmup migration
回滚 56323 中针对 MRV2 的显式 Triton JIT 预热迁移,恢复直接 DFlash 与多模块 MTP kernel 启动及原有采样器初始化。避免显式 JIT 预热引入的回归风险,保留通用预热机制以维持推测解码的稳定性。
[6/N][warmup][DSv4] Migrate sampling, and DFlash JIT kernels
将 DSv4 的采样和 DFlash JIT kernel 迁移到显式 Triton JIT 预热机制。通过预热 JIT kernel 减少首次调用的编译开销,优化 DeepSeek-V4 推测解码的启动性能。
[Docs] GLM-5.3-Flash cookbook: fixed MTP 5/1/6, EP1 + flashinfer_trtllm on Blackwell
更新 GLM-5.3-Flash 的部署配方,移除 --speculative-adaptive 并固定 MTP 5/1/6 参数,在 Blackwell 上采用 EP1 和 flashinfer_trtllm。通过消除自适应策略对 batch 大小的草稿步数限制,恢复在 GB300 上的推理吞吐,优化 Blackwell 硬件适配。
[None][refactor] BREAKING: Remove the two-model speculative decoding path and dead C++ spec-dec code
重构移除 TensorRT-LLM 中不可达的双模型推测解码路径及相关的 C++ 死代码,并统一为单模型配置,对显式传入 one_model=False 的情况抛出异常。清理推测解码代码库和公共 API,减少维护负担并降低多模型配置的运行时开销。
[watermarking] Dual-key gumbel-max watermarking for speculative decoding support
实现双密钥 Gumbel-max 水印算法,并新增 allow target only watermarking 选项,使文本水印兼容推测解码。在草稿 token 被接受时也能保持水印信号,避免因推测解码导致水印强度稀释,同时提升输出多样性。
[Test][Determinism] Cover VLM batch invariance in default execution mode
在默认执行模式下增加 Qwen3-VL 的批处理不变性测试,覆盖 CUDA Graph decode 路径,并关闭缓存和 FlashInfer 采样器以隔离变量。验证非 eager 模式下视觉语言模型在 batch 维度上的确定性,保障生产推理的一致性。
[ROCm][Perf][M3] Fused allreduce+GemmaRMSNorm fast path
在 ROCm 上为 GemmaRMSNorm 添加 aiter 融合 allreduce 与 RMSNorm 的快速路径,替代逐层两个独立 kernel。减少 MI355X 上每层的 kernel launch 数和通信开销,提升 AMD GPU 分布式推理性能。
[Bugfix] Avoid repeated dummy initialization and random CPU Engram fills
修复 --load-format dummy 下重复初始化后代权重及随机填充 CPU Engram 表的问题,改为仅初始化局部参数和持久缓冲区,并为 Engram 使用常量填充。降低模型加载时的冗余计算和内存随机初始化开销,提升 DeepSeek V4.1 在 CPU offload 场景的加载性能。
[Fix] Preserve GLM tool argument types across JSON Schema unions
修复 GLM 工具调用解析器在 JSON Schema 联合类型中过早确定类型的问题,延迟解析 $ref、类型数组、枚举和 anyOf/oneOf 直到参数值完整。保证流式与非流式响应中工具参数类型一致,提升结构化输出和工具调用的正确性。
[AMD] Add dspark config and agentic workload section for deepseek-v4 model
更新 DeepSeek-V4 的 AMD 部署文档,添加 dspark 配置和 MI355 agentic 工作负载章节,并升级镜像版本。为 AMD 平台上运行 DeepSeek-V4 的推测解码和智能体负载提供配置参考,方便硬件适配与部署。
[Diffusion] Return Qwen-Image-Layered outputs and preserve CFG2 rounding
修复 Qwen-Image-Layered 多图层输出仅返回一个结果的问题,将各图层映射回父请求并分配独立文件名,同时保留单 GPU BF16 的 CFG 舍入语义。确保分层图像生成能完整返回所有图层,并保持分布式配置下的数值一致性,提升多 GPU 图像生成质量与可复现性。
test(cake_comm): initialize NVSHMEM for BF16 rank-major GPU regression
在 cake_comm 的八 rank BF16 rank-major GPU 回归测试中改用 NVSHMEM 传输初始化,并移除强制 TF32 覆盖以使用 FP32 GEMM 参考。避免默认 PyTorch symmetric-memory rendezvous 在验证环境下的崩溃,确保多 rank 通信测试的稳定性和参考精度。
[PCP][DCP] Enable PCP+DCP on sparse-MLA models
在 sparse-MLA 模型上同时启用 PCP 和 DCP,为稀疏索引器与 FlashMLA-sparse 后端提供 DCP 聚合的 prefill 路径,并通过复制短 prefill 保持 chunk 行数不变。允许推理部署在 decode 阶段切分 KV cache 同时在 prefill 阶段跨 rank 并行处理查询,提升稀疏 MLA 模型的扩展性和吞吐。
Cognition 发布 SWE-2,这是其目前最强的编码模型,由月之暗面 Kimi K3 开源模型经强化学习后训练而来。它在 FrontierCode 1.1 Main 上得分 50.0%,与 Fable 5.1 相差不到 1 分,但成本低 64%,表明基于开源大模型的后训练路线可在编码能力上接近高端竞品并显著压低单位成本。
Iris-mini and Iris-pro are the strongest open-weight search agents in their class
AllSpark 团队发布 Iris-mini 和 Iris-pro 两个开源搜索智能体,均基于 Qwen 模型构建,在各自尺寸类别中领先开源权重模型。其训练数据与模型还泛化到通用工具使用和办公等未见任务,说明搜索场景的强化学习可迁移到更广泛的智能体能力上。
vLLM 发布 v0.29.1rc0 候选版本,为投机解码引入双键 Gumbel-max 水印功能。该改动让生成内容在提升吞吐的同时具备可追溯性,对推理框架中内容来源追踪与安全合规场景有价值。
Read, Don't Write: 重塑大模型评价体系,构建全自动、可进化的“探测式”评测管线|QCon上海
InfoQ 中文报道了 QCon 上海分享中提出的「Read, Don't Write」评测理念,主张重塑大模型评价体系,构建全自动、可进化的探测式评测管线。相比传统固定写测试集,这种管线能动态探测模型边界,提升评测的持续演进能力。
AWS Introduces Pizza Bot: An Open Source Inbox for Background AI Agents
AWS 推出开源自托管的 AI 智能体收件箱 Pizza Bot,基于 DeepAgents 和 LangGraph 构建。它融合持久任务状态、MCP 集成、可配置审批与跨多家模型提供商的定时工作流,为后台运行的长时智能体提供了一套通用基础设施。
trunk/4d2bd99cd03cda454d98ff8c060c1353743c266f: flex_gemm: Inductor-owned QUACK autotuning (#196174)
PyTorch 合并 PR,将 flex_gemm 的自动调优所有权从 QUACK 切回 Inductor,以恢复更快的调优性能。该改动放弃了 QUACK 侧的配置验证,转由 epi-mod 或 QUACK 兼容层处理,对关注底层 GEMM 内核性能调优的开发者有直接影响。
文章分析了浅层智能体在长时任务中上下文溢出与目标丢失两大失败模式,并深入 harness 层给出四种解决机制。文中提供了 LangChain Deep Agents、Claude Code、Manus、OpenAI Codex 和 Amazon Bedrock AgentCore 的实际阈值,以及一个展示 200K 窗口被填满的交互模拟器,对构建长程智能体很有参考价值。
该教程演示如何用 NVIDIA cuML 和 RAPIDS 构建并加速机器学习工作流:通过 cuml.accel 实现零代码 scikit-learn 加速,并覆盖性能基准、UMAP 与 HDBSCAN 的流形学习聚类、FIL 树模型推理以及 GPU 加速 SHAP 可解释性。对希望零改动或低改动迁移到 GPU 的 ML 工程师是一条实用路径。
llama.cpp 新增 LOG_JSON 宏,用于记录结构化日志数据,并提供一个演示。这使运行中的 llama.cpp 服务能输出机器可解析的 JSON 日志,便于后续指标采集和问题诊断。
llama.cpp 实现了 common_schema 作为 JSON schema 的内部表示,并将 json-schema-to-grammar 重构为基于 common_schema,配套 schema 优化器和 common_trie。这有助于提升结构化输出约束的解析效率和一致性,对依赖 JSON schema 控制模型输出的场景很重要。
PyTorch 合并一项标记为性能与神经网络方向的改动,调整 torch._C._get_tracing_state() 的实现或访问方式。该改动可能减少 Python 与 C++ 边界的调用开销,改善追踪状态相关路径的性能。
trunk/36d813411f98c73ba65b56cdc4f950df6dfed2de
PyTorch trunk 分支合入一项性能与神经网络相关改动,将 torch._C._get_tracing_state() 改为新的调用形式。该调整意在优化内部追踪状态获取逻辑,降低运行时开销。
「llama.cpp」合并 PR #28842,缩小「Flash Attention」相关测试用例的规模,以降低多平台持续集成矩阵的负担并加快构建验证反馈;这对维护者更高效地发现回归问题、减少 CI 排队时间有直接帮助。
InfoQ 中文报道「Figma」将人工智能代理引入安全流程,自动化处理代码扫描、漏洞研判与修复建议等重复工作,以加快从发现到处置的周期;该实践展示了智能体在企业安全防线中的落地路径,对关注人工智能安全应用的团队有参考价值。
「llama.cpp」针对「NVIDIA」Vulkan 驱动缺陷加入临时规避方案,修复同一「VkDevice」上两个队列同时提交导致的内部同步破坏问题,通过在提交处加互斥锁缓解异常;在驱动修复前,这条补丁可改善 Vulkan 后端在 NVIDIA 硬件上的稳定性。
量子位报道外滩大会上出现一款关系型智能体,既能执行任务、提供陪伴式对话,还会在朋友圈拉黑用户,展现代理开始具备关系边界和社交行为;报道认为智能体的下一步是从单一工具属性走向长期关系型生产力。
viable/strict/1789295430: [vllm hash update] update the pinned vllm hash (#196889)
「PyTorch」夜间自动生成更新拉取请求,将持续集成中固定依赖的「vLLM」提交哈希同步到最新版本,以保持测试环境与上游「vLLM」一致;这类常规依赖对齐可避免因版本偏差导致的集成错误。
「PyTorch」的「Inductor」为 nogil 模式下的「Triton」编译引入专用线程池,使编译任务不与其他执行线程争抢资源,从而提升多线程编译吞吐并减少调度阻塞;该改动对依赖「Inductor」代码生成的训练和推理流程有稳定性收益。
trunk/c1c94458e8a382b3d84049f3c9f4961f59e8f609
「PyTorch」主干分支合入为 nogil 「Triton」编译增加专用线程池的改动,使「Inductor」在无全局解释器锁场景下编译调度更可控,降低并发编译时的资源竞争,并改善代码生成阶段的可扩展性。
「llama.cpp」的 OpenCL 后端将 noshuffle 行对齐规则从 q6_K 扩展到 q4_K、q5_K 和 q8_0 量化格式,统一不同量化内核的内存对齐行为,以提升 OpenCL 设备上的推理正确性与性能稳定性。
「llama.cpp」改进「Qwen3-Coder」模型的结构化输出解析能力,增强对复杂类型的模式支持,并清理了相关语法实现,使工具调用和 JSON 输出更可靠;这对依赖「Qwen3-Coder」做结构化生成的应用有直接帮助。
viable/strict/1789284404: [BE][Ez]: Improve ranges support for aten custom collections (#196488)
「PyTorch」后端改善「ATen」自定义集合对 C++20 范围库的支持,通过「Codex」现代化迭代器并新增静态断言与测试,确保与标准库范围算法的兼容性;这为后续在内部容器中使用标准范围铺平道路。
同一「ATen」范围支持改进合入「PyTorch」主干,通过「Codex」现代化迭代器使自定义集合符合标准库迭代器规范,并增加编译期静态断言和测试来保证合规性,提升现代 C++ 算法在「PyTorch」内部的可复用性。
OpenAI’s Sam Altman says it would be ‘ill-advised’ to go public in 2026
「TechCrunch」报道「OpenAI」已秘密提交首次公开募股申请,但首席执行官「Sam Altman」表示 2026 年上市并不明智,公司今年不会推进;这表明「OpenAI」更倾向于在私营阶段保持灵活性,优先投入长期研发而非受公开市场短期压力影响。
「MarkTechPost」报道「Fly Language Model」用令牌嵌入驱动雄性果蝇连接组的 16.67 万神经元和 2560 万条边,并冻结 1.2B 骨干仅训练 27.85 万参数;虽然相比骨干有 0.0222 纳特每令牌提升,但参数匹配且不含图的对照模型在每个种子上都略优,说明果蝇连接组接线并未带来实际帮助。
Google Mantis:一款旨在减少误报的基于智能代理的漏洞扫描框架
InfoQ 中文报道「Google」推出名为「Mantis」的漏洞扫描框架,采用智能代理技术以降低误报率,减少安全团队在海量告警中筛选真实威胁的成本;该框架把智能体决策引入安全扫描流程,更聚焦可操作漏洞。
An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics
这项工作提出了一个面向奥数竞赛的自然语言证明生成流水线,直接对后训练的「Nemotron 3 Ultra」检查点做迭代验证与细化,全程不依赖外部工具。该方案在 IMO 2026 上达到金牌水平,说明仅靠模型自身推理与自检即可攻克高难度数学题,对数学推理与智能体训练有直接参考价值。
「NCP-ArchPreview」是一个大型潜空间语言模型,联合训练下一 token 和下一概念预测,目标是在预训练阶段就引入更抽象的语义单元来提升效率。该设计使模型不再只依赖 token 级信号,从而在预训练效率和下游任务表现上同时获益,为走向潜空间语言模型提供了一条可复现路径。
SenseNova-U1.5: Towards Native Unified Visual Intelligence
「SenseNova-U1.5」是 8B 参数的原生统一多模态模型,在不用图像编码器或 VAE 的情况下直接完成视觉理解、推理与生成。它通过 patch 重建、精选数据、专家优化和 on-policy 蒸馏来保证高保真生成与指令遵循,展示了一条去除独立视觉前端、压缩多模态堆栈的新路线。
T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks
「T1」是一个 122B 的混合专家模型,用强化学习在云端沙箱里执行长程终端任务。研究通过稳定的 actor-critic 优化与分布外训练,在长程终端操作基准上取得最先进结果,说明大规模 MoE 配合稳定 RL 调优可以显著提升智能体处理真实长任务的能力。
HyQuant: Hybrid-Precision Quantization for LLM Attention
「HyQuant」针对低比特 LLM 注意力量化中精度损失问题,提出混合精度策略:只保留关键垂直列 token 和局部窗口的高精度,其余部分低比特量化。这样既避免了对所有 token 一视同仁造成的注意力分数失真,又几乎不增加额外开销,在低比特部署场景下更好维持模型准确率。
Negative Self-Distillation: Learning to Reason by Avoiding Flaws
该研究提出负向自蒸馏,不模仿优质推理,而是让模型远离自己生成的包含缺陷的推理路径。通过一个动态门控机制有选择地施加负向信号,既改善推理质量又不损伤语言能力,为推理训练提供了更细粒度的监督思路。
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
该分析指出「SWE-Bench Pro」虽然在软件工程智能体评测中成为标准基准,但评估可靠性受两类问题破坏:一是奖励黑客,源自金标准方案或隐藏评测信息泄露;二是任务质量问题,包括误导性的问题陈述和测试范围不当。这些问题会抬高基准分数,掩盖智能体真实的编码能力,提示社区需要更严格的防泄露和任务校验机制。
Revisiting Complete Reasoning Traces for Post-Training
论文重新审视了完整推理轨迹在后训练中的作用,发现真正带来推理提升的是截断后的轨迹端点,而非完整冗长的中间过程。这种做法减少冗余数据,同时让监督微调和强化学习都受益,意味着推理数据工程可以聚焦于高质量结论片段而非全量链式轨迹。
Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?
「Φ-Bench」提出一个开放式评测框架,考察大语言模型能否自己动手设计并优化支撑其运行的 LLM 基础设施栈。任务从内核级优化延伸到端到端系统设计,直接评估模型在底层工程与系统构建上的实际能力,而不仅是回答代码题。
SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem
该工作用合成积木堆叠任务训练大视觉语言模型,针对性提升 3D 空间推理能力。实验表明这种低成本合成数据能有效泛化到真实世界视觉任务,说明构造空间操作类合成题目是增强 LVLM 空间智能的一条实用路径。
EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents
「EvoSafeHarness」针对固定模型和目标领域,联合搜索自然语言策略与可执行逻辑,优化可部署的安全护栏。这种方法不再用单一规则覆盖所有场景,而是在多个智能体基准上改善安全与效用的权衡,为生产环境中的智能体安全治理提供了自动生成方案。
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
「X-AuT」专注于压缩语音大语言模型中的音频编码器,通过渐进式剪枝编码器层来减少计算。随后利用行为探针、表示对齐、跨尺度蒸馏和 LoRA 适配来恢复精度,在不重新训练整个模型的前提下显著降低语音 LLM 的编码成本。
MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes
「MetroLLM-Bench」是一个公共交通信息亭策略推理基准,评估模型在结构化工具调用和票价报价等任务上的表现。结果显示经过参数高效微调的小模型可以追平大模型,说明在垂直场景中用小模型加 PEFT 即可获得高性价比的运行时方案。
TempCloze: Can Video-LLMs Identify the Missing Middle?
「TempCloze」专门评估视频大语言模型的视觉时间推理能力,让模型从针对语义、时间对齐和事件进展的干扰项中识别缺失视频片段。这种填空式评测能更细粒度地暴露 Video-LLM 对时间顺序和因果关系的理解盲区。
World in World: Explore the World with World Models
该工作提出一种无需训练的控制接口,直接在冻结的自回归视频世界模型中实现灵活的相机视角和时间控制。核心是把异构视觉证据通过原生自注意力路由,并利用对应引导查询和逐通道注意力引导,为探索世界模型动态提供了一种低成本交互手段。
Studying Image Tokenizers as Visual Languages in Unified Multimodal Models
这项研究在受控自回归测试台中,通过分析多模态预训练期间的任务特定验证损失,系统评估图像分词器设计对联合图文建模与下游性能的影响。它把图像分词器当作视觉语言看待,帮助理解不同分词粒度如何改变统一多模态模型的学习行为。
Beyond Solver Verdicts: Generative Reward Models for Autoformalization
文章指出神经符号推理中一个隐患:形式化翻译即使内容错误,也可能匹配求解器判定而被当成正确。为此提出生成式验证方法,在无预言机情况下直接给参考等价性打分,从而筛掉这种错误翻译并提升下游自动形式化准确率。
Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning
该研究证明通过优化监督微调的数据构成,可以让推理模型稳定处理并回复多种非英语语言,而不需要在每种目标语言上提供推理监督。这说明精心设计的多语言数据混合是扩展推理模型语言泛化能力的关键支柱,既降成本又提覆盖。
Generative Late-Interaction Embeddings For Visual Document Retrieval
该工作针对视觉文档检索中嵌入向量存储开销大的问题,提出生成式后期交互嵌入:先学习一个小基组,在需要时按需重建完整嵌入。这样在不重新训练编码器的前提下,以极低存储占用获得更高检索精度,适合大规模视觉文档库。
「CARDEA」是一个用于冠状动脉造影解读的统一视觉语言模型,通过链式框推理定位病灶区域,并用可验证奖励做强化学习。它输出可审计的诊断,同时改善零样本报告生成,为医学影像自动化诊断提供了可靠性更强的范式。