AI Infra 动态 20 条
主流训推框架主分支 PR,按前沿价值与性能影响降序。
[Recipe] MiniMax-M3: add B200 NVFP4 AgentX aggregated profile
本日合并至 main
· 10-23 23:33 UTC+8 · @hshrivastava-droid
为 MiniMax-M3 新增 B200 NVFP4 AgentX aggregated 推理配方,在命令构建器中固化前缀缓存、--max-num-batched-tokens 16384、0.95 显存占用、--disable-flashinfer-autotune 等量化版本可用 flag,并沿用 FlashInfer draft attention 加 local argmax reduction 的 GQA EAGLE3 草稿模型。文档补充了按并发度配置 max-num-seqs、活跃序列数、draft token 数与 CUDA graph 捕获尺寸的指引,方便在 B200 上直接复现推测解码服务配置。
推测解码
算子与内核控制流优化硬件适配
[CI][Rust Frontend] Run more Python server tests against the Rust frontend
本日合并至 main
· 10-23 22:14 UTC+8 · @BugenZhao
把 Rust frontend 的 CI 配置更新到当前实际可通过的范围:清理 10 条失效的 -k 排除项并注明保留原因,新增 11 条来自 server 级测试文件的命令,同时改造三个测试使其可跑在 Rust frontend 上。价值在于用 Python 原生 server 测试扩大 Rust 前端的回归覆盖面,降低前端迁移过程中出现行为差异的风险。
推测解码
性能优化分布式训练服务与推理
Two small fixes (re. FP32-output-logit&residuals) from Nemotron
本日更新,目标 main · 10-23 21:03 UTC+8 · @kwangjunahn
移植 Nemotron 下游的两个小修复:明确 FP32 logits 输出的所有权与 provider 接线,按来源设置 MIMO bridge dtype、做局部 embedding 提升,并在 RADIO encoder 中只重置精度以让复制来的 tower/projector 配置保持参数 dtype。这类精度与 dtype 归属修正有助于在多模态/混合并行训练中避免 logits 与残差路径的精度偏差。
推测解码
算子与内核控制流优化分布式训练
[Doc] cookbook: Refresh SemiAnalysis AgentX launches with seven open InferenceX PRs
本日合并至 main
· 10-23 16:04 UTC+8 · @nvpohanh
刷新 cookbook 中 Agentic 长上下文部署章节,把 SemiAnalysis InferenceX AgentX 提交同步到 main(含 DeepSeek-V4.1-Flash GB300 Dynamo+SGLang、GLM-5.2 FP4/FP8 B200、GLM-5.3 B300),并叠加七个尚未合并的 InferenceX PR 启动配置。作用是让文档中的启动命令与实测 submission 保持一致,减少复现推理性能时的配置漂移。
推测解码
算子与内核控制流优化硬件适配
deslop(cake_balanced_gqa_decode): share the K/V TMA encoders, move test-only planners, derive kwargs from arg plans
本日合并至 main
· 10-23 14:26 UTC+8 · @yyihuang
对实验性 balanced GQA decode 包做第二轮去冗余:把三个 host binding 中重复的 K/V TMA encoder 合并进共享头文件,将仅测试用的 planner 移入 test helper 并删除未引用的 CakeTensorMap64,同时改为从 arg plan 推导 launch kwargs。改动为等价重构,针对 SM100/SM103 的 BF16 paged GQA 解码(含 packed-row MTP)在保持行为不变的前提下降低维护成本。
推测解码
算子与内核硬件适配性能优化
[https://nvbugs/6287561][fix] Add `get_sm_version() < 90` check at the top of `run_MTP()` in…
本日更新,目标 main · 10-23 13:50 UTC+8 · @tensorrt-cicd
在 run_MTP() 顶部加入 get_sm_version() < 90 的判断,避免在 A100/SM80 上执行仅面向 Hopper+ 构建的 DeepSeek MLA FMHA kernel(D=576、DV=512、bf16)而导致 MPI worker 终止、pytest 子进程挂死。该守卫让不支持的硬件快速失败并给出明确告警,也使得此前被排除的推测解码集成测试可以重新启用。
推测解码
算子与内核硬件适配服务与推理
[https://nvbugs/6270671][fix] Replace the hardcoded multiBlock=1 with a call to…
本日更新,目标 main · 10-23 13:50 UTC+8 · @tensorrt-cicd
修复 BF16(HMMA)spec-dec XQA kernel 中硬编码 multiBlock=1 的问题,改为调用 computeMultiBlockCountSpecDecGMMA 并传入 nbTokenBlocksPerGrp 以匹配 HMMA 的 gridDim 布局,使多 block 优化覆盖到 BF16 路径。这直接关系到推测解码时 XQA attention 的并行度利用,进而影响解码阶段的吞吐。
推测解码
算子与内核性能优化服务与推理
[ROCm][Perf] Triton port of the fused GDN MTP decode kernel
本日合并至 main
· 10-23 10:41 UTC+8 · @iseeyuan
为 flat qkvz 布局的 GDN 层补充 fused GDN MTP decode kernel 的 Triton 版本,采用与 CUDA 实现相同的函数签名,在 ROCm 上启用按 value 维分块的状态更新 kernel 加 gated-RMSNorm 尾处理。此前 Qwen3.5 系列等模型在 ROCm 上会退回未融合的推测解码路径,该移植让这些模型能用上融合 MTP 解码。
推测解码
算子与内核硬件适配性能优化
Gdn rubin stp t1
本日合并至 main
· 10-23 05:41 UTC+8 · @ameynaik-hub
新增面向 Rubin(sm107a)的 GDN T=1 decode kernel,使用 bf16 state,将 gated delta rule decode 的 pretranspose 路由到该实现,并引入 uGPU 本地化:借助新的 state pool 让 Rubin 两个 die 各自在本 die 内存与 SM 上更新状态的一半。PR 给出的数据显示 B=512 时解码延迟由 187.0µs 降至 132.6µs,其他 GPU 行为不变。
推测解码
算子与内核控制流优化硬件适配
[ROCm][Perf] Allow MTP lens > 1 in Sparse MLA
本日更新,目标 main · 10-23 19:54 UTC+8 · @tvirolai-amd
把 ROCMAiterMLASparseMetadata 加入允许 MTP lens > 1 的 attention metadata 白名单,使 RoCM 上的 sparse MLA 后端可以在用户确认可用时开启多 token 推测解码。这是放开而非保证兼容性的改动,为 DeepSeek 类模型在 ROCm 上尝试 MTP 提供了入口。
推测解码
硬件适配性能优化
[ROCM][DSV32][Perf][MTP] Enable UNIFORM_BATCH CG mode in rocm_aiter_mla_sparse
本日更新,目标 main · 10-23 19:54 UTC+8 · @tvirolai-amd
在 rocm_aiter_mla_sparse 中为 DeepSeek-V3.2 的 MTP 启用 UNIFORM_BATCH CUDA graph 模式,此前该模式因测试原因和对 MTP 关注不足而未开启。它主要改善 MTP 场景下 CPU bound 时的执行开销,PR 描述中给出在 MI350X/MI355X 上不同并发度的性能与评测验证。
推测解码
硬件适配性能优化
[TRTLLM-17033][feat] Qwen3.8-Flash-Next modeling_v2: CUTEDSL, MTP 1..7, video, FP8/NVFP4 KV, bf16 state, canonical QSA selection, breakable prefill graph, GB300 fast paths
本日合并至 main
· 10-23 17:45 UTC+8 · @Wanli-Jiang
在 modeling_v2 中补齐 Qwen3.8-Flash-Next 目标(GB300 sm103、TP1)的功能:CUTEDSL 实现、MTP 1..7、视频输入、FP8/NVFP4 KV cache、bf16 state、规范化的 QSA 选择、可断开的 prefill graph,并加入 GB300 快速路径。所有新特性默认关闭、需经 engine 配置选择,因此在扩展模型能力的同时不改变既有模型行为。
推测解码
性能优化服务与推理
[XPU] Enable kernel/sampler unit tests on Intel XPU
本日合并至 main
· 10-23 16:23 UTC+8 · @pmanczak
把 27 个 kernel/sampler/speculator 单元测试文件从仅 CUDA 的门控放开到 Intel XPU,改用 current_platform.is_cuda_alike() 或 is_xpu() 判断并统一设备来源,仅改测试不改源码。这让这些实际可在 XPU 上运行的 Triton kernel 获得单元测试覆盖,同时保持 CUDA 侧行为不变。
推测解码
算子与内核硬件适配
[Feat] KVShard: Support kv cache sharding for MTP
本日合并至 main
· 10-23 15:20 UTC+8 · @Shunkangz
为 dense MLA 与 MHA 模型增加 pool 级别的 MTP KV cache 分片(KVShard):draft 复用 target 的 allocator 与分片布局,但保持独立的 KV 存储与 scratch buffer,MTP 相关的兼容性检查暂放在 pool 构造阶段。其工程意义在于降低 MTP 草稿模型带来的额外 KV 显存占用,并为后续把这些校验前移到参数验证留下接口。
推测解码
性能优化服务与推理
[TRTLLM-16628][refactor] BREAKING: Migrate LlmRequest fields to Python
本日合并至 main
· 10-23 14:26 UTC+8 · @Funatiq
将 LlmRequest 中 log-probability 与 encoder-feature 的所有权迁移到 Python,移除 C++、序列化与 binding 中已废弃的 native logits、encoder 输出和 additional output 字段。这是标注为 breaking 的重构,主要风险集中在 API 兼容性、序列化顺序以及 pause 与子请求流程中的 encoder 长度处理。
推测解码
性能优化服务与推理
[https://nvbugs/6342840][fix] Add spec_metadata=None kwarg to SpecWorkerBase._apply_force_accepted_tokens…
本日更新,目标 main · 10-23 13:51 UTC+8 · @tensorrt-cicd
为 SpecWorkerBase._apply_force_accepted_tokens 增加 spec_metadata=None 参数,并在 CUDA graph 预热阶段(非当前流捕获)提前返回,同时把 spec_metadata 贯通到 interface.py、mtp.py、eagle3.py 等七处调用点。修复的是强制接受 token 数在 dummy request 缓冲未填充时导致下游 C++ MTP 算子越界访问(IMA)的问题。
推测解码
控制流优化硬件适配
[https://nvbugs/6162860][fix] Set free_gpu_memory_fraction=0.6 only when torch_compile=True for test_bfloat16_
本日更新,目标 main · 10-23 13:48 UTC+8 · @tensorrt-cicd
仅在 torch_compile=True 的 test_bfloat16_4gpus 用例中把 KvCacheConfig.free_gpu_memory_fraction 设为 0.6,其余情况保持 0.75,并移除对应的 nvbugs waiver。原因是 torch compile + DP + MTP + ep4 同时开启时,0.75 的占用没有给分段 CUDA graph workspace 和惰性 cublasLt handle 分配留出余量。
推测解码
硬件适配性能优化
[None][perf] One-model speculative decoding: host work between steps, worker-produced target logits, KDA drafts' records
本日合并至 main
· 10-23 10:18 UTC+8 · @vsabavat
合入 one-model 推测解码的通用组件:用 StepInputGather/SlotScatter 两个 CuTe DSL kernel(仅 SM100)各一次 launch 完成 overlap scheduler 的输入 gather 与 sampler 的 store 更新、由 worker 产出 target logits、以及 KDA draft 的记录,kernel 未覆盖时回退 torch 路径。这些改动默认关闭或对既有模型行为透明,目标是削减推测解码步与步之间的 host 开销。
推测解码
性能优化服务与推理
[None][feat] Add lm_head_output_dtype for FP32 LM head logits
本日合并至 main
· 10-23 09:41 UTC+8 · @shikicloud
新增 TorchLlmArgs.lm_head_output_dtype,在保留 "auto" 默认值的同时支持 "float32",loader 映射为 torch.float32 并传入两条 LM-head 路径,量化与 ROW 张量并行的 head 会拒绝该选项。该选项用于在需要更高数值精度的场景下以 FP32 输出 LM head logits,代价是额外的输出带宽与显存开销。
推测解码
算子与内核服务与推理
[Doc] Cookbook: add MiniMax-M3.1
本日合并至 main
· 10-23 09:07 UTC+8 · @zijiexia
新增 MiniMax-M3.1 的 cookbook 页面与配置驱动 recipe,覆盖 B200/B300 低延迟与高吞吐配方(含 MSA-V1 MonoKernel)、MI350X/MI355X 与 M3.1-Flash(NVFP4、Quark MXFP4)、DFlash2 推测解码、PD 分离与 HiCache(含 Mooncake L3 层)。纯文档改动,用于把该模型在多种硬件与部署形态下的推荐配置集中到可复制的入口。
推测解码
硬件适配性能优化