[Chore] ci: Update test est_time values
该 PR 根据 CI 统计模型刷新 SGLang 测试的 est_time 字面值,并保留为无法获取实时模型时的静态回退。它使 LPT 负载均衡算法能更准确地把测试划分到并行 CI 作业,提升 CI 调度效率。
每天 04:00(Asia/Shanghai)自动抓「昨天」一天的新内容。
[Chore] ci: Update test est_time values
该 PR 根据 CI 统计模型刷新 SGLang 测试的 est_time 字面值,并保留为无法获取实时模型时的静态回退。它使 LPT 负载均衡算法能更准确地把测试划分到并行 CI 作业,提升 CI 调度效率。
[Feat] minimax: Support MiniMax-M3.1-Flash
为 SGLang 增加 MiniMax-M3.1-Flash 模型支持,并补充相关 draft 与推理路径。该改动扩展了 SGLang 对新模型的覆盖,为后续在该模型上使用推测解码和硬件适配提供基础。
更新 cookbook 的 Agentic Long-Context 部署段,加入 MiniMax-M3.1-Flash 在 B200/GB200 上的 HiCache 启动配置,并同步 InferenceX 基线。它为长上下文 Agent 推理提供可复现的部署参考,便于硬件适配与性能调优。
在 TensorRT-LLM 中新增 PrimTS 原生 sparse MLA FMHA 后端,用于 DeepSeek-V4 生成阶段,并在 SM100 上默认优先于 TRTLLM-Gen。该改动把稀疏 MLA 解码注意力落到专用 CuTe DSL 内核,为 B200/GB200 生成推理提供新的默认内核路径。
[Core][Spec Decode] Lookahead block hashes for EAGLE prefix caching
为本地前缀缓存引入 lookahead block hash,把块后一个 token 纳入哈希,并在无 KV connector 时取消命中后丢弃最后一个匹配块。它让 EAGLE/EAGLE3/MTP 的本地前缀缓存命中粒度与普通解码一致,减少可复用 KV 的浪费并改善推测解码服务效率。
[Doc] cookbook: Add MiniMax-M3.1-Flash AgentX launches and refresh with nine InferenceX PRs
文档为 MiniMax-M3.1 页面新增 AgentX 长上下文部署段,覆盖 GB300/GB200/B300/B200 的 SGLang 启动命令并同步 InferenceX 更新。它为多硬件平台上的 Agent 推理部署提供可复现配置参考。
[Recipe] DeepSeek-V4.1-Flash: AgentX lanes as tuned presets
将 DeepSeek-V4.1-Flash 的 InferenceX AgentX lane 整理为带并发点、构建选项和镜像的 tuned preset。它减少读者手工调整命令的成本,使推测解码等配置在复现实验和部署时更可控。
fix(gtp): preserve scratch lifetime during full-iteration capture
修复 GTP 全迭代 CUDA graph 捕获中的事件排序与 scratch 生命周期问题,改为图内事件并在 RS 流读取完成后再释放缓冲区。该改动避免 replay 读到上一迭代记录或使用已释放 scratch,提升全图捕获训练的稳定性与正确性。
[CI] Disable jobs with unpinned runtime installs
临时禁用运行时安装未固定或范围固定依赖的 Tier 1 CI 作业及其 AMD 镜像,并以注释保留定义。它降低依赖漂移导致的 CI 不确定性,为后续恢复和依赖治理留出空间。
[Model] Add Muse Spark Open support
为 vLLM 增加 Muse Spark Open 模型支持。该改动扩展了 vLLM 的模型覆盖范围,为后续推理与硬件适配提供入口。
[Bugfix] Fix FlashInfer non-causal draft attention (DFlash/DSpark) on Blackwell
修复 Blackwell 上 FlashInfer 非因果 draft attention 在 CUDA graph replay 下输出错误并触发非法内存访问的问题,调整 SM100 上 draft 的图捕获支持级别。它恢复 DFlash/DSpark 推测解码在 Blackwell 上的可用性,避免因错误图捕获导致接受率异常或崩溃。
[None][doc] Fix documentation errors
修正 TensorRT-LLM 文档中的选项名、API 示例、数据集 schema、保留属性与链接错误。该改动降低用户按文档配置服务与基准测试时的误用风险,不涉及运行时行为变更。
[Benchmark] Include speculative drafting in bench forward
让 vllm bench forward 默认把配置的 MTP/EAGLE/DSpark/DFlash drafter 及 draft sampling 纳入计时,并提供 --exclude-drafter 仅测目标模型。它使基准更贴近真实推测解码前向路径,为评估 draft 开销提供统一入口。
[Bugfix][Spec Decode] Keep speculator limits in sync after auto-fit
在 --max-model-len 自动收缩后从 ModelConfig 读取已解析上限,并据此限制 draft attention metadata 的序列长度。该改动避免 MRV2 speculator 保留原始上下文限制而超出拟合后的 block table 容量,提升推测解码配置的一致性。
common: pin model resolution on real HF repo layouts
针对真实 Hugging Face 仓库布局固定模型解析行为,并修复 imatrix 误列、split 名称遗漏、mmproj/MTP 子目录与 draft-only 仓库等解析问题。它用真实仓库语料约束解析器回归,提升 GGUF 模型发现与加载的可靠性。
改进聊天标签页与滚动体验:普通导航复用当前标签,显式操作才新建标签,并在会话打开或刷新时先落到底部。它减少流式响应中的滚动干扰与页面弹性回弹,提升聊天前端交互稳定性。
[Fix] multimodal: Preserve caller hashes and offsets for precomputed inputs
将调用方为预计算 embedding 输入提供的 hash 与 offsets 写入 MultimodalDataItem 字段,而不是落入 model specific data。它让 SGLang 直接复用预计算项的身份与位置信息,避免重复发现 span 和哈希,改善多模态输入处理效率。
[TRTLLM-15764][refactor] Split PyTorchModelEngine construction into named phases
将 PyTorchModelEngine 的构造拆分为命名阶段,并把 CUDA graph 尺寸规划与 prefill 捕获过滤集中到 cuda_graph.py。它使引擎初始化顺序和失败清理更清晰,便于维护图捕获与执行服务初始化路径。
修复 Cake all-gather matmul 中 CTA-pair 的 load warp 在最后一次 refill 后提前退出、未等待 peer CTA 最后阶段 TMA ring 释放的竞态。它避免对已退出 CTA 的共享内存执行异步 arrive,提升该集合通信与矩阵乘融合内核的正确性与稳定性。
[Fix] deepseek-v4: Fix DeepSeek-V4 non-EP TBO for attention TP > 1
修复 DeepSeek-V4 在 DP attention、moe a2a backend=none 且 attention TP>1 时,非 EP TBO 对注意力 TP 组内复制张量执行全 TP 变长 collective 的问题,改为按 rank 分片并重建 DP-local 结果。它避免 gather/combine 布局损坏和无效输出,使该并行配置下的两批次重叠推理正确运行。
OpenAI 发布 GPT-6.1 Terra,主打把快速且可靠的 computer use 能力开放给所有用户。这意味着基于屏幕理解与键鼠操作的产品化空间进一步打开,做 GUI 智能体、RPA 与自动化工作流的团队需要重新评估自研方案与直接调用模型之间的成本和能力差距。
Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang
清华团队在 SGLang 上开源 AKV,一套面向智能体的缓存工程服务:不再把历史对话摘要压缩,而是直接丢弃和重排 KV cache,把显存预算花在真正关键的上下文上。据称在 4 个 agent 基准上平均成本降低 27.7%。对长程智能体服务的成本控制来说,这是把 KV cache 当作一等公民来调度的一次实践。
Apple’s 20B model 📱, Kimi K3.1 Pro 🧠, Block Dessa 🗣️, frontier training security 🔐
本期速览涵盖几条值得注意的动态:苹果被曝有 20B 规模模型动向,Kimi K3.1 Pro 更新,Block 的 Dessa 语音方向进展,以及前沿模型训练安全议题。对从业者而言,几条线索共同指向同一趋势——模型能力竞争之外,训练安全与大厂自研基座的投入正在同步加码。
Nanbeige Releases Nanbeige4.3-33B, a 33B Open Agentic Coding Model
南北阁发布 Nanbeige4.3-33B,一个 33B 稠密、Apache 2.0 许可、支持 512K 上下文的智能体编码模型,在 Terminal-Bench 2.1 上报告 80.9 分。团队还表示将用它蒸馏教导即将推出的 Nanbeige4.3-3B。对需要可商用长上下文编码模型的团队来说,这是开源权重阵营里一个值得实测的选项。
Scheduled + MiniMax-M3.1-Flash + Perf Gains
Unsloth 本版加入定时任务、FLUX 3 图像编辑支持与一批性能优化,Mac 上延迟明显下降、二进制体积缩小,并支持保存运行预设。同时上线 MiniMax-M3.1-Flash,这是一个 428B 总参、23B 激活的 MoE 模型。对本地微调与推理的用户来说,工具链正在从训练框架向带调度与多模态编辑的工作台演进。
How NVIDIA Mission Control 2.5 Brings Autonomous Recovery to Kubernetes
NVIDIA 发布 Mission Control 2.5,为 Kubernetes 上的大规模训练集群引入自主恢复能力,把故障监测与自动化处置做进平台侧。对动辄上千卡跑预训练的团队而言,慢故障与节点挂起是吞掉算力的主要原因,自动恢复直接换算成有效训练时长和集群韧性。
b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)
llama.cpp 在 SYCL 后端新增 set_tensor_2d,把主机行打包进最大 64 MiB 的分块后批量上传,目标行连续时不再逐行发起拷贝,非连续场景仍走原路径。在两张 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL,llama-perplexity 总耗时从 263-268 秒降到 114-115 秒,并做了全量回读校验确认 2678 万余行无错。对 Intel GPU 上加载大 MoE 模型的用户是实打实的启动提速。
Ollama v0.40.11 在 macOS 上支持语音生成,ollama run 可直接朗读文本或模型回复,应用可通过 OpenAI 兼容的 /v1/audio/speech 接口流式取音频。同时引入 d3 决策模型族(2B/4B/9B/27B),把 vLLM Semantic Router 的分类、判定与概率打分能力带进本地。这让 Ollama 从纯对话运行时向带语音与路由决策的本地 AI 平台延伸。
Hugging Face 发布 Carbon-X,一个 14.8B 的开放 DNA 语言模型,基于 Qwen3-14B 构建,能直接在对话里读原始 DNA 序列并用英文回答,采用 Apache 2.0 许可,在 5 个 DNA 基准上平均 66.7%。它首次把核酸序列与自然语言对齐到同一个对话接口,对做生物信息与 AI for Science 的团队降低了自己搭基座的门槛。
30 个 Agent 背后:花椒如何建设可持续演进的企业 AI 能力?
花椒分享了企业内部落地 30 个 Agent 的实践经验,重点不在单个智能体效果,而在如何构建可持续演进的企业 AI 能力底座。对正在从试点走向规模化的团队来说,这类一线复盘的价值在于揭示组织、平台与迭代机制如何支撑智能体长期演进,而不只是模型选型。
Anthropic officially files for its public debut
Anthropic 正式递交 IPO 申请,披露了高速增长的营收、仍在扩大的亏损、强劲的企业客户采用,以及一套旨在保留创始人控制权与 AI 安全使命的特殊治理结构。这是前沿模型公司首次以公开市场标准接受审视,其财务与治理细节对整个行业的估值逻辑和融资环境都有参照意义。
Meta plans up to $95 billion in stock sales to fund its AI buildout
Meta 计划通过发行新股筹集最多 950 亿美元,用于支撑其 AI 基础设施扩建。以股权融资而非债务来支撑算力投入,反映出超大规模训练与数据中心开支的体量已超出常规现金流节奏,也预示头部厂商的资本竞赛短期内不会降温。
b11907: models : replace ggml_tensor** out-params with output structs (#31142)
llama.cpp 把超连接与 DSA 图构建中通过 ggml_tensor** 出参返回的额外输出(post/comb 门、携带的 top-k 选择、inject 门等)改为用紧邻主输出的小结构体返回。这是一次接口整洁性重构,让图构建的返回值更可读也更不易出错,对跟进 GGUF 新架构支持的开发者是必要的适配。
Android Bench 2 新增对长周期任务、智能评估和连续评分的支持
Android Bench 2 新增对长周期任务、智能评估与连续评分的支持,把移动端智能体评测从单步操作扩展到多步任务与更细粒度的能力刻画。对做手机 GUI 智能体的团队来说,长周期任务与连续评分更贴近真实使用,也更容易暴露中途失败与部分完成的差异。
Jane Street、Hudson River Trading 等高频交易巨头正把算力竞赛搬到自家后院:一边自建数据中心,一边投资芯片初创公司,用资本和基础设施双重下注来换取 AI 时代的低延迟算力优势。对从业者而言,这说明顶级量化机构已从单纯的模型和策略竞争,转向对训练与推理硬件的上游控制,算力供给与成本结构正在成为金融 AI 竞争的核心壁垒。
RynnUnify: Towards Unified Embodied Brain
具身智能长期被拆成视觉规划、物理推理和底层控制几套系统分别做,RynnUnify 用一个 16B 的统一模型把这三件事塞进同一个具身大脑里。它在长程具身任务上取得 SOTA,说明统一建模没有牺牲单项能力,反而让规划与控制共享同一套物理常识表征。对做机器人基础模型和 VLA 的团队来说,这是一个值得对照的统一架构基线。
On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
这篇工作追问的是:没有人工标注、没有外部裁判,模型能否靠自己变强。做法是只给高层话题,让模型自生成问题与推理轨迹,再以 on-policy 方式在这些自产数据上训练,文本与视觉任务通用。它把自训练从依赖海量人工数据的路线里解耦出来,为持续自我改进提供了一条低标注成本的可行路径。
MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
分层多智能体系统通常各层分开训练、靠提示词拼接,端到端信号传不下去。MultiAgent-OPD 用 on-policy 蒸馏加强化学习联合训练整支队伍,并引入冻结教师模型对每个子智能体的局部过程做监督,避免只看最终成败的稀疏奖励。多个数据集上的端到端表现均有提升,为多智能体训练提供了一套可复用的监督信号构造方式。
MMVistaReason: Toward Open-Data and Post-Training Recipes for Multimodal Reasoning
开源多模态推理的数据与后训练配方长期不透明,MMVistaReason 试图把这一层打开:结构化构建训练数据、按难度做蒸馏、再叠加针对性的强化学习。它的价值不只在单项指标,而在于给出了一套可复现的开放配方,让没有大厂数据管线的团队也能照着搭自己的多模态推理后训练流程。
Speculative Diffusion is a Tale of Two Tradeoffs
投机采样一般被当作纯加速手段,这篇论文指出它其实牵动两个可调旋钮:扩散式的草稿投入程度,以及对草稿的接受宽松度。联合调节这两者可以在保持输出质量的同时换取更大加速,把速度与质量之间的帕累托前沿往外推。对做推理服务调优的工程师而言,这意味着投机解码的调参空间比通常认为的更大。
Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
多模态 grounding 的强化学习往往依赖外部裁判模型或人工标注,成本高且难扩展。Generalized CycleGRPO 把区域理解与定位统一成一个循环任务,用图像与视频上的自验证循环一致性作为奖励信号,无需外部评判者。它在提升定位精度的同时改善了视频中的时间区分能力,为 grounding 类 RL 训练省掉了裁判模型这一环。
Judging the Justification: Decision Certificate Supervision for Generative Reward Models
生成式奖励模型给出偏好判断时会附带理由,但这些理由是否真的支撑结论,此前几乎无人检验。DeCert 提出在没有参考解释的前提下评估理由有效性与结论一致性,并将其转化为监督信号来改进奖励模型。这直接关系到 RLHF 里偏好信号的可信度,对做对齐与奖励建模的团队是一个实用的诊断与训练工具。
Reading, Writing, Sharing, and Interacting with the World through Video
视频研究长期分裂为理解与生成两条线,这篇综述用世界模型把它们收拢到同一框架下,围绕推断、合成、共享与交互潜时序状态来组织进展。它的核心主张是把关注点从片段级感知转向持续动态建模,为做视频生成、世界模型和具身模拟的研究者提供了一张统一的概念地图。
HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
开放世界游戏里,纯 API 级智能体绕过了真实的交互界面。HiSTEVE 用分层 VLA 架构把长程规划与原生键鼠控制结合起来,在「我的世界」中完成开放式复杂任务。这项工作把具身智能体的动作空间下沉到人类日常使用的输入设备,对通用计算机操作智能体的研究有直接的参考价值。
RSIHub: A Composable Framework for Agent-Evolution Methods
智能体自我进化方向的方法层出不穷,但各自实现与评测口径互不相通,结果难以比较。RSIHub 用开源框架把这些方法标准化,提供可复用组件与一致的评测环境,支持构建、对比与扩展。对研究者来说,它有望把碎片化的实验变成可积累的工程资产。
Co-adaptive Rule Routing and Constraining for Structured Knowledge Retrieval
结构化知识检索通常需要预先定义查询与推理规则的对应关系,标注负担重且难迁移。CoRE 让推理规则与受约束的证据检索交替地通过强化学习和对比学习联合习得,无需预先给定监督。这让检索系统能在探索中自己发现有用的规则-证据组合,对做 RAG 与知识密集型推理的团队有直接启发。
UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents
智能体评测里,用户往往被简化成一次性指令,长程多轮购物场景的真实交互被忽略。UserArena 构建了贴近真实的长程购物轨迹交互基准与配套评测框架,并提出 On-Policy Trajectory Distillation 提升用户模拟器的保真度。对做推荐与购物智能体的团队而言,它指出了模拟用户失真会如何系统性高估智能体表现。
Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs
全模态大模型的幻觉常源于不同模态先验之间的冲突,比如语言先验压过视觉证据。Omni-Woodpecker 是一个免训练框架,先定位模态冲突,再在隐表示层面重新平衡以压制误导性先验。它不需要微调就能降低跨模态幻觉,对已经在线上跑全模态模型、又不想重训的团队是一个低成本补丁。
Every Weight Is a Path of Shared Discrete Decisions
这篇论文把神经网络的权重重新表述为共享的离散决策路径,让不同压缩方法在同一个表示框架下被统一解释。基于此可以构造出高效的固定权重电路,并对离散选择做优化。它给量化、剪枝、结构化压缩等领域提供了一个更底层的共同语言,也给权重存储与推理硬件的设计打开了新思路。
Dual Exam: Controlled Evaluation of Multimodal Agents and World Models
多模态智能体的评测常把感知、决策与世界模型混在一起打分,成功与否难以归因。Dual Exam 在多个领域对智能体能力和世界模型分别做受控评估,试点结果显示两者表现并不均衡,且不存在耦合的成功关系。这提醒从业者:世界模型做得好,并不自动等于智能体任务能做对,评测必须拆开看。
Kolab: Benchmarking Human-Agent Collaboration in Long-Horizon Workflows
现有智能体基准多用合成任务,难以反映真实工作流中的协作质量。Kolab 收集专业场景的屏幕录制数据构建长程工作流基准,结果显示前沿智能体会高估自己的协作质量,也预测不准专家会采纳哪些贡献。对做办公与生产力智能体的团队来说,这是一份关于自我评估偏差的实证提醒。
Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection
JEPA 类方法为何保留某些看似不可预测的特征,此前缺乏理论刻画。这篇论文提出预测闭合性,指出特征选择取决于特征之间的预测关系而非单个特征的可预测性,因此关系上有用但自身难以预测的特征会被保留。这一集合级视角不仅能解释 JEPA 的行为,还能反过来间接引导表征学习的方向。
FLORA: An Open Model Suite for Scaling Robotics Data Engines
机器人基础模型的瓶颈越来越多地落在数据引擎而非模型本身。FLORA 提供开源的工业级数据引擎,覆盖自动描述生成、结果与过程奖励标注以及预训练数据筛选,主打规模化下的高准确率与低成本。对自建机器人数据管线的团队来说,它把过去各家私有的一整段流水线开放了出来。