每日 AI 速览

2026-09-16

生成于 2026-09-17 04:16
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今天主线集中在实时多模态与人工智能工厂两端:Google「Gemini 3.8 Live」、OpenAI「GPT-6 Astra」和「StepAudio」双报告把语音、音乐、编程与电脑操作推向低延迟基座竞争;NVIDIA围绕「Vera Rubin」、「NVLink 6」、「cuDNN Graph」和「tokens per watt」刷新推理成本叙事;智能体侧则从记忆、工具提示、递归自改进转向可复现压力测试,表格基础模型也连续冲榜。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
vLLM #53945 MERGED

[Bugfix][Spec Decode] Cache the Mamba state at the block-grid position of EAGLE resume

本日更新,目标 main · 09-16 22:09 UTC+8 · @akshaver

该 PR 修复 EAGLE 与 Mamba prefix cache 对齐时的恢复位置问题,在共享前缀提前结束的场景中把 Mamba state 缓存在可到达的 block-grid 位置。它让推测解码恢复路径能命中正确状态,避免回退到旧 block 边界导致的前缀缓存缺陷。

推测解码 控制流优化性能优化服务与推理
TensorRT-LLM #18933 MERGED

[TRTLLM-15758][refactor] Extract encoder runners from model engine

本日合并至 main · 09-16 18:45 UTC+8 · @lori-ren

该 PR 将 encoder 执行从 PyTorchModelEngine 中抽离到独立 encoder runner,并补充 CUDA graph 过滤、生命周期辅助和 runner API 资源输入调整。它降低模型引擎与 encoder 路径的耦合,为 encoder-decoder 推理、graph replay 和模型特化输入提供更清晰的执行边界。

推测解码 控制流优化硬件适配性能优化
SGLang #37134 MERGED

[ROCm] Fix EAGLE spec-decode verify silently sampling greedy on HIP

本日合并至 main · 09-16 09:49 UTC+8 · @xiaobochen-amd

该 PR 修复 ROCm 上 EAGLE spec-decode verify 无条件走 greedy argmax 的问题,将 HIP 路径改接 pure-Triton chain sampler。它让 HIP 推测解码验证阶段重新遵守 temperature 和 top-p 采样配置,改善 AMD 硬件上的服务行为一致性。

推测解码 算子与内核硬件适配服务与推理
vLLM #55055 MERGED

[BugFix][Model Runner V2][Spec Decode] Fix decode instance's multi-layer MTP kv caches during P/D

本日合并至 main · 09-16 08:31 UTC+8 · @TheEpicDolphin

该 PR 修复 P/D 场景下多层 MTP 在 decode 实例中的 KV cache 污染问题,处理 prefill 末段未验证 draft token 残留在后续 MTP 层缓存中的情况。它避免 decode 端继续使用陈旧缓存槽位,有助于维持推测解码接受率和分离式 prefill/decode 流程正确性。

推测解码 控制流优化性能优化服务与推理
vLLM #53781 MERGED

[3/N] HiSparse: host-resident sparse-MLA decode hot-buffering

本日更新,目标 main · 09-16 06:19 UTC+8 · @MatthewBonanni

该 PR 为 HiSparse 引入 host-resident sparse-MLA decode 热缓冲层,在 GPU KV cache 下方按压力将页面溢出到 pinned host memory,并通过 GPU hot buffer 取回 sparse attention 所需位置。它在保留尽量多设备端 KV 的同时扩展稀疏 MLA 解码可承载的缓存容量,面向长上下文推理提供更细粒度的显存管理。

推测解码 控制流优化性能优化服务与推理
LMDeploy #4789 MERGED

Support dflash for qwen3.5

本日合并至 main · 09-16 10:55 UTC+8 · @RunningLeon

该 PR 为 LMDeploy 的 PyTorch 后端和 serving 参数加入 Qwen3.5 的 dflash speculative 配置,包括 draft model、block size 和命令行入口。它让 Qwen3.5 系列可以直接使用 DFlash 推测解码,简化流水线与 API 服务中的部署配置。

推测解码 控制流优化服务与推理
TensorRT-LLM #19168 MERGED

[https://nvbugs/6708111][fix] Load Nemotron-H saved by transformers>=5.13

本日合并至 main · 09-16 06:09 UTC+8 · @aswinvisva

该 PR 增加 transformers 新版本保存的 Nemotron-H checkpoint 兼容逻辑,覆盖配置加载、现代层名到旧层名转换、hybrid pattern 恢复、MTP 加载和 tokenizer fallback。它提升 Nemotron-H 模型在 TensorRT-LLM 推理栈中的 checkpoint 可加载性,减少模型格式演进对服务部署的阻塞。

推测解码 分布式训练服务与推理
llama.cpp #27637 MERGED

opencl: choose the MoE expert matmul by batch size for speculative decoding/MTP

本日合并至 master · 09-16 02:21 UTC+8 · @wanghqc

该 PR 调整 OpenCL 后端 MoE expert matmul 的选择逻辑,不再只按预构建 kernel 可用性选择,而是结合 batch size 区分 speculative decoding/MTP 与常规 prefill 的形状。它让小 batch 推测解码中的 MoE 计算能选到更合适的 kernel,改善 OpenCL 后端在不同推理阶段的硬件适配。

推测解码 算子与内核分布式训练
vLLM #55966 MERGED

[ROCm][Spec Decode] Add Aiter MLA decode support non-causal draft block

本日合并至 main · 09-16 01:18 UTC+8 · @ppalanga

该 PR 为 ROCm 上的 Aiter MLA decode 增加非因果 draft block 支持,将真实 causal mask 传入 MLA decode 路径,并对 Gluon、DCP、fp8 两 token 非因果块设置路由与拒绝条件。它让 AMD 推测解码中的 MLA draft 验证能区分 causal 与 non-causal 语义,提升 ROCm 服务路径的正确性约束。

推测解码 硬件适配服务与推理
vLLM #57140 MERGED

[Perf][GDN] Scatter mixed speculative outputs into the caller buffer

本日合并至 main · 09-16 21:03 UTC+8 · @tripathiarpan20

该 PR 优化 Qwen GDN 混合 speculative 与 non-speculative 输出处理,将两个分区直接 scatter 到调用方 buffer,移除中间 merged tensor 和最终整块拷贝。它减少一次输出大小的分配和一次完整 tensor copy,有助于降低推理路径中的内存流量与调度开销。

推测解码 性能优化
TensorRT-LLM #18738 MERGED

[None][test] Add InferenceX-style GSM8K accuracy eval mode

本日合并至 main · 09-16 16:55 UTC+8 · @zheyuf

该 PR 增加 InferenceX 风格的 GSM8K accuracy eval 模式,补齐 chat template、thinking 和更长输出上限等评测协议,并让 MiniMax-M3 端到端测试使用该模式。它为模型推理准确率验证提供更贴近目标榜单协议的基准入口,便于 benchmarking 团队复现实验设置。

推测解码 性能优化
TensorRT-LLM #17408 MERGED

[None][feat] support draft model MoE backend override

本日合并至 main · 09-16 10:45 UTC+8 · @Barry-Delaney

该 PR 在 speculative config 中加入可选 moe backend,使 neural draft 的 MoE 后端可以独立于 target model 的 moe config.backend 选择,并支持 AUTO、外部 draft、嵌入式 MTP 和 MTP-Eagle 等路径。它让推测解码中的 draft 模型可按自身量化与 checkpoint 特性选择 MoE 后端,避免修改目标模型配置。

推测解码 分布式训练
vLLM #56709 MERGED

[Bugfix][KV Offload] Restore MTP-retained sliding-window history

本日合并至 main · 09-16 13:14 UTC+8 · @jacklin78911-collab

该 PR 修复 native KV offload 在恢复 MTP 保留的 sliding-window 历史块时覆盖范围不一致的问题,将额外保留 token 纳入 lookup、in-flight-load 检查和 producer store 可达性判断。它避免 offload 命中后再因缺失或未写完的历史块触发加载断言,提升 MTP 与滑窗缓存组合下的推理稳定性。

推测解码
SGLang #39547 MERGED

[AMD][bugfix] Fix DSV4 MTP crash

本日合并至 main · 09-16 12:10 UTC+8 · @RolaoDenthu

该 PR 修复 AMD DSV4 开启 MTP 时因 repeat interleave 跳过 D2H sync 导致的 GPU memory access fault,将跳过同步的条件限制在 dspark 路径。它保留 MTP 场景需要的同步行为,避免 ROCm 推测解码服务在特定模型路径上崩溃。

推测解码
Megatron-LM #6746 MERGED

Fix MTP CP-boundary roll to communicate on the context-parallel process group

本日合并至 main · 09-16 11:52 UTC+8 · @liding-nv

该 PR 修复 MTP 在 CP-boundary roll 中使用默认 world process group 通信的问题,改为在 context-parallel process group 上执行 roll tensor 与 packed sequence 的边界交换。它避免多个 CP ring 共享错误 communicator 引发串行化、警告或通信错配,提升上下文并行训练中的 MTP 通信正确性。

推测解码
vLLM #56888 MERGED

[MRV2] Buffer util simplifications

本日合并至 main · 09-16 04:36 UTC+8 · @njhill

该 PR 简化 MRV2 buffer 工具,合并相近的 async copy to GPU 与 async tensor h2d 方法,并调整 CpuGpuBuffer 的 staged 与 pinned transfer 使用。它让更多 H2D 拷贝路径使用 pinned buffer,减少缓冲区工具层重复实现并改善数据搬运路径一致性。

推测解码
SGLang #37810 MERGED

[ROCm][DSV4] Enable breakable CUDA graph prefill

本日合并至 main · 09-16 23:52 UTC+8 · @AMD-yanfeiwang

该 PR 为 ROCm DeepSeek-V4 HIP radix 后端启用 breakable CUDA graph prefill,加入捕获元数据支持,并在 replay 时刷新 attention、unified-KV、indexer、compressor 和 FP4 workspace metadata。它让 HIP 后端可以显式使用 BCG prefill,同时保留内存压力保护和 DP attention 下的 eager 策略边界。

算子与内核 控制流优化硬件适配服务与推理
TensorRT-LLM #18605 MERGED

[None][feat] Support MiniMax-M3 in MegaMoE CuTeDSL

本日合并至 main · 09-16 23:17 UTC+8 · @peihu-nv

该 PR 为 MegaMoE CuTeDSL NVFP4 后端增加 MiniMax-M3 SwigluBias 支持,补充 alpha、beta、clamp 常量、kernel 与 runner cache identity,并更新 fused communication 与 post-feed-forward fusion 处理。它扩展 TensorRT-LLM 的 MoE kernel 对 MiniMax-M3 激活形式的覆盖,提升该模型在 NVFP4 后端的推理可部署性。

算子与内核 控制流优化分布式训练服务与推理
SGLang #39437 MERGED

[CI] Add e2e test for dp-attention local control broadcast

本日合并至 main · 09-16 18:11 UTC+8 · @sshleifer

该 PR 增加 DP attention local control broadcast 的端到端测试,覆盖 tokenizer 向各 DP group leader 发送控制消息以及 leader 在 attn tp group 内广播的路径。它验证 flush cache、pause generation 和 continue generation 能抵达所有 rank,降低分布式服务控制流漏发导致生成不一致或 broadcast 挂起的风险。

算子与内核 硬件适配性能优化服务与推理
SGLang #39763 MERGED

[AMD] Clamp MORI intranode grid GPUs

本日合并至 main · 09-16 17:14 UTC+8 · @inkcherry

该 PR 将 AMD MORI IntraNode 的 block count 限制到当前设备 compute-unit 数量,避免 gfx1250 在 SPX 或 DPX 分区下使用超过可驻留能力的 256-block grid。它防止标准 MoE dispatch kernel 的 grid-wide software barrier 在特定 AMD 拓扑上死锁,提升多形态 GPU 部署适配性。

算子与内核 硬件适配性能优化分布式训练

行业动态 40 条

NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut

NVIDIA 博客 · 09-16 23:00 UTC+8

NVIDIA 宣布 Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中取得领先表现,强调系统性能、基础设施扩展效率和软件持续优化共同决定推理经济性。对 AI Infra 团队来说,这类结果不仅是芯片峰值算力展示,更直接关系到单位机柜 tokens 产出、扩容线性度和推理服务收入模型。

InfraNVIDIAMLPerf推理性能AI芯片

fa4-v4.0.0.beta31

FlashAttention · 09-16 16:21 UTC+8

FlashAttention 发布 fa4-v4.0.0.beta31,重点改进 SM100 上的 Flash MLA、hdim 128 softmax、HD256 变长调度、paged-KV decoder 形状和向量化存储对齐。对推理框架和内核工程师来说,这些更新集中在下一代 NVIDIA 架构上的注意力吞吐、寄存器溢出控制和长上下文解码效率。

推理优化FlashAttentionCUDA内核注意力优化推理加速

Google launches Gemini 3.8 Live to take on OpenAI's GPT-Live-1 at a fraction of the cost

The Decoder · 09-16 02:23 UTC+8

Google DeepMind 推出 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,面向开发者的语音到语音模型在 Artificial Analysis 榜单上领先。报道给出的价格为每小时语音对话 1.38 美元,明显低于 OpenAI 的 GPT-Live-1,意味着生产级语音 Agent 的成本竞争正在加速。

基座Google DeepMind语音模型实时Agent模型定价

Introducing Gemini 3.8 Live and 3.8 Live Extended Thinking

Google DeepMind · 09-16 01:05 UTC+8

Google DeepMind 正式介绍 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking,进一步强化实时语音交互和带思考能力的 Live 模型线。对开发者而言,重点在于把语音对话、工具调用和更复杂推理整合到低延迟接口中,降低构建生产级语音 Agent 的门槛。

基座Gemini语音Agent实时多模态Google DeepMind

OpenAI 发布适用于编程和计算机应用的 GPT-6 Astra

InfoQ 中文 · 09-16 00:52 UTC+8

OpenAI 发布面向编程和计算机使用场景的 GPT-6 Astra,定位集中在代码生成、软件工程和计算机操作能力。对开发者工具链来说,这类模型发布会直接影响 IDE Agent、自动化测试、浏览器操作和端到端任务执行的能力上限。

基座OpenAI代码模型计算机使用Agent

通用能力不打折,空间具身智能断层领先!ZDTaichu5.0-9B国产开源,跻身全球多模态第一梯队

量子位 · 09-16 21:08 UTC+8

ZDTaichu5.0-9B 作为国产开源多模态模型发布,强调在空间具身智能任务上的领先表现,并称九大空间测试中 10B 规模通用模型取得 8 项第一。对国内多模态和机器人方向团队来说,9B 级开源模型若能保持通用能力同时补强空间理解,会降低具身智能研究和部署的算力门槛。

基座国产开源模型多模态具身智能空间理解

Shared Selective Persistent Memory for Agentic LLM Systems

Apple ML · 09-16 08:00 UTC+8

Apple ML 提出面向 Agentic LLM 系统的共享选择性持久记忆,解决多轮工具调用生成代码时每个会话从零开始、历史配置和领域约束无法复用的问题。它不保存完整对话,而是选择性保留配置选择、数据 schema、约束和工具使用模式,避免 token 浪费和无关上下文污染。

AgentAgent记忆代码AgentApple ML上下文工程

Inside NVIDIA’s cuDNN Graph API: Fusion, Autotuning, and Plan Reuse with cuDNN Frontend

MarkTechPost · 09-16 05:37 UTC+8

这篇教程解析 NVIDIA cuDNN Frontend Graph API,覆盖自定义算子融合、autotuning、执行计划复用、FP8 风格 epilogue、注意力、动态形状和 CUDA Graph 捕获。对框架和性能工程师来说,它展示了如何在 PyTorch 抽象之下直接优化深度学习计算,把通用框架调用转化为更可控的高性能执行图。

推理优化cuDNN算子融合性能优化NVIDIA

Google Releases Gemini 3.8 Live and 3.8 Live Extended Thinking for Production Grade Voice Agents

MarkTechPost · 09-16 04:53 UTC+8

Google 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,支持对话不断流时在后台执行工具与 API 调用、处理实时视觉输入,并可在 97 种语言间切换。Extended Thinking 在 Artificial Analysis Speech to Speech Quality Index 得分 82.6,并在 Big Bench Audio 达到 97.7%,API 价格从每百万 token 0.005 美元起。

基座Gemini语音模型工具调用生产级Agent

Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each

NVIDIA 开发者 · 09-16 01:00 UTC+8

NVIDIA 开发者文章用 Nemotron 3.5 Lightning 解释 Dense 与 MoE 模型的取舍,重点说明 30B 参数模型如何每 token 只激活约 3B 参数同时利用更大容量。对模型部署团队来说,关键不是只看总参数量,而是结合活跃参数、吞吐、延迟、显存和专家路由成本判断何时选择 MoE。

推理优化MoE模型架构推理吞吐NVIDIA

How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI Factories

NVIDIA 开发者 · 09-16 00:55 UTC+8

NVIDIA 介绍 NVLink 6 面向 AI 工厂的多层韧性设计,目标是在大规模训练和推理集群中降低单点故障对连续产出的影响。对基础设施团队来说,互连可靠性已经与带宽同等重要,因为大集群中任一 GPU、链路或节点异常都可能放大为作业中断和吞吐损失。

InfraNVLinkAI集群可靠性分布式训练

Optimizing agent system prompts with Amazon Bedrock AgentCore

AWS 机器学习 · 09-16 23:47 UTC+8

「Amazon Bedrock AgentCore」新增系统提示词优化能力,把生产链路中的真实 trace 转成候选配置变更,再通过验证流程决定是否晋升。它的重点是用 reflector engine 分析单智能体和子智能体场景中的失败模式,对做 Agent 线上迭代的人来说,相当于把提示词调参从人工经验推进到可审计的闭环优化。

Agent提示词优化Amazon Bedrock生产观测

b11003

llama.cpp · 09-16 23:31 UTC+8

「llama.cpp」b11003 增加对「HrmTextForCausalLM」也就是「DFM Mimir 1B」的支持,适配其低层和高层两套 Transformer 交替循环处理同一 token 流的结构。更新还处理 fused gqkv 投影到 q、k、v 与独立 sigmoid gate 的转换,对尝试新型层级循环文本模型的本地推理用户很关键。

Infrallama.cpp本地推理模型架构边缘部署

b11002

llama.cpp · 09-16 22:41 UTC+8

「llama.cpp」b11002 主要改进「CUDA」和「HIP」后端的 im2col 访问模式,并同步发布多平台构建。im2col 是卷积与矩阵化计算中的底层热点路径,这类内存访问优化会直接影响 GPU 后端吞吐和实际延迟。

llama.cppCUDAHIP推理优化

Emerald AI, Google and NVIDIA Launch Alliance to Advance Flexible AI Data Centers

NVIDIA 博客 · 09-16 21:00 UTC+8

Emerald AI、Google 与 NVIDIA 发起「AI Energy Management Alliance」,目标是推动数据中心根据电网状态动态调节用电。随着 AI factory 的瓶颈从机房内部扩展到电力系统,弹性负载管理会成为训练和推理规模化成本、可用性与合规性的基础能力。

InfraAI Infra数据中心能源管理NVIDIA

b10999

llama.cpp · 09-16 20:35 UTC+8

「llama.cpp」b10999 调整统一 KV 场景下自动适配的最大上下文长度逻辑。对本地长上下文推理而言,KV cache 的容量估算直接决定能否稳定装载模型和上下文,修正自动 fitting 可以减少误判可用长度带来的运行失败。

推理优化llama.cppKV Cache长上下文本地推理

b10998

llama.cpp · 09-16 19:51 UTC+8

「llama.cpp」b10998 为「qwen4exp」加入 hc ops 支持,继续扩展对 Qwen 实验模型算子形态的覆盖。对跟进阿里 Qwen 新模型和衍生架构的本地部署者来说,底层算子支持通常决定模型能否进入可用推理路径。

推理优化llama.cppQwen算子支持本地推理

Prior Labs Releases TabPFN-3.5: A Tabular Foundation Model That Beats the Winning Otto Kaggle Solution With Default Settings

MarkTechPost · 09-16 14:52 UTC+8

Prior Labs 发布「TabPFN-3.5」,这是一个只用合成数据预训练的表格基础模型,并声称默认设置即可超过 Otto Kaggle 竞赛冠军方案。它延续了表格模型从任务定制特征工程转向预训练基座的趋势,对小样本、低调参成本的结构化数据建模很有吸引力。

基座表格基础模型AutoML合成数据模型发布

清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单

量子位 · 09-16 14:32 UTC+8

稳准智能联合清华大学发布结构化数据基础模型「LimiX-2」,参数规模提升到 400M,并宣称登顶国际评测榜单。结构化数据长期依赖特征工程和任务专用模型,这类模型若能在分类、回归、缺失值和异构表格上稳定泛化,会让企业数据建模流程更接近大模型范式。

基座表格基础模型清华结构化数据模型评测

Nums AI Releases Causilo: A Tabular Foundation Model That Tops TabArena Among Single Models

MarkTechPost · 09-16 12:59 UTC+8

Nums AI 发布「Causilo」,一个面向分类和回归的预训练表格基础模型,提供类似「scikit-learn」的接口,并在「TabArena」单模型 Elo 中领先「Google TabFM」和「LG EXAONE Tabular」。代码采用 Apache-2.0,权重限定非商业研究使用,适合研究者复现实验和企业评估表格基座能力。

基座表格基础模型开源模型TabArena结构化数据

Gemini Live audio

Simon Willison · 09-16 06:47 UTC+8

Google 发布「Gemini 3.8 Live」和「Gemini 3.8 Live Extended Thinking」两款 speech-to-speech 模型,形态上接近「OpenAI GPT-Live」系列。Simon Willison 用文档快速搭建了浏览器语音交互界面,支持选择模型、声音、系统提示词和打断说话,显示实时语音模型正在进入更易集成的开发者工具链。

基座多模态实时语音Gemini开发者工具

v0.34.1

Ollama · 09-16 04:10 UTC+8

「Ollama」v0.34.1 将「MLX safetensors」的 ollama create 流程转为非实验特性,同时要求 GGUF 模型创建继续使用「llama.cpp」工具链做 safetensor 转换和量化。更新还改善 Apple Silicon 上的 MLX 内存处理,使大模型库的 tags 接口从测试中的 3.1 秒冷启动降到 294 毫秒,并弃用 typical_p。

推理优化OllamaMLXApple Silicon本地推理

Bypassing inference bottlenecks: Accelerating complex AI search with Retrieve-for-Train

Google Research · 09-16 04:00 UTC+8

Google Research 介绍「Retrieve-for-Train」,目标是绕过复杂 AI search 在推理阶段的瓶颈,把检索到的搜索过程或中间结构转化为训练信号。它的价值在于把昂贵的在线搜索压力前移到训练阶段,为需要规划、组合推理或算法搜索的模型提供更低延迟的能力迁移路线。

推理优化推理加速训练方法检索增强Google Research

AI Infra Summit: NVIDIA Vera Rubin and DSX Platform Advancements Showcase Energy Efficiencies of Optimizing Tokens Per Watt for AI Factories

NVIDIA 博客 · 09-16 00:55 UTC+8

NVIDIA 在 AI Infra Summit 强调以 tokens per watt 衡量 AI factory 效率,并展示「Vera Rubin」与「DSX Platform」相关进展。基础设施竞争正在从单卡峰值性能转向整机柜、网络、电力和调度的系统效率,对大规模训练和推理平台的成本模型影响更直接。

InfraNVIDIAAI InfraGPU集群能效优化

Optimizing cost and latency with Amazon Bedrock prompt caching

AWS 机器学习 · 09-16 00:18 UTC+8

Amazon Bedrock 推出 prompt caching 实践指南,在重复发送相同上下文时,输入 token 成本最高可降低 90%。文章覆盖消息内容、系统提示词、工具定义、混合 TTL、租户隔离和 LangChain 集成,对 RAG、Agent 与长上下文应用的成本和延迟优化很实用。

Amazon BedrockPrompt Caching成本优化推理优化

Build an AI-powered product tagging system with Amazon SageMaker serverless model customization

AWS 机器学习 · 09-16 00:11 UTC+8

AWS 展示用「Amazon SageMaker」serverless model customization 构建商品打标系统,对「Qwen3-8B」进行 SFT 和 RLVR,再以异步推理部署。这个案例把可验证奖励引入企业分类任务,适合需要从人工规则和人工标注迁移到可扩展自动打标流程的团队参考。

后训练SageMakerQwenRLVR企业应用

Your Agent Aced the Task. Will It Do It Again?

HuggingFace 博客 · 09-16 00:00 UTC+8

Hugging Face 讨论 Agent 完成一次任务后能否稳定复现的问题,核心关注从单次通过率转向可重复性和鲁棒评估。对生产 Agent 来说,偶发成功的 demo 价值有限,真正需要的是跨环境、跨扰动、跨重试仍能保持工具调用和计划稳定的评测方法。

AgentAgent评测可靠性Hugging Face工具调用

viable/strict/1789588240: Move the miopen_batch_norm decomposition to the core table (#197160)

PyTorch · 09-16 23:54 UTC+8

PyTorch 将「miopen_batch_norm」分解迁移到 core table,解决 ROCm 上 DTensor 对 sharded 4D 输入执行 batch_norm 时缺少 sharding strategy 的问题。此前该分解只在 Inductor 内部可用,迁移后 DTensor 等其他路径也能复用,提升 AMD GPU 分布式训练栈的一致性。

InfraPyTorchROCmDTensor分布式训练

b11001

llama.cpp · 09-16 22:05 UTC+8

「llama.cpp」b11001 修复 SpacemiT 后端 int16 转置错误,原实现误调用 int32 转置函数,导致 4x4 int16 矩阵中 16 个位置有 14 个被破坏。这个修复看似底层,但对 RISC-V 向量后端的数值正确性至关重要,避免量化或中间张量在转置环节被静默污染。

Infrallama.cppRISC-V数值正确性边缘推理

Windows ARM64 Binaries

Unsloth · 09-16 21:38 UTC+8

Unsloth 发布 Windows ARM64 binaries,并修正 Studio 多 GPU 启动时会把用户指定的 GPU 顺序重新排序的问题。CUDA_VISIBLE_DEVICES 的数字 mask 不只表示成员,还携带枚举顺序,这个修复能避免多卡部署中设备绑定被静默反转。

InfraUnslothWindows ARM64多GPU部署工具

b11000

llama.cpp · 09-16 21:10 UTC+8

「llama.cpp」b11000 修复 RPC 后端缓存计算图在引用 buffer 被释放后仍被复用的问题。旧逻辑可能让 GRAPH_RECOMPUTE 通过悬空指针执行,形成 use-after-free 风险;修复后缓存图会在相关 buffer 释放时失效,提升远程推理后端稳定性。

推理优化llama.cppRPC推理内存安全推理稳定性

[AINews] Jev: a “System One Model” that only decides/classifies/routes/scores — >100x faster, >200x cheaper than small frontier LLMs

Latent Space · 09-16 19:09 UTC+8

Latent Space 提到 TypeSafe 的「Jev」,定位为只做决策、分类、路由和打分的 System One Model,宣称相比小型前沿 LLM 快 100 倍以上、便宜 200 倍以上。它代表一种实用路线:把高频低复杂度判断从通用大模型中拆出来,用专用小模型降低 Agent 和工作流的调用成本。

推理优化模型路由小模型Agent Infra成本优化

proto-v0.2.0: vllm-proto 0.2.0

vLLM · 09-16 16:32 UTC+8

「vLLM」发布「vllm-proto 0.2.0」,并通过指定 PR 的 CI 验证。虽然信息量有限,但 proto 包版本更新通常意味着接口协议、生成服务或客户端集成层在演进,值得依赖 vLLM 生态的团队关注兼容性。

InfravLLMServing协议接口开源框架

B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首

量子位 · 09-16 14:23 UTC+8

B站上线「AI无限竞技场」,首期公布全球百大 AI 模型测评榜单,并显示 GPT-6 位居榜首。面向大众和开发者的开放竞技场会放大模型横向对比的影响力,但从业者仍需要关注评测任务、投票机制和样本分布,避免只看总榜名次。

基座模型评测大模型榜单B站模型能力

Glyph: A Multi-Strategy Agentic System for Column Description and Sensitivity-Ontology Tagging of Enterprise Data Catalogs

Apple ML · 09-16 08:00 UTC+8

Apple 介绍「Glyph」,一个用于企业数据目录的多策略 Agent 系统,把列描述生成和敏感性本体标签标注建模为状态图编排的协作 LLM agents。它面向数据湖中文档缺失、治理标签不全的问题,直接服务数据发现、访问控制和合规审计,体现 Agent 在企业数据治理中的落地形态。

Agent数据治理企业数据湖Apple ML

‘Now We Can Know Everything and Do Anything,’ Jensen Huang Says at Dreamforce

NVIDIA 博客 · 09-16 06:24 UTC+8

Jensen Huang 在 Salesforce Dreamforce 上强调 AI 时代的企业愿景,并配合 Salesforce 发布首个 CRM reasoning model「Koa」,该模型基于「NVIDIA Nemotron 3 Super」构建。对企业 AI 来说,这表明垂直业务系统正把推理模型嵌入 CRM 等核心工作流,而不只是提供通用聊天入口。

厂商动态NVIDIASalesforce推理模型企业AI

v0.34.2

Ollama · 09-16 05:21 UTC+8

「Ollama」v0.34.2 主要同步「llama.cpp」更新,是一次偏维护性质的版本迭代。对本地推理用户而言,这类小版本通常意味着模型兼容性、底层算子或运行稳定性跟随上游快速刷新。

InfraOllamallama.cpp本地推理版本更新

Agent开始调用基础设施,Kubernetes准备好了吗?

InfoQ 中文 · 09-16 04:38 UTC+8

InfoQ 关注 Agent 开始直接调用基础设施后,Kubernetes 是否已经准备好承接这类自动化控制。这个问题对平台团队很现实:当 Agent 能创建资源、排查故障和修改配置时,权限边界、审计、策略约束和回滚机制会变成 AI Infra 的核心安全面。

AgentKubernetesAI Infra云原生

Meta now lets AI agents handle the boring parts of WhatsApp Business setup

TechCrunch · AI · 09-16 04:12 UTC+8

Meta 为 WhatsApp Business 推出 MCP server,让 Claude、Cursor、Codex、ChatGPT 等 AI coding agents 能处理设置、消息模板、测试和故障排查。它把业务通信平台的配置流程开放给 Agent 工具链,说明 MCP 正在从开发者本地工具扩展到 SaaS 业务系统自动化。

AgentMCPMetaWhatsApp BusinessAgent工具

论文 20 篇

今日论文看点是递归自改进、长期多智能体压力测试、跨模态自回归世界模型与流式物理视频生成同时升温。

StepAudio 3 Realtime Technical Report

HF 精选 · 09-16 08:00 UTC+8

「StepAudio 3 Realtime」面向实时语音交互中推理深度、响应延迟和自然轮次切换难以兼顾的问题。模型把交互组织成持续的听、说、思考、行动循环,用深度感知捕获语音中的意图、情绪和声学线索,并用无缝双工建模停顿、插话和反馈音。关键价值在于通过边说边想缓解深度推理与低延迟之间的冲突,让语音 Agent 更接近自然对话而不是轮流读稿。

基座语音大模型实时交互多模态基座低延迟推理

StepAudio 3 Music Technical Report

HF 精选 · 09-16 08:00 UTC+8

「StepAudio 3 Music」针对长音乐生成中结构规划弱、开放域文本控制难和音频离散表示损失音乐信息的问题。它用 50Hz、65536 单码本的 StepAudio Music Tokenizer 表示音频,并结合语义自监督与多任务训练保留曲式结构和重建细节,再由流匹配 DiT 预测连续 VAE 潜变量。对从业者的意义在于把可解释的音乐规划、文本控制和高保真长音频生成放进同一套大模型式管线。

基座音乐生成音频模型DiT多模态生成

ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents

HF 精选 · 09-16 08:00 UTC+8

「ScienceBuddy」把科学 Agent 放进交互式研究工作台,解决科研助理只能一次性执行任务、难以从研究者反馈和执行证据中持续进化的问题。它的递归中的递归自我改进同时优化 Agent harness 与模型策略,把用户请求、反馈和工具执行痕迹转化为新任务与评价 rubrics。价值在于让科研 Agent 的日常使用本身变成训练数据和评测闭环,更适合长期嵌入真实科研流程。

Agent科研智能体递归自我改进Agent评测持续学习

ModularRSI: Modular and Generalizable Recursive Harness Self-Improvement

HF 精选 · 09-16 08:00 UTC+8

「ModularRSI」关注 Agent harness 的递归自我改进为何容易过拟合评测集、难以沉淀可迁移执行机制。论文把 harness 改进拆成模块化组件,并通过跨任务、多轨迹证据区分系统性缺陷和个例噪声,减少单条轨迹更新带来的偶然性。它对长程编码和终端 Agent 很实用,因为优化目标从刷 benchmark 转向提炼可复用的执行、观察、恢复与工具调用策略。

AgentAgent框架递归自我改进长程任务泛化评测

ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals

HF 精选 · 09-16 08:00 UTC+8

「ImpossibleRubrics」针对用大模型生成 rubrics 作为 RL 奖励、自动评分或 Judge 时的一个硬伤:奖励标准可能被专门优化的答案钻空子。论文把压力测试放在不可能任务上,此时诚实答案应承认无法支持结论,而攻击性答案会迎合题设并利用 rubric 漏洞。它提醒从业者,rubric 可靠性不能只看正常样本一致性,还要看在奖励黑客和不实结论诱导下是否仍奖励诚实拒答。

后训练奖励模型LLM评测对齐安全Rubric

Emergence World: Adversarial Stress-Testing of Long-Horizon Multi-Agent Systems

HF 精选 · 09-16 08:00 UTC+8

「Emergence World」指出长期运行的多智能体系统会让故障经由记忆、工具、其他 Agent 和环境状态持续传播,单轮回复评测不足以覆盖这种风险。它构建连续运行的对抗压力测试环境,从相同初始条件启动多个世界,观察微小扰动如何在长时程交互中放大成系统性偏差。该工作把 Agent 安全评测从静态问答推进到持久部署场景,对多 Agent 产品的红队测试和运行监控更有参考价值。

Agent多智能体Agent安全长程评测红队测试

Drift-Constrained Optimization: Only Direction Matters in Fine-Tuning Instruct Models

HF 精选 · 09-16 08:00 UTC+8

「Drift-Constrained Optimization」把指令模型微调中的能力漂移显式建模为预算约束,而不是训练后的副作用。论文在参考模型附近建立行为漂移几何,认为在给定漂移边界内,优化方向比步长或绝对损失更关键。它为企业微调提供了更可控的取舍方式:在提升目标任务表现的同时,预先限制通用能力和安全行为偏离。

后训练模型微调行为漂移对齐优化指令模型

Continual Learning Mechanisms Compose for Long-Horizon Memorization

HF 精选 · 09-16 08:00 UTC+8

这篇工作讨论语言模型长时程记忆中的持续学习难题,即新知识写入后容易遗忘、混淆或破坏旧能力。论文把数据锚、函数锚、权重锚与合并低秩更新组合起来,让不同机制分别约束训练样本、模型行为和参数变化。结果表明,多种持续学习机制可以互补组合,显著提升长周期记忆保持能力,对个人化模型和长期 Agent 记忆很有启发。

训练持续学习长期记忆LoRA模型个性化

HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness

HF 精选 · 09-16 08:00 UTC+8

「HarnessVLN」面向具身导航中零样本泛化差、MLLM 动作建议与空间证据不一致的问题。它不训练新模型,而是用 Agent Harness 协调视觉观察、空间记忆、任务进度和失败恢复,让多模态大模型的决策被环境证据持续校正。价值在于把导航能力更多交给可调试的执行框架和状态管理,降低对特定场景训练数据的依赖。

Agent具身智能视觉语言导航训练免方法Agent Harness

FLAT: Resampling Image and Text into 1D Flexible-Length Aligned Transmodal Tokens for Retrieval and Generation

MetaHF 精选 · 09-16 08:00 UTC+8

「FLAT」针对多模态系统中表征学习与生成模型分离的问题,指出冻结视觉 embedding 会成为后续生成能力的瓶颈。它把图像和文本重采样为一维、可变长度、对齐的跨模态 token,并强调这些 embedding 可线性插值且能直接被生成解码器消费。该思路把检索、表示学习和生成更紧地接起来,有望减少多模态管线中的编码器与生成器错配。

基座多模态表征跨模态检索生成模型Token化

Modality-Autoregressive World-Action Models

HF 精选 · 09-16 08:00 UTC+8

「ModAR」研究世界动作模型不应只预测未来 RGB 图像,因为深度、视觉特征和点轨迹更直接承载几何、语义和运动信息。论文提出模态自回归方案,在预测动作前逐步去噪多种未来模态,让每种模态的预测依赖已经生成的结构信息。它为机器人和具身 Agent 提供了更信息密集的未来建模方式,有机会提升长程动作规划的稳定性。

基座世界模型具身智能多模态预测机器人

Mind2Dialogue: Training Human-Aware Language Models by Simulating User Mental States

HF 精选 · 09-16 08:00 UTC+8

「Mind2Dialogue」关注长期协作型语言模型缺少用户隐性信念、目标和偏好的监督数据这一根本缺口。论文通过模拟用户心理状态生成训练信号,使模型在回应时显式考虑未说出口的背景约束,而不是只拟合表层对话。它的价值在于推动助手从被动答题走向人类感知协作,尤其适合学习辅导、决策支持和长期陪伴型 Agent。

后训练人类感知模型对话训练用户建模Agent协作

Disentangling Representation Evolution in Transformers through Directional Decomposition

EMNLP 2026CCF-B推荐字节 SeedHF 精选 · 09-16 08:00 UTC+8

这篇论文把 Transformer 表征演化拆成平行于当前隐藏状态的分量和垂直改向的分量,用函数几何观察模型层内更新到底是在强化既有方向还是改变语义方向。研究发现,除残差恒等路径外,预训练模型中仍存在大量平行更新,并进一步分析注意力、MLP 更新以及 value 聚合中的方向作用。它为解释 Transformer 内部计算提供了更细粒度工具,也可能帮助定位哪些层负责保持信息、哪些层负责重定向推理。

基座模型可解释性Transformer表征分析基础模型

Convergent Emergence of In-Context Learning Across Modalities

HF 精选 · 09-16 08:00 UTC+8

「Convergent Emergence of In-Context Learning Across Modalities」研究少样本上下文学习是否只属于文本大模型,还是会在不同自回归模态中收敛出现。论文把语言和基因组等序列域放进可控对比框架,分析模型如何从提示中的输入输出样例抽象规则并迁移到新输入。它的意义在于把 ICL 从语言现象提升为跨模态序列建模能力,为理解基座模型涌现机制提供更通用证据。

基座上下文学习涌现能力跨模态基础模型

PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control

HF 精选 · 09-16 08:00 UTC+8

「PhysStream」面向可控视频生成从粗粒度文本提示走向物理级交互控制的需求。它采用自回归的图像到视频生成方式,引入结构化场景记忆和细粒度运动控制,使生成过程不必预先拿到完整控制日程,也不只是用像素坐标硬指定物体位置。对交互式视频、仿真和具身数据生成来说,这类物理语义控制比纯视觉控制更接近可编辑动态世界。

基座视频生成物理控制世界模型多模态生成

Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration

HF 精选 · 09-16 08:00 UTC+8

「Decoy Direction Optimization」针对开源权重模型容易被拒答特征消融绕过的问题,这类攻击会从残差流中投影掉线性拒答方向并显著提高攻击成功率。论文提出一种快速后处理权重编辑防御,通过构造诱饵方向干扰攻击者定位真实安全方向,避免每个 checkpoint 都重新做昂贵安全微调。它对开源模型发布很实际,因为防御可以作为部署前补丁加入,同时尽量保留原有能力。

后训练模型安全开源模型权重编辑拒答防御

Training Specialist Models without Reasoning Trajectories for Domain Expert Distillation

HF 精选 · 09-16 08:00 UTC+8

这篇工作研究没有显式推理轨迹时如何训练领域专家学生模型,核心现象是蒸馏过程会隐式选择某些潜在推理路径。不同潜在路径会改变学生模型在专业任务强化和跨域泛化之间的取舍,因此只看最终答案监督会掩盖训练信号的真实偏置。它提醒做专家模型蒸馏时,缺少 reasoning trace 并不等于没有推理监督,而是监督被隐藏在数据分布和优化动态里。

训练模型蒸馏专家模型推理训练领域微调

The Router Within: Eliciting Native Skill Routing from a Frozen LLM

HF 精选 · 09-16 08:00 UTC+8

「The Router Within」提出 Gavel,从冻结大模型的隐藏状态中提取原生技能路由信号,用轻量线性投影选择工具。它避免为每次工具选择额外检索大量上下文,也减少外部路由器带来的延迟和上下文污染。对 Agent 系统来说,这说明模型内部已经编码了相当多任务技能边界,可以用更小代价转化为工具调用决策。

Agent工具调用Agent路由冻结模型隐藏状态

Generalized Agent Iteration: One Formal Framework for Iterative Policy Improvement and Recursive Self-Improvement

HF 精选 · 09-16 08:00 UTC+8

「Generalized Agent Iteration」试图把迭代式策略改进和递归自我改进放进同一个形式框架中。它定义外部改进、内部改进、评价标准等关键轴线,用来区分普通训练闭环、Agent 自我修改和 harness 进化等机制。价值在于给快速扩张的 Agent 自改进研究提供共同语言,方便比较不同方法的假设、边界和安全风险。

AgentAgent理论递归自我改进策略改进评测框架

OmniHarness: Harnessing Generalizable Visual Generation via Symbolic Policy Learning

HF 精选 · 09-16 08:00 UTC+8

「OmniHarness」针对视觉生成 Agent 经验难泛化、反思常在任务结束后才发生、知识获取依赖下游需求的问题。它用符号策略学习组织通用视觉生成流程,让系统在执行中持续反思,并把可迁移的生成策略沉淀为 harness 能力。对多模态创作系统而言,这意味着能力提升不只来自更强底模,也来自可复用的规划、校验和修正策略。

Agent视觉生成多模态Agent符号策略Agent Harness