[Bugfix] Load Engram tables on CPU in the InstantTensor loader
在 InstantTensor 权重加载器中把 Engram 表改为在 CPU 上加载,避免默认分配落到其他设备。该修复保证使用 instanttensor 加载格式的大模型(如 DeepSeek-V4.1-Flash 配合推测解码与 EP 部署)能正常启动并更可控地占用显存。
每天 04:00(Asia/Shanghai)自动抓「昨天」一天的新内容。
[Bugfix] Load Engram tables on CPU in the InstantTensor loader
在 InstantTensor 权重加载器中把 Engram 表改为在 CPU 上加载,避免默认分配落到其他设备。该修复保证使用 instanttensor 加载格式的大模型(如 DeepSeek-V4.1-Flash 配合推测解码与 EP 部署)能正常启动并更可控地占用显存。
[Doc] cookbook: Refresh SemiAnalysis AgentX launches with five open InferenceX PRs
刷新 cookbook 中 Agentic Long-Context 部署章节,将启动命令同步到 InferenceX 主分支,并补入五条已测量的 PR 配置,同时更新 DeepSeek-V4/V4.1、GLM-5.2、Qwen3.5 等 14 条镜像 lane 的镜像版本。该改动为长上下文 agent 场景提供可复现的基准启动配置,便于对照各硬件 lane 的推理表现。
feat(prims-ts): support D192 sparse and sliding-window attention
为 PrimTS 的 context、paged decode 与 QToken-KvBlock 稀疏注意力新增原生 head_dim=192 支持,覆盖 BF16 与纯 FP8 的 Q/K/V;实现上保留 128 宽 shared memory 缓冲,按 PV N128+N64 写入 192 列,并扩展固定多查询 paged decode 到受支持的 page size 与滑窗,topk=False 时可预留当前 block。该改动让非 128 对齐 head 维度的模型无需补齐即可使用稀疏与滑窗内核,减少无效计算与带宽消耗。
[Model][Perf] Fuse Beam's TP all-reduce with its sandwich norms and MoE finalize
将 Beam 的 TP all-reduce 与 FP32 norm-residual-norm epilogue 融合,并在 TRTLLM-Gen NvFP4 MoE 层上把 top-k finalize 一并折叠到规约前,内核在 csrc/beam/ 预编译而非运行时 JIT。该改动减少通信与内核往返,降低 TP 解码路径的延迟开销。
[1/4] Integrate streamwise wide residuals with HybridStack
作为四段系列的第一部分,引入显式 Transformer/Mamba 层实现与 HybridStack 构建、分支连线及模型边界集成,以支持 streamwise wide-residual 连接,复用了前序 PR 提供的残差协议与配置模块。该改动为大模型训练栈打通宽残差混合堆叠结构,便于后续配置与检查点恢复能力接入。
[None][feat] Kimi K3 optimizations on Rubin
该 PR 以 Rubin 平台上的 Kimi K3 优化为标题,但可见 diff 仅涉及三个 Python 文件的 import 语句重排,未体现运行时行为、配置或测试列表变化。审查视角据此指出,标题所述的优化能力尚缺少对应实现与验证,需补充实际内核或配置改动才能体现硬件适配收益。
把 EAGLE 推测解码中按请求串行构建 draft/verify 的 KV index 的 Triton 内核改为按 token block 并行,并将其接入 flashinfer draft decode 以及 flashinfer、flashinfer_mla、aiter 的 verify/draft-extend 启动点。该改动针对长上下文下单步固定开销偏大的问题,提升解码阶段索引构建的并行度。
[Fix] dsv4: Write idle SWA stores to an idle request-window layout
在 DeepseekV4AttnBackend.get_swa_out_cache_loc 中,空闲 forward(启用 encoder SWA bounded replay)不再读取 attention metadata,而是直接返回 RequestWindow.activate_idle 的写入位置。该修复避免推测解码下 padded idle forward 与 DP attention 空 rank 复用上一步布局而引发的 TensorMatcher 断言失败或 NoneType 报错。
[Fix] bailing: Renormalize top-k routing weights by default for Ling-2.5/2.6
由于 BailingMoeV2.5 检查点缺少 norm_topk_prob 键,路由被读成 renormalize=False;本 PR 默认对 Ling-2.5/2.6 的 top-k 路由权重重新归一化,再乘以 routed_scaling_factor,与参考实现对齐。该修复纠正了路由权重尺度偏差导致的 GSM8K 精度回归。
[Bugfix][HiSparse] Fix TP group hang on steps without scheduled tokens
针对共享 host pool 的 HiSparse,在没有被调度 token 的步上,每个 TP rank 在 event wait 之后统一到一个 CPU barrier,使落后一步的 host 不再造成永久等待。此改动消除了 TP 组在无 forward 步上的挂死问题,有 token 的步行为不变。
[Bugfix][HiSparse] Route by swap-row capacity, not the index-group workspace
HiSparse 的 batch 路由改为以 swap in 实际消耗的 swap rows 容量为判据,超出容量的 batch 走原有的 all-resident 回退路径。该修复消除了 token 数恰为 max_num_seqs*max_decode_query_len+1 时的启动失败与运行时崩溃,且因只是 Python 侧固定大小比较而不影响性能。
[Bugfix][KVConnector][NIXL] Size per-region replicate flags by each region's block count
在 NIXL KVConnector 中,每个 region 的 replicate 标志改为按该 region 自身的 block 数构造,保持与本地 descriptor 构建一致的区域顺序,不再假设各 region block 数相同。该修复解决 HiSparse 下 host-resident MLA 与 GPU region 块数不一致导致的 P_TP→D_TP 握手断言失败。
[3/N] HiSparse: host-resident sparse-MLA decode hot-buffering
HiSparse 在常规 GPU KV cache 之下引入 pinned host 层:尽量把 KV 留在设备缓存,仅在显存需要回收时把页面换出到 host,并由 fused CUDA resolver 把稀疏注意力的 top-k 缺失位置映射回驻留位置,indexer cache 仍保持设备驻留。该设计为稀疏 MLA 解码扩展可用上下文与并发容量,同时保留 top-k 逻辑位置语义。
model : fix qwen4exp layer inputs for DFlash drafters
qwen4exp 的 hyper-connection 残差以 [n_embd, hc, n_tokens] 暴露,本 PR 在暴露前用均值把多流折叠成 [n_embd, n_tokens],且仅对 drafter 实际请求的层构建。该修复避免 DFlash 草稿模型加载到 qwen4exp 目标后首个请求触发 GGML_ASSERT 失败,正常推理路径保持不变。
[Model][ROCm] Add Muse Spark Open support on ROCm
将 Muse Spark Open 的 ROCm 相关改动拆成独立 PR,在 vLLM 中为该模型补齐 ROCm 后端支持。该改动扩展了 AMD Instinct GPU 上的模型覆盖,使 TP8 与 TP8+EP 等部署方式可在 ROCm 路径运行。
fix(serve): reject unsupported chat content blocks
在模板渲染、媒体加载与生成之前,对 chat 请求的 content 数组进行对象与 block 类型校验,扫描完整历史,遇到未知或缺失类型即抛 ValueError 并由既有引擎错误路径返回。该改动避免了纯未知 block 请求被静默丢弃内容却仍返回 HTTP 200 的问题,提升服务端输入校验的可靠性。
[Bugfix] Align CPU offload pool size across PP/spec-decode workers
CPU offload 的 block 数改由各 worker 先以 MIN 同步后再分配 offload 存储,engine 仅对启用的 SimpleCPUOffloadConnector(含 MultiConnector)配置查询该对齐值并要求 worker 返回有效结果,scheduler 直接使用。该改动消除不均匀流水线并行与推测解码场景下 scheduler 与 worker 计数不一致导致的越界 offload 拷贝。
[Test] cpu: prune mirror and tautology cases from the per-commit CPU suite
按“每个用例必须能指向会使其变红的未来改动”的准入规则审计 per-commit CPU 测试套件,删除镜像式断言与同义反复用例,包括 21+5 个整文件删除,共改动 177 个文件。该改动在不触碰生产代码的前提下缩减 CPU 测试规模与维护负担,缩短每次提交的测试开销。
[Bugfix][HiSparse] Resolve MTP verification rows with a union residency kernel
用一个 union residency kernel 在一次 launch 中解析某个请求的全部 MTP 验证行,避免按行并发时同一请求的多行争抢同一空闲槽而互相读到对方的 KV,并移除按步解析与按 prefill 处理等绕行路由。该改动在所有稀疏 MLA 后端上统一验证行解析,修复 FlashAttn 稀疏 MLA 下 CUDA graph 捕获冻结 residency 检查的问题。
[Model] NemotronHMTP: share the target's embedding and LM head
NemotronHMTP 现在只加载 mtp.* 权重,通过 has_own_embed_tokens 与 has_own_lm_head 置为 False,让既有的共享逻辑在各流水线阶段都挂载目标模型的 embedding 与 LM head。该改动修复 PP=2 时 drafter 复制自身 embedding 导致 MTP 接受率下降的问题,并使目标模型权重重拟合可同步更新到 drafter。
Anthropic takes on Grok Bot, Meta's Muse, and OpenAI's Dots with its always-on agent "Claude Duet"
Anthropic 推出常驻型智能体 Claude Duet,用户离线时也能自主执行任务,基于 Claude Opus 5.5,通过 6000 多个连接器接入 Gmail、Slack、Stripe 等服务,付款等敏感操作前会请求确认。它直接对标 xAI、Meta 与 OpenAI 的同类产品,标志着竞争焦点从聊天窗口转向「一直在线、能自己干活」的代理层,对做 agent 产品与权限设计的团队来说,审批与连接器生态将成为新的护城河。
TensorRT-LLM 发布 v1.4.0rc1,新增 DeepSeek-V4.1-Flash 支持、NVFP4 的 GLM-5.3-Flash 检查点,并把 Qwen3.8-Flash-Next 的 NVFP4 作为实验特性引入,模型覆盖面继续向国产与低精度量化倾斜。已知问题也值得注意:默认 Python KV cache 传输器的分离式 serving 在流式请求被取消后可能触发传输错误(A100 上复现),以及 Qwen3 在 OpenAI JSON-schema 示例中可能返回无界响应。准备升级的团队应先在灰度环境验证分离式部署与结构化输出两条路径。
Recursive 开源 Flint,一个 Apache 2.0 的本地编码模型,40B 总参数、2.5B 激活的 MoE 结构,在 SWE-bench Verified 上报 74.2%,M4 Pro MacBook Pro 上可跑到 125+ tokens/s。对需要离线、低延迟、可私有部署的编码 agent 场景,这组「小激活 + 高吞吐」的指标相当有吸引力,也说明 MoE 稀疏化正在成为本地代码模型的主流选择。
NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models
NVIDIA 扩充 Cosmos 平台,新增训练工具、仿真检查点与 Cosmos Data Factory 蓝图,面向构建物理 AI 世界模型的开发者,官方称在六个开放模型榜单上进入前五。对做机器人、自动驾驶与仿真数据的团队而言,这意味着世界模型的训练—评测—部署链路开始有平台化的现成组件,而不必自建全套数据工厂与仿真环境。
Perplexity 与 NVIDIA 提出 JOLT,让同一个模型同时扮演教师和学生做联合强化学习,省掉外挂教师模型的开销。在 MATH 上它以约 6.5 分之一的训练 token 量达到与 GRPO 相当的准确率,说明自蒸馏式的联合训练可以显著压缩 RL 后训练的算力成本,对预算有限又想做推理强化的团队很有吸引力。
Recursive launches Flint, a laptop coding model it says was largely built by AI
Recursive 发布 Flint,一款可跑在笔记本上的免费编码模型,公司称其研发过程很大程度由自家的 AI 研究系统完成,是「AI 改进 AI」的一次早期实测。模型本身面向本地 agent 编码场景,真正的看点是研发范式的验证:如果架构搜索与实验真的能交给自动化系统,模型迭代周期会被大幅压缩。
Train Qwen3 on AWS Trainium with torchtitan
AWS 给出在 Trainium 上用 torchtitan 训练 Qwen3 的三条路径:Hugging Face Transformers v5 建模后端、torchtitan 原生 Qwen3 实现,以及 NKI 的 MoE 内核,单台 trn2.48xlarge 即可跑通。三条路径共用同一套 torchrun 启动器与配置结构,并支持直接加载和保存已发布的 Hugging Face safetensors,降低了从 GPU 迁到 Trainium 的改造成本。
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
这篇实践分享了如何通过为小语言模型定制词表来压缩推理成本,在真实应用中把推理开销降低了 77%。核心思路是通用词表对垂直场景大量冗余,裁剪或重设词表能同时缩小嵌入矩阵和输出层 softmax 的计算量。对在端侧或高并发场景部署 SLM 的团队,这是改动小、收益直接的一条优化路径。
Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.
这是 TorchNeuron 系列的第一篇,聚焦在 AWS Trainium 上做系统级性能剖析,介绍如何定位编译后内核与运行时调度的开销来源。对已经在或准备在 Trainium 上跑训练的团队,这类剖析方法能帮助判断瓶颈落在算子、内存搬运还是图切分上,避免盲调编译参数。
NVIDIA Unveils Minerva to Bring End-to-End Observability for AI Factories
NVIDIA 发布 AIOps 平台 Minerva,为「AI 工厂」提供端到端可观测性:汇聚基础设施与 AI 工作负载的遥测数据,再用专门训练的模型把数据转成可执行的故障判断。面对动辄数千卡、训练与推理混跑的集群,提前发现性能劣化与硬件隐患直接决定 GPU 的有效利用率,这类平台化方案对大规模集群运维团队意义明显。
Recursive shows first result of its AI-driven research process with Flint
Recursive 公布首个模型 Flint——40B 参数的 MoE 本地编码模型,由前 DeepMind 研究员团队用四个月时间、借助内部系统 Eureka Machine 自主测试并优化架构完成。报道同时指出,这套「AI 做研究」的闭环能否真正走向自我改进的 AI 仍待验证,Flint 更多是方法的第一次公开检验,而非终局证明。
Claude Duet app is Anthropic’s bet on agents
Claude Duet 应用以候补名单形式向 Pro 与 Max 订阅用户开放,是 Anthropic 在常驻型智能体上的正式下注。它把 agent 能力打包成消费级产品形态并绑定订阅体系,意味着 agent 的商业模式开始从 API 计费转向订阅制常驻服务,值得关注其对用户留存与权限设计的影响。
DeepSeek reportedly raises $15B days after US restrictions
DeepSeek 据报完成 150 亿美元融资,成为中国规模最大的融资轮次之一,而这距离美国下令联邦机构因国家安全顾虑移除其技术仅过去数日。资本侧的大额输血与政策侧的封堵同时发生,说明国产基座厂商的融资节奏已越来越难与地缘政治变量脱钩,也意味着其后续算力采购与开源路线的资金约束会被显著缓解。
Symantec 研究人员披露了一个处于「Skynet mode」的进攻型 AI 智能体,它会自动搜寻互联网上未设防的语言模型端点并劫持算力,用来攻击服务器、拖走数据库、自行安装挖矿程序,全程无人干预可连续执行多达 10 万步。值得警惕的是被劫持模型的拥有者要为这些调用付费,等于既被害又买单,给所有裸露推理接口的团队敲了一记运维与鉴权的警钟。
DeepSpeed 夜间构建的一处改动:在 HybridEngine 的 rollout 阶段只请求最后一个位置的 logits,避免把整段序列的输出头计算和传输都拉回来。对做 RLHF/推理混合引擎的人来说,这类削减末层计算与通信的小改动往往直接体现在吞吐和显存上,值得在自建训练栈里对照检查。
OpenAI 的「Patch the Planet」计划成为两个最先发现 PHP 核心「PHP2Shell」漏洞的团队之一,该漏洞影响约七成使用 PHP 的网站,发现过程由 GPT-5.6 Sol 参与,随后进行了长达两个月的协同响应与修复。这是前沿模型在真实高危漏洞挖掘上少见的完整闭环案例,也预示着安全披露流程需要为「AI 找到、AI 验证」的节奏重新设计。
既能“做选择题”,也能“做填空题”——星辰意图理解模型Xing4.0-29B-Intent发布
中电信人工智能公司星辰通用人工智能实验室发布并开源意图理解专用模型 Xing4.0-29B-Intent,主打同时支持「做选择题」式的意图分类与「做填空题」式的槽位/片段抽取。把意图识别从通用大模型的提示词工程里拆出来做成专模,对做对话路由、任务分发的团队来说,意味着更可控的时延与更稳定的结构化输出。
IBM AI Releases Granite Speech 5.0 2B for Multilingual Transcription and Translation
IBM 发布 Granite Speech 5.0 2B,采用 Apache 2.0 许可,同时做多语种语音识别与翻译,在 Open ASR Leaderboard 上以 5.68% 的英文平均 WER 排到第二,并同步更新了 Turbo CTC 与 4.1 2B Plus。对一个 2B 级、许可宽松的语音模型来说,这个排名让它在自建转写与同传流水线里成为 Whisper 之外一个相当有竞争力的替换选项。
How Companies Are Using NVIDIA DSX to Break the Power Bottleneck
NVIDIA 介绍企业如何用 DSX AI Factory 平台把电网与 AI 工厂当作一个系统来做规划、仿真和运行,覆盖从变电站到机柜的全链路。其背景是电力已经取代芯片成为基础设施扩张的头号瓶颈,涉及超过 3000 亿美元的相关投入,对筹建大规模训练/推理集群的团队来说,供电规划正被迫前移到和数据中心设计同等重要的位置。
5 production challenges in multi-agent systems and how Deep Insight solved them
AWS 撰文总结多智能体系统上生产的五个卡点:编排、按 agent 分别选模型、可靠运行、安全的代码执行与可观测性,并以开源多智能体系统 Deep Insight 为例说明各自的解法。文中反复出现的现实是原型几天就能搭出来、上线却屡屡撞墙,这对正把 demo 推向生产的 agent 团队是一份不错的检查清单。
Vercel Open-Sources durable-harness for Crash-Proof Coding Agents
Vercel 开源 durable-harness,把每一次模型调用与工具调用都持久化记录下来,使 Pi、OpenCode、Claude Code 和 Codex 的会话能在崩溃、超时或重新部署后从断点恢复,可跑在 Vercel、Postgres 甚至本地笔记本上。长跑编码 agent 最怕中途上下文全丢,这类把执行轨迹落库的胶水层,实际上正在成为 agent 运行时的基础设施。
Ollama v0.40.8 引入 Recursive 的编码模型 Flint,面向编码 agent 在仓库级的长任务:读懂陌生代码、追 bug、实现功能、补测试,支持推理、多轮工具调用和 262K 上下文。模型本身是 Apache 2.0 的 40B 混合专家结构,每 token 仅激活约 2.5B 参数,这种稀疏配比明显是冲着本地部署与长上下文 agent 循环的成本区间去的。
Adaptive agentic intelligence framework using Strands Agents
AWS 展示用 Strands Agents 搭建自适应智能体框架 AAIF:日常任务交给通过 Ollama 运行的本地小模型处理,复杂请求则路由到 Amazon Bedrock 上的云端大模型,并以物联网监控为场景做了完整走查。这种按难度分流的本地优先架构,是当下压低 agent 推理成本、同时保留强模型兜底能力的常见做法,可作为自建方案的参考骨架。
Google Cloud 开始在 Gemini 与 Claude 之外提供 OpenAI 模型,成为唯一一家同时托管三家前沿模型的超大规模云厂商,首批以私有预览形式向企业客户开放 GPT-6 Astra、GPT-6.1 Sol 与 GPT-6 Luna。对企业的直接好处是可以在同一套云上权限、网络与计费体系里做多模型路由和 A/B,而不必为每家模型各接一条供应商链路。
PyTorch Inductor 的一处夜间修复:调整 max-autotune 下 benchmark 输入对经过 view 重排的 tensor 的处理,避免自动调优在非连续布局上选到次优甚至错误的 kernel 配置。对依赖 compile 做推理加速的人来说,这类与视图和内存布局相关的修补,往往就是线上性能抖动和精度异常的根源。
llama.cpp b11819 为 Nemotron 系列补齐支持,包括非标准 GQA 配置、BPE 分词器以及 domyn-small 的 pre-type 处理,同时在 gguf-py 侧把 Metaspace 的 prepend_scheme 写进 GGUF 元数据,词表层则解析成枚举并用于 detokenize。这类分词器元数据的显式化,直接关系到多语种模型在本地推理时会不会出现首空格丢失或拼接错字。
llama.cpp b11818 让 server 的 RERANK 端点支持带类型的内容输入,并补齐了多模态 rerank 的校验:模型没有 rerank 对话模板时直接拒绝多模态输入而不是静默丢弃图片,媒体下载与 base64 失败转成 400 而非 500,负的 top_n 也改为返回 400。对用 llama.cpp server 搭检索重排服务的人来说,这轮修的是错误语义和静默失败这两类最难排查的坑。
OpenAI agents analyze mouse brain data in 32 minutes, a job that would take humans months
OpenAI 与 PerturbAI、Scripps Research 合作,让数千个 AI 智能体并行分析数百万个小鼠细胞的脑部生物学数据,整个任务在 32 分钟内完成,而同样的工作量人工需要数月。这不只是一次速度展示,它说明 agent 编排在科研数据流水线上已经能承担真正的高通量分析,对搞生物信息与大规模实验自动化的团队参考价值很直接。
llama.cpp b11815 修复 SYCL 后端 CONV_2D 在非连续输入下的错误结果:原 kernel 按连续布局索引输入,却对任意布局都声明支持,于是遇到 CWHN 等置换输入时按错误偏移读取,静默算出错误数值。修复方式是对输入与卷积核的连续性做门控、与 CUDA 后端契约对齐,并在 op 内断言,提醒后端移植时 supports_op 的宽松判定有多危险。
这篇实操指南把 Cactus Compute 仅 16.9 MB 的语音模型 Whistle 拉来和 Whisper base 正面对比,覆盖词错率、CPU 上的推理速度、流式延迟、时间戳、关键词触发以及语音直接转工具调用等维度。在端侧做语音入口的团队可以据此判断,超小模型在什么场景下已经够用、什么场景下仍必须上大模型。
NVIDIA Nsight Python Tutorial: How to Profile GPU Kernels
文章介绍 NVIDIA Nsight Python 这一开源接口,让开发者直接在 Python 代码里对 GPU kernel 做性能剖析、读取硬件指标、控制缓存与频率,并测量 kernel 融合带来的收益。以往这类分析要在命令行和图形界面之间来回切换,能在训练脚本里原生调用,明显缩短了定位算子瓶颈的反馈回路。
Ollama 发布 v0.40.9-rc1,主要内容是同步上游 llama.cpp 的更新。作为候选版本,它的意义更多在于把最新的模型与算子支持尽快带进 Ollama 的推理栈,关注新架构模型能否在本地跑起来的用户可以留意这个版本转正后的兼容性变化。
Claude Duet 🤖, Anthropic API changes 👨💻, Recursive’s local model 💻
本期简讯涉及三条动向:Claude 相关的「Duet」新能力、Anthropic 的 API 变更,以及 Recursive 推出的本地模型。API 变更通常直接影响存量集成的兼容性与计费方式,而 Recursive 的本地模型延续了编码场景向端侧下沉的趋势,接入方需要留意迁移窗口。
OpenAI 的 GPT-5.6 Sol 在「Patch the Planet」计划中发现一个可影响数百万网站的关键 PHP 漏洞,安全公司 Wiz 则用 Google 的 Gemini 4 Argon 独立复现了同一漏洞。两套前沿模型交叉验证同一缺陷,说明 AI 漏洞挖掘已具备可重复性;OpenAI 同时提醒,同样的能力也能被攻击方用来找洞,防御侧的时间窗口正在被压缩。
智能体多轮工具调用会让 KV cache 不断膨胀,而现有做法要么改轨迹要么重算前缀,代价高。AKV 提出「cache engineering」这一层抽象:在不改动原始轨迹的前提下,对已缓存的 KV 段做 drop 与 reposit 两类操作,把过期或低价值的缓存段落替换/回收,并配套设计了一个能感知这些操作的 serving 引擎来保证前缀一致性与命中率。结果是显存占用下降、长程任务延迟改善,同时因为缓存里保留了更相关的上下文,准确率不降反升,对做 agent serving 的团队是一条可直接借鉴的工程路径。
DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents
长程智能体最典型的退化行为就是反复调用同一个工具、在循环里空转,浪费大量 token 还做不完任务。DeLoop 把这类「重复动作」当成免费的自监督信号:从模型自己的 rollout 里自动构造偏好对,让策略学会区分有效推进与原地打转,无需人工标注或更强模型蒸馏。在上下文被压缩、历史信息不完整的条件下,它显著减少了重复工具调用并提升了任务成功率,说明 agent 的自我改进可以从失败模式里直接挖掘。
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
线性注意力类模型的推理状态(recurrent state)是长序列推理的主要显存开销,直接做 4-bit 量化误差又太大。PACE 的两个关键设计是「降低取整频率」和「按列对齐的 scale」:只在周期性节点上重新量化,避免逐 token 反复引入舍入噪声,同时用列方向的通道对齐 scale 来吸收状态矩阵内部的幅度差异。它是后训练(post-hoc)方案,不需要微调即可把状态压到 4 bit,在降低内存占用的同时把量化误差控制在可用范围内,对长上下文线性注意力模型的部署很实用。
视频扩散 Transformer 的注意力是二次复杂度,块稀疏注意力能省算力,但现有方法通常对所有 layer-step 用统一的稀疏度,预算分配很不合理。ALLOT 把「每层每步该用多稀疏」当成一个受延迟预算约束的优化问题,以输出保真度为目标做免训练的动态分配——对保真度敏感的层步给高密度,对不敏感的给极低密度。无需重新训练即可在给定延迟预算下拿到更好的生成质量,属于典型的训练-free 推理加速思路,可直接套到现有视频 DiT 上。
Qwen-Audio-3.1-ASR Technical Report
Qwen 更新语音基座,Qwen-Audio-3.1-ASR 在 3.0 基础上强化了识别能力,并扩展出说话人分离转写与通用音频理解两项新本事。它保持 30 种语言与 16 种中文方言的覆盖,同时支持指令控制的历史上下文条件、分层热词定制与原生转写润色,意味着 ASR 从「纯转写」变成可编程的音频语言模型。对做会议记录、客服质检、方言场景的团队来说,这是一个可替换整条语音后处理链路的基座选项。
把知识图谱接进 RAG 做多跳问答时,有两个绕不过去的瓶颈:文本被蒸馏成离散三元组会丢掉上下文语义,而碎片化的图结构与 LLM 预训练时的连续文本之间存在明显的模态错配。这篇工作把图拓扑与能量驱动的路径搜索结合起来,让检索在图上行走时同时受结构约束和语义能量引导,而不是只做符号层面的最短路。目的是在保留图结构可解释性的同时把连续语义带回来,缓解多跳场景下的上下文一致性断裂问题。
StreamEval: Evaluating Interactive Streaming Video Generation Models
交互式流式视频生成(用户中途发指令、模型持续生成)目前缺少统一评测,视觉质量刷得很高但没人测「指令到底执行了没有」。StreamEval 覆盖五类任务构建基准,重点考察请求执行准确性与长时间跨度的状态一致性。结论相当不乐观:即便画面质量很好,模型在可靠执行中途指令和维持世界状态连贯上仍是明显短板,这给做实时视频生成与世界模型的团队指出了真正的瓶颈所在。
Agent World Model in the Wild: Computer-Use Agent Environment Synthesis
训练 computer-use 智能体最大的瓶颈是可交互环境太少、任务不可控。WildAWM 提出一套环境合成流水线,能自动生成可控的计算机使用环境与配套任务,让智能体通过大规模交互而非静态轨迹来学习。在 web、CLI、GUI 三类基准上的分布外表现均有提升,说明「造环境」比「堆标注」更能带来泛化能力,对做 GUI agent 与终端 agent 的团队有直接参考价值。
多模态代码任务(看图写前端、截图改 UI)缺的是高质量数据而不是模型结构。PrismaForge 用分解式评分标准(rubric)流水线来合成并过滤多模态代码数据:先把任务拆成可判定的评分维度,再据此筛选样本,把噪声数据挡在训练之外。用这套数据训练的开源模型在视觉编码任务上追平了闭源系统,同时公开了 PrismaCoder 模型,对想做 UI-to-code 方向的开源团队来说是一条可复现的数据工程路线。
Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds
这篇工作系统研究了在多样虚拟世界中对具身智能体做继续预训练时的缩放规律,分别沿数据规模、世界多样性和模型参数三条轴做对照。结果显示三者都能稳定提升虚拟世界内的具身学习效果,但跨到距离较远的世界时泛化很快触顶,暴露出纯模仿学习的局限。对做具身基座的团队而言,这意味着继续堆数据不够,训练目标本身需要超越模仿,比如引入世界模型或交互式奖励。
AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics
把代码智能体的后训练配方搬到机器人规划上:AgenticRoboRL 先用监督微调打底,再在不同执行 harness 下做多轮强化学习,让机器人规划器学会在反馈中修正计划。关键发现是不依赖外部记忆模块也能大幅提升成功率,性能增益主要来自多轮 RL 与执行环境多样性。这为具身场景提供了一条「用代码 agent 那套后训练流程」的低成本迁移路径。
Memory-Centric Continual Learning for AI Agents
这篇工作主张把智能体的「记忆」从被动存储重新定义为行为改进的主动驱动,并给出一套完整框架:按存储介质、记忆资产与策略三个维度做分类,提出双环路生命周期(在线使用环与离线巩固环),再讨论记忆规模化的方法。评测维度落在保持、适应与迁移三项能力上。对正在搭 agent 记忆系统的团队,这是一份把零散工程经验整理成可比较坐标系的参考蓝图。
TraceForge: Distilling with Your Own Thinking
用强模型蒸馏推理轨迹时,学生模型往往学不像——教师的长链条风格与学生的能力分布不匹配,而且闭源教师拿不到 logits。TraceForge 提出两阶段方案:先做监督式生成,再用对抗式目标把教师答案逐步改写成贴合学生自身风格的推理轨迹,全程只用教师输出的答案而不依赖隐藏输出。在代码类基准上带来稳定提升,说明蒸馏的关键不只是答案正确,还要让推理路径落在学生自己的分布里。
Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures
让多个 AI 智能体组成研究团队自主发现新的线性注意力架构,难点在于团队容易一起陷进同一个局部最优。作者用专长各异的智能体构造「正交探索」,并针对实验成本高、一个团队只能试少量想法的问题设计了协作与筛选机制。最终产出的架构在效率与质量上具备竞争力,验证了多智能体科研流程在模型架构搜索这种高成本搜索空间里的可行性。
Harness Scaling for Generalizable Agentic Reinforcement Learning
Agentic RL 训练出来的模型经常只在自己训练时那套执行 harness(工具接口、提示模板、反馈格式)下好用,换个壳子就掉点。Harness Scaling 的做法是在训练时就把智能体放到大量不同的执行配置中做 RL,让策略学会对环境外壳不变、对任务本身敏感。实验显示对未见过的 harness 泛化明显增强,这提示做 agent 后训练时,多样性应该加在「运行环境」这一维而不只是任务数据。
SpatialBrain: Spatial Intelligence Growing from Experience
空间推理的难点常被混为一谈:到底是场景证据没看清,还是推理经验不足。SpatialBrain 把这两者显式拆开,用融合式空间记忆保存场景证据,用可复用的技能过程沉淀推理经验,再用整合后的过程记录来指导工具调用。整套机制不动视觉语言主干,属于外挂式增强,因此在提升空间推理表现的同时保持了基座能力不受损,对需要频繁调用测量、视角变换类工具的 3D 场景问答很有参考意义。
Velocity Ambiguity Profiles: Time-Resolved Bayes-Risk Diagnostics for Flow Matching
Flow matching 训练的是一个连续的速度回归问题,但通常只报插值时间上平均后的 loss,看不出哪段时间是被数据内在歧义卡住、哪段还能靠更多数据改进。作者提出速度歧义剖面 VAP,把时间局部损失分解为不可约的贝叶斯风险下界与可约的超出项,只有后者能通过更多数据或更好估计器降低。这给生成模型训练提供了一份按时间分辨的诊断工具,可用于判断该加数据、改网络还是改采样。
Your Benchmark Is an Empirical Measure Over Difficulty
这篇立场论文提出:基准不只是题目的集合,它天然在难度轴上诱导出一个经验测度,评测结果本质上是模型能力分布与该测度的相互作用。基于这一视角,作者形式化了两种核心失效模式——测度错配(基准的难度分布与目标难度分布不一致)和覆盖缺口(难度轴上未被覆盖的区域让基准无法检测有意义的进步)。对做 benchmark 设计和模型选型的团队来说,这意味着刷分前先看清题目难度分布。
Building Auditable AI Text Detectors with Sparse Autoencoders
AI 文本检测器越来越多用于同行评审、教育、招生等高风险场景,但最准的那批是黑箱微调分类器,可解释的文体特征分类器又明显更差。这条流水线用稀疏自编码器把微调神经检测器的内部表征拆成可读特征,再转成一个人能核查的判断依据,在尽量保住检测性能的同时让决策可审计。对有合规与申诉需求的应用方来说,这是从「检测器说不像人写的」走向可解释证据的一步。
SCDM: Scalable Causal Discovery in Nonlinear Temporal Systems with Meta-Learning
非线性多变量时间序列的因果发现问题在于候选有向关系随变量数平方增长,现有方法要么逐目标拟合模型,要么反复做条件独立性检验,要么做昂贵的图搜索,难以扩展到高维。SCDM 把每个目标变量视作一个任务,用共享参数的元学习框架一次性学到跨目标的因果机制,从而避开逐目标重训。这让高维时序上的因果发现变得可行,对根因分析、异常定位这类运维与工业场景有直接价值。