每日 AI 速览

2026-09-28

生成于 2026-09-29 04:09
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今日主线集中在三处:推理系统继续向细粒度降本推进,预填充与解码分治量化、块稀疏注意力、输出头量化和循环深度批处理都指向更高吞吐;智能体从演示走向可管控,英伟达把芯片级监控、运行时控制与通用电脑使用代理放到同一安全议题下;评测与训练也在拉长任务链,多智能体协作、工具调用强化学习、竞争环境和流视频理解成为新基准。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
TensorRT-LLM #19136 MERGED

[None][feat] Add GLM-5.3-Flash (glm5_next) support

本日合并至 main · 09-28 08:58 UTC+8 · @ruocheng-nv

该 PR 在 TensorRT-LLM PyTorch backend 中加入 GLM-5.3-Flash 支持,实现文本 decoder、原生 MTP 和 vision tower,并扩展 KDA、sparse MLA、mHC 与 MoE 相关共享模块。它使 GLM-5.3-Flash 的官方 FP8 checkpoint 能进入 TensorRT-LLM 推理路径,并修正 KDA MTP decode kernel 的大 state offset 索引溢出风险。

推测解码 算子与内核控制流优化硬件适配
SGLang #41443 MERGED

[Refactor] Replace LayerScatterModes with LayerFacts and remove ScatterMode

本日合并至 main · 09-28 07:56 UTC+8 · @ch-wan

该 PR 用 LayerFacts 替换 LayerScatterModes,直接保存层及相邻层是否 sparse、是否首尾层等五个事实,并移除未被读取的 ScatterMode 计算。它简化了层边界选择的数据来源,降低推测解码相关通信边界逻辑的冗余状态。

推测解码 算子与内核控制流优化硬件适配
SGLang #41430 MERGED

[Refactor] Nemotron-H: build each layer's boundaries from its stage and the previous one

本日合并至 main · 09-28 07:51 UTC+8 · @ch-wan

该 PR 重构 Nemotron-H 层边界构建方式,使每层从自身 stage 和前一 stage 推导 reduction 完成位置,而非在模型代码中分散判断相邻层类型。它把 Mamba、attention、MLP、MoE 与 MTP MoE 的边界语义收敛到统一 stage 逻辑,提升分布式推理路径的可维护性。

推测解码 算子与内核控制流优化硬件适配
SGLang #41425 MERGED

[Refactor] Run MHC layers on the shared boundary steps with MHC's residual operations

本日合并至 main · 09-28 07:49 UTC+8 · @ch-wan

该 PR 将 GLM5-Next 的 MHC 层接入共享 boundary steps,同时保留 MHC 所需的 hyper-connection residual 操作。它减少 MHC 对 scatter-mode 边界选择和数据移动的私有实现,有利于让推测解码层边界与通用通信路径保持一致。

推测解码 算子与内核控制流优化硬件适配
vLLM #57568 MERGED

[Bugfix][Spec Decode] Implement get_top_tokens() on the ROCm DeepSeek V4 MTP drafter

本日合并至 main · 09-28 20:16 UTC+8 · @BaoYunkai

该 PR 为 ROCm DeepSeek V4 MTP drafter 实现 get_top_tokens(),补齐 use_local_argmax_reduction 启动路径所需接口。它让 DeepSeek V4 草稿模型能够使用本地 argmax reduction 的 speculative decode 配置,避免因缺失方法导致引擎启动失败。

推测解码 硬件适配服务与推理
FlashInfer #4518 MERGED

feat(cake_fmha): add native Blackwell DCP speculative decode

本日更新,目标 main · 09-28 04:40 UTC+8 · @yyihuang

该 PR 为 flashinfer.trtllm batch decode with KV cache 增加可选的 Cake FMHA 原生路径,用于 context-parallel speculative decode,并在提供 causal_seqlens_kv_global 时启用。它为 Blackwell DCP 推测解码提供 round-robin KV ownership、row-dependent causal bounds 和 all-rank merge 语义,同时保持未启用路径的既有 dispatcher 与 ABI。

推测解码 硬件适配服务与推理
vLLM #56305 MERGED

[Attention] Add Triton/FlashInfer composite for multimodal prefix attention

本日更新,目标 main · 09-28 23:08 UTC+8 · @MatthewBonanni

该 PR 增加 Triton image masks 与 FlashInfer causal attention 的组合实现,用于 multimodal prefix attention,并复用 composite 路径而不改 worker 或 core。它为多模态前缀场景提供可复用的 attention 执行路线,支持在文本与图像混合请求中调整 kernel 组合和 KV 格式。

推测解码 算子与内核
SGLang #37462 MERGED

[Spec] Add LiLiCorr: a candidate-lattice reranker for DFlash drafts

本日合并至 main · 09-28 06:36 UTC+8 · @mrusanovsky

该 PR 新增 LiLiCorr,对 DFlash 每个 block 位置的 top-k 候选构成 lattice,并用小型两层 transformer 为相邻候选转移打分后贪心选择路径。它缓解按位置边缘概率取 argmax 造成的草稿 token 联合不一致问题,为推测解码草稿质量提供轻量 rerank 机制。

推测解码 算子与内核
FlashInfer #4581 MERGED

feat(cake_gdn): add gdn prefill decode mtp Cake backend for SM100 and SM103

本日更新,目标 main · 09-28 03:49 UTC+8 · @yyihuang

该 PR 增加面向 SM100a 和 SM103a 的 Cake GDN source-only backend,并接入 manifest-backed 的 prefill、decode、MTP 与 verify 路径。它覆盖 indexed 和 noncompact state pools、BF16 与 FP32 state、CUDA Graph replay 等场景,为 Blackwell 系列硬件上的 GDN 推理提供显式 fail-closed dispatch。

推测解码 服务与推理
vLLM #58239 MERGED

[Mypy] Fix mypy typing for Ultravox and Unlimited-OCR models

本日合并至 main · 09-28 09:19 UTC+8 · @ashraf-bhuiyan

该 PR 推进 vLLM 的 mypy 覆盖,移除 U-model 排除项并修复 Ultravox、Unlimited-OCR 与共享模型工具的类型标注问题。它保持有效输入下的模型计算不变,同时提升模型加载、TorchAO reload decorator 和 Phi-4 权重加载接口的静态类型可靠性。

推测解码
SGLang #41164 MERGED

[Kimi-K3] Merge fused_qkvg_proj into the loader-seeded packed_modules_mapping

本日合并至 main · 09-28 16:46 UTC+8 · @pengwu22

该 PR 修正 Kimi-K3 中 fused_qkvg_proj 对 packed_modules_mapping 的注册方式,从替换改为合并 loader 已种入的 fused layer 映射。它避免非 ModelSlim 量化配置丢失 per-shard exclude 或 per-layer quantization 映射,从而减少量化加载时的形状断言失败。

算子与内核 硬件适配性能优化分布式训练
SGLang #39679 MERGED

Rust server unify datapath for mm and generate requests

本日合并至 main · 09-28 14:36 UTC+8 · @rainj-me

该 PR 统一 embedded Rust server 向 scheduler 发送 multimodal 与 generate 非标量 payload 的 datapath,将 input ids、logprob token ids、multimodal features 等都作为命名 Buffer 伴随 msgpack header 传输。它用 inline buffer 零拷贝交给 numpy 或用 shm buffer 传递段名,减少 Python 边界上的重复机制和多模态结果存储维护成本。

算子与内核 控制流优化硬件适配性能优化
SGLang #36903 MERGED

[AMD] Add GLM-5.3-Flash MI35x nightly test

本日合并至 main · 09-28 13:40 UTC+8 · @michaelzhang-ai

该 PR 为 zai-org/GLM-5.3-Flash 在 MI35x gfx950 上新增 nightly GSM8K accuracy gate,并替换掉 GLM-5-MXFP4 的 MI35x nightly job。它把 GLM-5.3-Flash 纳入 AMD 8-GPU ROCm nightly 矩阵,有助于持续验证该模型在 MI35x 硬件上的推理正确性。

算子与内核 硬件适配性能优化分布式训练
SGLang #41378 MERGED

[CI] Real-model Kimi-Linear PD parity at page, DCP virtual-page, chunk and cached-prefix boundaries

本日合并至 main · 09-28 11:23 UTC+8 · @kpham-sgl

该 PR 将 Kimi-Linear PD boundary parity 测试迁移到真实 moonshotai/Kimi-Linear-48B-A3B-Instruct checkpoint,并覆盖 page、DCP virtual-page、chunk 和 cached-prefix 边界。它用确定性 token 与 logprob delta 检查 prefill-decode 分离布局,有助于验证 Kimi-Linear 在 TP、DCP 与 radix cached-prefix 场景下的一致性。

算子与内核 硬件适配性能优化分布式训练
vLLM #56157 MERGED

[PCP][DCP] Enable PCP+DCP on sparse-MLA models

本日更新,目标 main · 09-28 11:22 UTC+8 · @PatrykSaffer

该 PR 允许 sparse-MLA 模型同时启用 PCP 和 DCP,为 sparse indexer 与 FlashMLA-sparse backend 增加 DCP-gathered prefill 路径。它使部署可以在 decode 阶段分片 KV cache,同时在 prefill 阶段跨 rank 切分 query 工作,并维护 gathered layout 所需的 rank 间行数不变量。

算子与内核 控制流优化硬件适配性能优化
SGLang #41002 MERGED

[CI] fix CI regression on xeon

本日合并至 main · 09-28 10:28 UTC+8 · @xinguozhu-2026

该 PR 修复 Xeon CI 中 MiniMax-H3 subblock sparse attention 测试回归,并修正 test_hash_topk 中 EP 与 attention TP size 不匹配的错误用例。它稳定 CPU 测试套件中稀疏注意力和 top-k 哈希相关覆盖,降低算子路径在通用硬件上的回归噪声。

算子与内核 硬件适配性能优化分布式训练
FlashInfer #5594 MERGED

feat(cake_msa): nvfp4_decode, compute capability 10.7 programs under a three-architecture export lock

本日合并至 main · 09-28 09:21 UTC+8 · @yyihuang

该 PR 为 compute capability 10.7 生成 NVFP4 paged-KV MiniMax Sparse Attention decode programs,并在同一三架构 export lock 下同步 10.0、10.3 与 10.7 程序。它把 SM107 的 persistent、last-round-split 和 short-item cluster 路由纳入 sealed registry,扩展 CAKE MSA decode 对新架构的硬件适配。

算子与内核 控制流优化硬件适配性能优化
SGLang #41442 MERGED

[Refactor] Give a layer its CuTe DSL kernels at construction instead of a subclass

本日合并至 main · 09-28 07:55 UTC+8 · @ch-wan

该 PR 将 CuTe DSL all-reduce fusion 的 fused kernel 选择从专用 LayerCommunicator subclass 改为在 layer 构造时注入 LayerFusions protocol。它消除构造后重写 exit kernels 和按模型选择 communicator subclass 的流程,使 DeepSeek-V2、Qwen3.5 等层级融合配置更直接。

算子与内核 控制流优化硬件适配性能优化
SGLang #41441 MERGED

[Refactor] Build the boundary into any stage with one construction

本日合并至 main · 09-28 07:55 UTC+8 · @ch-wan

该 PR 重构 boundary 构建方式,让任意 stage 都通过统一 construction 接收自身 boundary,而非按 attention 或 FFN consumer 分成两套输入步骤。它统一处理 batch value 的 sum、handoff 和 conditional sum 语义,减少推理层间通信边界在不同 stage 类型上的分叉。

算子与内核 控制流优化硬件适配性能优化
SGLang #41440 MERGED

[Refactor] Declare each stage's residual read and update, and give each stage its own entry

本日合并至 main · 09-28 07:55 UTC+8 · @ch-wan

该 PR 让每个 stage 显式声明 residual read 与 update,并为每个 stage 提供独立 entry,替代 layer-wide ResidualOps 按 consumer 名称选择读写操作。它把普通 add-norm、MHC streams 与 Nemotron-H 单 stage 层的 residual 语义下沉到 stage 级别,便于后续边界步骤按行和 sum 声明统一组合。

算子与内核 控制流优化硬件适配性能优化

行业动态 24 条

Nvidia wants to keep AI agents on a short leash with a watchdog built into its chips

The Decoder · 09-28 22:32 UTC+8

NVIDIA 将 OpenShell 智能体软件与新硬件 watchdog「Sentry」组合成「Open Agent Safety Platform」,目标是在芯片侧持续监控并在毫秒级隔离越界运行的 AI Agent。它对从业者重要之处在于把 Agent 安全从应用层策略扩展到硬件运行时控制,但文章也提醒,单靠 watchdog 仍难可靠阻止被诱导或会隐藏意图的智能体。

AgentAgent安全NVIDIA硬件监控运行时控制

Holo4: powering generalist computer-use agents

HuggingFace 博客 · 09-28 17:44 UTC+8

Hugging Face 发布关于「Holo4」的博客,主题是支撑通用 computer-use agents,让智能体面向真实电脑界面完成更开放的操作任务。对从业者来说,这类工作关注的是 GUI 操作、状态感知、工具链和任务泛化能力,直接影响浏览器代理、桌面代理和自动化测试智能体的落地质量。

计算机使用智能体HuggingFaceAgentGUI自动化

NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring

NVIDIA 开发者 · 09-28 16:56 UTC+8

NVIDIA 介绍「Open Agent Safety Platform」,把 OpenShell 与 in-silicon 监控结合,作为连续监测 Agent 行为的参考架构。它的重要性在于为可执行代码、调用工具和长期运行的智能体提供更底层的控制面,帮助企业把 Agent 部署从提示词约束推进到运行时隔离与审计。

AgentNVIDIAAgent安全芯片监控企业部署

v0.18.0

LMDeploy · 09-28 15:04 UTC+8

LMDeploy v0.18.0 增加 input 与 output logprobs 支持,扩展 SM90 量化 GEMM,统一 TurboMind linear 执行,并补充 Qwen3.5 dflash、Ascend GLM 5.2、MoE shared expert 与 MLA 混合 DP/TP 分片等能力。对推理工程师来说,这次更新集中在量化算子、MoE 分布式、国产硬件适配和 serving 细节,能改善新模型接入与高吞吐部署的可维护性。

推理优化LMDeploy推理框架MoE量化

b11232

llama.cpp · 09-28 22:25 UTC+8

llama.cpp b11232 在 x86 CPU 上为非向量倍数 head dim 启用 tiled flash attention,并增加 AVX2 tail mask load/store 支持,同时修复 padded KV tile 下的 FA softcap 处理。这个版本主要利好 CPU 推理和形状不规整模型,能减少因 head 维度不整齐带来的性能和正确性问题。

推理优化llama.cppCPU推理FlashAttention本地推理

b11227

llama.cpp · 09-28 17:32 UTC+8

llama.cpp b11227 修复 Gemma 视觉输入场景中切换 causal attention 会反复触发 scheduler re-reserve 的问题。对多图和视频输入来说,这能避免每个非因果图像块前后都产生昂贵调度重建,降低多模态本地推理延迟。

推理优化llama.cpp多模态推理调度优化Gemma

Add Runtime Controls to AI Agents with NVIDIA OpenShell

NVIDIA 开发者 · 09-28 16:55 UTC+8

NVIDIA 介绍「OpenShell」,为能写代码、用工具并持续执行目标的 AI Agent 增加运行时控制能力。它的工程意义在于把 Agent 的权限、执行边界和中途干预做成平台能力,适合需要审计、暂停、隔离或策略约束的企业级 Agent 部署。

AgentOpenShellAgent框架运行时控制NVIDIA

How NVIDIA DSX MaxLPS Maximizes AI Factory Throughput and Efficiency

NVIDIA 开发者 · 09-28 09:00 UTC+8

NVIDIA 介绍「DSX MaxLPS」,目标是在 AI factory 中提高单位功耗下的吞吐和效率,避免按极端峰值功耗过度预留导致容量浪费。对基础设施团队来说,这类功耗感知调度和系统设计直接关系到 GPU 集群的可用 token 吞吐、TCO 和供电约束下的扩容效率。

InfraAI InfraNVIDIAGPU集群能效优化

2026 in LLMs (so far)

Simon Willison · 09-28 07:54 UTC+8

Simon Willison 发布「2026 in LLMs so far」演讲笔记,用时间线梳理 2026 年以来 LLM 领域的重要发布和趋势。它对从业者的价值在于把模型能力、工具调用、开源生态和产品化变化放到同一张脉络图里,便于判断技术选择和生态方向。

基座LLM趋势行业动态模型生态技术综述

Implementing synthetic monitoring using Amazon Nova Act

AWS 机器学习 · 09-28 23:56 UTC+8

AWS 介绍用 Amazon Nova Act 和 Amazon Bedrock AgentCore 做 synthetic monitoring 的方案,用 Agent 驱动方式验证用户旅程,而不是依赖脆弱的 UI 脚本。对平台团队来说,这代表监控从固定脚本点击转向具备页面理解和恢复能力的智能体执行,适合复杂 Web 流程和持续回归验证。

AgentAWSAgent监控Nova Act自动化测试

viable/strict/1790621778: Improve async collective remap error (#195691)

PyTorch · 09-28 22:41 UTC+8

PyTorch 更新 Dynamo 对 legacy torch.distributed collectives 中 async_op=True 的 remap 失败提示,明确只有同步 async_op=False 会自动 remap,并建议需要异步语义的用户改用 functional collectives 与 wait_tensor。这个变化不直接改变能力,但能减少分布式训练编译路径中的误诊断,帮助用户更快定位 collective 与 Work handle 支持边界。

InfraPyTorch分布式训练Dynamo错误诊断

b11229

llama.cpp · 09-28 20:45 UTC+8

llama.cpp b11229 修复 HIP 后端中 DKQ 大于 256 的 mfma kernel 模板跳过问题。对 AMD GPU 本地推理用户来说,这属于底层 kernel 覆盖修复,可提升特定注意力形状和量化路径下的可用性。

推理优化llama.cppAMD GPUHIP本地推理

HC归来,华为正重新定义AIDC基础设施

量子位 · 09-28 19:18 UTC+8

华为把 AIDC 基础设施的重点从单纯堆算力推进到算电协同,核心是让供电、算力调度、网络和数据中心建设按 AI 负载统一设计。对大模型训练和推理团队来说,这意味着未来瓶颈不只在 GPU 数量,还会落到电力交付、集群利用率和端到端运维效率上。

InfraAI InfraAIDC算电协同华为

b11226

llama.cpp · 09-28 16:47 UTC+8

llama.cpp 版本 b11226 打通了 Windows ARM64 下使用 MSVC cl.exe 的构建路径,并集中修复 FMA、SVE 探测、交叉编译和量化相关编译问题。它对本地推理生态的意义在于继续扩大低成本端侧部署覆盖面,尤其是 Windows on ARM 设备和异构 ARM 平台。

Infrallama.cpp端侧推理Windows ARM64编译优化

Faster Rates for Federated Variational Inequalities

Apple ML · 09-28 08:00 UTC+8

Apple ML 这项工作聚焦联邦优化中的随机变分不等式求解,试图补上其收敛率长期落后于联邦凸优化理论上界的缺口。论文给出一系列更快的收敛界,首先覆盖一般光滑单调变分不等式场景,把联邦学习中常见的通信受限、随机梯度和分布式客户端约束纳入统一分析。对训练方法研究者而言,它提供了处理博弈、鞍点和对抗式目标时更接近最优的理论工具。

训练联邦学习优化理论训练方法Apple ML

b11233

llama.cpp · 09-28 23:37 UTC+8

llama.cpp 版本 b11233 重构了 recurrent state rollback 测试,把裸 llama_context 指针替换为 llama_context_ptr,并移除了手动释放逻辑。测试还新增遍历全部 dummy model 的模式,以表格报告通过、失败和跳过状态,有助于更早发现循环状态恢复在不同模型结构上的回归。

Infrallama.cpp测试工程状态回滚推理框架

Meta wants to turn Muse into a moneymaker by selling AI services to businesses

The Decoder · 09-28 22:48 UTC+8

Meta 正在推出 Meta Enterprise Platform,把内部 AI 工具和 Muse 相关能力包装为面向企业销售的服务。对从业者而言,这说明 Meta 不只押注开源模型生态,也在尝试把生成式 AI 能力转化为企业级平台收入,未来可能影响企业工具链、广告创意和内容生产工作流。

厂商动态Meta企业 AI模型厂商动态生成式 AI

viable/strict/1790620535: [c10d] Allow CPU device_id in init_process_group (#198340)

PyTorch · 09-28 22:20 UTC+8

PyTorch 修复了 init_process_group 在 GLOO CPU 后端拒绝 cpu:0 这类合法 device_id 的问题,此前会错误抛出 device_id 必须是带索引加速器的异常。这个改动让 CPU 分布式测试、无 GPU 环境和后端一致性验证更顺畅,也减少了分布式初始化路径里历史 CUDA 假设带来的摩擦。

InfraPyTorch分布式训练GLOOCPU 后端

Viral AI agent Instinct raises $1B Series C at a $10B valuation

TechCrunch · AI · 09-28 21:38 UTC+8

AI agent 公司 Instinct 完成 10 亿美元 C 轮融资,估值达到 100 亿美元。这个规模显示资本市场仍在重押 Agent 应用层,尤其是能把工具调用、自动化工作流和企业场景转成高增长收入的团队。

Agent融资AI 应用创投动态

b11228

llama.cpp · 09-28 19:10 UTC+8

llama.cpp 版本 b11228 为 Metal 后端的 GGML_OP_PAD 增加左侧填充和循环填充支持,使其行为与 CPU、CUDA、Vulkan 后端对齐。补丁还修正了 permuted source 右侧填充读取问题并添加测试,对 Apple 设备上的本地推理算子一致性和模型兼容性很关键。

Infrallama.cppMetal算子实现端侧推理

b11225

llama.cpp · 09-28 16:14 UTC+8

llama.cpp 版本 b11225 修复了多个状态相关测试中的 ggml 初始化问题,覆盖 recurrent state rollback、save-load-state 和 fragmented state restore。此类改动虽然偏工程底层,但直接关系到长上下文、会话保存恢复和增量推理状态的一致性。

Infrallama.cppggml状态恢复测试稳定性

viable/strict/1790592790: Fix AVX512 grid sampler mask gather (#197635)

PyTorch · 09-28 14:45 UTC+8

PyTorch 修复了 AVX512 grid_sample 路径中 mask_gather 的掩码解析错误,原实现用浮点相等判断全一位型,而该位型在 float 或 double 中会表现为 NaN,导致 AVX512 内核返回全零。新实现改为提取符号位,并让 SVE 与标量回退路径采用同一 active-lane 规则,提升了 CPU 向量化算子的正确性。

InfraPyTorchAVX512CPU 优化算子正确性

viable/strict/1790589573

PyTorch · 09-28 13:39 UTC+8

PyTorch 的 FlopCounter 增加 skip_unsupported 参数,用于在遇到不支持的算子时选择更温和的处理方式。对模型评测和性能分析来说,这能让 FLOPs 统计在复杂模型或自定义算子场景下更可用,减少一次 unsupported 就中断整次分析的情况。

InfraPyTorch性能分析FLOPs模型评测

Muse manifesto 📜, OpenAI training pause 🚨, trading compute 🤝

TLDR AI · 09-28 08:00 UTC+8

TLDR AI 本期聚焦 Muse 相关宣言、OpenAI 训练暂停传闻以及算力交易等话题,线索集中在模型厂商战略和 AI Infra 资源分配。对从业者而言,值得关注的是前沿模型训练节奏、算力金融化和企业 AI 产品化三条线正在同时影响模型发布周期与成本结构。

厂商动态模型厂商动态AI Infra算力交易OpenAI

论文 20 篇

重点看系统优化与长程智能体评测交汇:量化、稀疏注意力、工具调用强化学习和多智能体协作基准同时升温。

Disaggregated Quantization: Specializing LLM Prefill and Decode

NVIDIAHF 精选 · 09-28 08:00 UTC+8

这篇论文抓住了大模型推理中一个常被混在一起处理的问题:prefill 更吃低精度算术吞吐,decode 更受权重读带宽限制,两阶段的最佳量化策略并不相同。作者提出「Disaggregated Quantization」,把计算格式、权重量化和存储位置按 prefill 与 decode 分开专门化,而不是用一套量化方案覆盖整条推理链路。在 Qwen 3 与 Gemma 3 上,decode 阶段去掉激活量化能改善偏 decode 任务的精度,同时不增加推理成本,对分离式 serving 和长输出场景很有工程价值。

推理优化量化大模型基座Serving

Block Sparse Attention with Log-Linear Complexity

字节 SeedHF 精选 · 09-28 08:00 UTC+8

长上下文扩展的核心瓶颈仍是自注意力的平方复杂度,块稀疏注意力虽然能降成本,但传统保留块选择仍要枚举所有 query-block 对,本质上还是二次开销。论文提出「PISA」,用金字塔式 Top-K 选择逐层缩小候选块集合,把选择过程也压到近似对数线性复杂度。它的价值在于让稀疏注意力不仅算得少,连决定算哪些块也更便宜,适合长上下文模型的训练与推理系统落地。

长上下文稀疏注意力推理优化模型架构

AgentWorld: Benchmarking Long-Horizon Collaboration of Multi-agent LLMs

COLM 2026HF 精选 · 09-28 08:00 UTC+8

现有多智能体评测多偏竞争、短交互或简单汇总单体表现,很难真正衡量长期协作能力。作者推出「AgentWorld」,包含 100 个真人标注任务和 100 个增强变体,在 MMORPG 沙盒中要求 3 到 20 个信息不对称智能体完成超过 50 轮互动。这个基准把协作拆到角色分工、通信、长期规划和资源协调层面,对评估 Agent 框架是否真的能组织团队行动更有针对性。

Agent多智能体Agent评测长期规划协作智能体

SLCA-GRPO: Resolving Cross-Segment Credit Misattribution in Tool-Calling RL

腾讯 AI LabHF 精选 · 09-28 08:00 UTC+8

工具调用智能体的输出同时包含结构化 tool call 和面向用户的自然语言总结,标准 GRPO 把同一个轨迹级优势值广播到所有 token,容易把总结段的梯度噪声传到工具决策 token。论文提出「SLCA-GRPO」,针对不同输出片段做信用分配隔离,缓解跨片段 credit misattribution。它瞄准的是工具调用 RL 中很实际的稳定性问题,有助于让模型在选择工具、填写参数和生成总结时分别学到更干净的信号。

后训练工具调用强化学习GRPOAgent训练

Softmax Reparameterization for Output-Head Quantization

HF 精选 · 09-28 08:00 UTC+8

小模型的大词表输出头会占据相当一部分推理成本,而直接量化输出头常带来精度损失。作者提出 softmax 重参数化,在量化前选择一个函数等价的输出头,通过从每个输出行减去词表行均值的标量倍数,并用验证集 KL 为 RTN、激活加权 MSE 和 GPTQ 分别搜索系数。这个一维后训练方法包含原始头和固定均值中心化作为特例,为输出层量化提供了低风险、低复杂度的精度修复路径。

推理优化量化小模型输出层优化推理成本

Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching

HF 精选 · 09-28 08:00 UTC+8

循环语言模型能按 token 难度动态决定重复共享层的次数,但不同 token 深度不一致,会让 vLLM 这类标准批处理系统难以高效调度。论文提出连续深度批处理,让深度自适应推理可以在保持 batching 效率的同时运行,而不是被变长循环打散。它把 looped language model 的理论省算力优势推进到系统可用层面,对动态计算和低成本 serving 很关键。

推理优化动态推理批处理调度vLLM模型架构

RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation

腾讯混元HF 精选 · 09-28 08:00 UTC+8

基础模型数据准备往往要把文档、视频等父样本扩展成数量长尾、顺序相关的子任务,既要充分利用 GPU batch,又要保留父子 lineage、顺序、完成状态和结果路由。现有系统要么把并行性藏在粗粒度 job 后面,要么暴露过低层的调度细节,难以表达这类多粒度数据流。论文提出「RayOrch」,面向 foundation model 数据管线提供受 lineage 控制的编程与执行模型,适合大规模清洗、切分、标注和结构化预处理。

Infra数据工程AI Infra分布式数据流训练数据

InternW0-Δ: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data

上海 AI LabHF 精选 · 09-28 08:00 UTC+8

机器人 World Action Model 需要同时建模视觉动态和动作生成,难点在于把视觉动力学、场景语义、几何与运动等大规模预训练先验整合进同一动作模型。论文提出「InternW0-Δ」,基于 2 万小时以上开放数据预训练,把多源先验统一到机器人操作的动作生成框架中。它在仿真基准和真实机器人平台上超过既有方法,说明通用世界模型与动作策略的融合正在从视频预测走向可执行控制。

基座机器人基础模型多模态世界模型VLA

SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance

NeurIPS 2026CCF-A推荐HF 精选 · 09-28 08:00 UTC+8

长程推理在稀疏奖励下容易陷入两个偏差:模型偏向局部合理但结构不稳的分支,小错误又会沿推理深度累积并压低稀有奖励。作者提出「SAGE」,用 Symbolic Closure Analysis 刻画推理空间的拓扑结构,并用拓扑引导缓解探索偏差和累积偏差。它的意义在于把长链推理失败从单步错误提升到结构性搜索问题,对 RLVR 和复杂推理训练都有启发。

训练长程推理RLVR推理训练评测

CARD: Cluster-level Adaptation with Reward-guided Decoding for Personalized Text Generation

HF 精选 · 09-28 08:00 UTC+8

个性化文本生成面临细粒度用户适配与规模化部署的矛盾,为每个用户单独训练或维护模型都不现实。论文提出「CARD」,先按用户风格聚类并训练组级 LoRA adapter,再用 reward-guided decoding 捕捉簇内个体差异。这个层级框架在低资源用户上更稳,也给个性化 LLM 提供了介于全局模型和单用户模型之间的可部署路径。

后训练个性化生成LoRA解码策略对齐

Game Arena: Strategic LLM Evaluation in Competitive Environments

HF 精选 · 09-28 08:00 UTC+8

静态 LLM 基准容易饱和,也很难反映模型在对抗和策略环境中的持续进步。论文介绍 Kaggle「Game Arena」,让模型在 Chess、Poker 和 Werewolf 等结构化游戏中进行 head-to-head 对局,评测强度会随参赛模型演化而提升。它把 LLM 评测从固定题库推进到开放竞技平台,对策略推理、博弈、协作和隐藏信息处理能力都有更强区分度。

基座模型评测博弈智能Agent评测Kaggle

MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation

HF 精选 · 09-28 08:00 UTC+8

多教师 on-policy 蒸馏通常按 prompt 域标签把整段 rollout 硬路由给单个教师,既依赖人工域标注,也浪费了其他教师在局部 token 上的互补信号。论文提出「MOPD-Router」,在每个 token 上从完整教师池中选择监督来源,不需要域标签或固定训练路由。它让多能力教师的知识融合更细粒度,适合把代码、数学、对话等专长压进一个统一学生模型。

训练模型蒸馏多教师训练对齐路由

VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models

HF 精选 · 09-28 08:00 UTC+8

预训练 VLA 模型具备广泛操作能力,但在需要高精度和高重复性的真实任务上仍不稳定;直接做真实世界在线 RL 又会遇到 value 信号不可靠和大 VLA 吞吐低的问题。论文提出「VLA-Precision」,用非对称 co-bootstrapping 改善策略和值函数的互相支撑,同时降低在线试错的系统开销。它把 VLA 后训练从示教数据扩展到可自主迭代的真实环境强化学习,对精密操作机器人很有价值。

后训练VLA机器人强化学习在线RL多模态智能体

FuseReg: Regularizing Layer Fusion Mitigates the Reconstruction-Generation Gap in Representation Autoencoders

HF 精选 · 09-28 08:00 UTC+8

Representation Autoencoder 会复用预训练视觉编码器特征作为重建和扩散 latent,但不同层特征存在取舍:浅层保细节,深层利生成指标。论文提出「FuseReg」,通过正则化层融合来缓解重建目标和生成目标之间的 gap,而不是依赖固定启发式选层。它帮助 RAE 更稳定地把强视觉表征接入图像生成模型,对扩散 latent 设计和视觉基础模型复用都有意义。

基座图像生成表示自编码器扩散模型视觉表征

Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs

HF 精选 · 09-28 08:00 UTC+8

个性化 LLM 常常既要保留用户隐式偏好,又要服从显式风格指令,但作者发现显式风格控制可能抹掉个体特征,形成 personalization collapse。论文提出「PsPLUG」,在扣除请求风格影响后学习用户特定残差,用轻量插件平衡风格遵循和个性保持。它指出个性化与可控生成并非天然兼容,为定制化助手的 adapter 设计和评测提供了更细的目标。

后训练个性化模型风格控制插件式微调对齐

IndicBankBench: Evaluating Safety and Reliability of Language Model Assistants in Indian Retail Banking

HF 精选 · 09-28 08:00 UTC+8

银行助手不只要回答问题,还要基于账户上下文选择工具并执行操作,单看最终回复会漏掉问重复信息、用过期上下文、选错账户或写入无效值等关键错误。论文提出「IndicBankBench」,包含 799 个印度零售银行案例,覆盖五个操作域、能力与拒答域以及二十类主要任务。它把金融 Agent 的安全可靠性评测细化到工具链和状态更新层面,对高风险行业部署尤其有参考价值。

Agent金融Agent安全评测工具调用行业基准

TRACE: Temporal Audit and Condition-aware Evaluation of Streaming Video Understanding

HF 精选 · 09-28 08:00 UTC+8

流式视频理解要求模型随着证据到达实时解释,但很多评测只报总分,不说明证据何时有效、历史如何维护、响应何时触发。论文提出「TRACE」,把时间审计和条件感知引入流式视频理解评估,让相似分数背后的工作负载、失败模式和运行行为可被区分。它对多模态实时助手、监控理解和边看边答系统很实用,因为这些场景关心的不只是答对,还包括何时能答和如何维护上下文。

基座视频理解多模态评测流式推理实时系统

ZooWork-ShopRanker: An Open, Preference-Aligned E-Commerce Reranker

HF 精选 · 09-28 08:00 UTC+8

通用网页 reranker 迁移到电商搜索并不理想,因为购物排序要同时考虑相关性、用户偏好、商品约束和横向比较。论文推出「ZooWork-ShopRanker」,包含 0.6B、4B 和 8B 电商重排模型,用真实搜索流量提供 query 与候选,再通过 judge 标注的购物偏好进行对齐。它为电商检索提供了开放的偏好对齐 reranker,适合商品搜索、推荐融合和商业 RAG 场景。

训练检索重排电商搜索偏好对齐开源模型

Paragraph Boundaries Are Not White Space:Compression Depth as the Signature of Hierarchical Structure

HF 精选 · 09-28 08:00 UTC+8

标准位置编码把文本位置压成一维阅读顺序,但段落、句子和 token 的层级结构并不能由阅读顺序完全表达。论文使用 hierarchical RoPE,把段落、句子和 token 索引拆成独立通道,并在固定 token 序列下干预段落坐标,测量跨段注意力变化。结果显示段落边界不是普通空白符,而会形成可测的 attention compression signature,这对长文档建模和结构化位置编码设计有启发。

基座位置编码长文档建模RoPE模型架构

Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors

HF 精选 · 09-28 08:00 UTC+8

触觉是机器人在遮挡和接触密集操作中的关键模态,但分布式电子皮肤的编码器仍常从噪声原始信号开始训练,缺少类似视觉预训练编码器的通用表示。论文提出「Tactile-JEPA」,把拓扑结构纳入自监督表示学习,面向分布式触觉传感器学习更可迁移的表示。它补上了机器人学习中触觉预训练的一块短板,有助于把电子皮肤信号接入灵巧操作策略。

训练触觉表示学习机器人自监督学习多模态