vLLM × HPC-Ops: High-Performance Attention and MoE Backends from Tencent Hunyuan
vLLM 博客 · 07-06 08:00 UTC+8
腾讯混元将 Hunyuan Hy3 使用的 Hopper 优化注意力内核与 FP8 MoE 后端集成到 vLLM 中，显著改善了混合长度解码、MoE 延迟、首 Token 延迟和每个 Token 生成时间，尤其针对 NVIDIA H20 给出高性能推理方案。
每天 04:00（Asia/Shanghai）自动抓「昨天」一天的新内容。
跨年累积的 AI 精选：顶会顶刊高被引论文（全领域，按**具体会刊**分组）+ 各厂商实验室论文与官方动态；多源召回 + 大模型相关性精筛，每周自动维护；支持自助检索 arXiv 添加并自动归类。
vLLM × HPC-Ops: High-Performance Attention and MoE Backends from Tencent Hunyuan
腾讯混元将 Hunyuan Hy3 使用的 Hopper 优化注意力内核与 FP8 MoE 后端集成到 vLLM 中，显著改善了混合长度解码、MoE 延迟、首 Token 延迟和每个 Token 生成时间，尤其针对 NVIDIA H20 给出高性能推理方案。
HuggingFace Kernels 库迎来重大更新，优化了多种推理和训练内核，预期能为 Transformers 生态带来更低的延迟与更高的吞吐，对依赖 HuggingFace 进行模型部署的从业者而言是直接的效率提升。
Nvidia's Kyber NVL144 reportedly pushed back more than a year, Asian suppliers drop
英伟达下一代 AI 服务器机架 Kyber NVL144 因电路板制造问题推迟至 2028 年，更强大的 Rubin Ultra 变体亦被取消，导致亚洲供应商股价下跌；此延迟可能给 AMD 和 Google 创造竞争窗口，影响大规模 AI 基础设施部署节奏。
极简方案刷新扩散模型推理纪录，阿里清华论文入选ICML杰出论文
阿里与清华联合提出的极简方案在扩散模型推理上刷新了速度纪录，相关论文已入选 ICML 杰出论文，为扩散模型高效部署提供了简洁且强劲的新基准。
Azure Functions在Build 2026发布Serverless智能体运行时
微软在 Build 2026 大会上为 Azure Functions 推出了 Serverless 智能体运行时，开发者可以更便捷地构建和部署事件驱动的 AI 智能体，简化了智能体在云上的生产化落地。
ms-swift v4.4.0 发布，GRPO 训练新增 OPD RL 和多教师蒸馏支持，并完成重头；多模态 vLLM 对齐测试加入，Megatron-SWIFT 扩充了 GLM-5.2 和 MiniCPM-V4.6 等模型支持，强化了分布式训练与 RL 训练能力。
Path-Constrained Mixture-of-Experts
苹果机器学习研究提出路径约束的 Mixture-of-Experts 视角，发现尽管专家路径组合数量巨大，但 Token 实际仅聚集在少数与语言功能相关的路径上，大量潜在路径未被利用，这一发现可能催生更高效的 MoE 路由策略。
Seedance 2.5 🎥, guide to Fable ✨, OpenAI preps GPT-5.6 🚀
本期 TLDR AI 简讯涵盖 Seedance 2.5 发布、Fable 使用指南以及 OpenAI 正在筹备 GPT-5.6 的动态，反映了多模态生成与前沿模型迭代的快速进展。
llama.cpp 提交 b9888 将 CUDA 闪存注意力中的 K 类型校验扩展到 V 类型，完善了注意力算子的类型安全校验，提升了多种推理场景下的计算正确性与稳定性。
b9886 提交在 ARM CPU 的 ggml 后端为 NVFP4 点积引入 UE4M3 查找表，进一步优化了低精度推理性能，对移动和嵌入式 ARM 设备上的 LLM 推理有直接提速效果。
b9885 在 AIX 平台启用分块矩阵乘法并修复了因栈缓冲区过大导致的段错误，测试中 FP32、Q4_0 和 Q8_0 模型的预处理速度提升约 2 倍，改善了 IBM AIX 系统的推理体验。
数亿元融资落地！光象科技自研物理原生基座模型，跳出 VLA 与世界模型路线
光象科技完成数亿元融资，其自研的物理原生基座模型脱离了传统的 VLA 和世界模型路线，转而从物理本质出发构建模型，为具身智能提供了新的技术范式选择。
OpenSquilla发布0.5.0 Preview：多模型集成登顶DRACO双榜，对比名单中出现最新旗舰Fable 5
OpenSquilla 发布 0.5.0 预览版，凭借多模型集成策略一举登顶 DRACO 双榜，测试中甚至将最新旗舰 Fable 5 纳入对比，验证了模型集成在榜单性能竞赛中的有效性。
b9876 修复了张量并行与 CPU 卸载专家（-ncmoe）同时使用时 MoE 模型预热崩溃的问题，原因为 MoE 路由输出张量的内存不连续导致后端断言失败，确保了混合并行策略的稳定性。
“我一行代码都没读就发布了”，被OpenAI收购后，uv工具创始人开始反思AI编程
被 OpenAI 收购的 uv 工具创始人反思在“一行代码都没读就发布”的 AI 编程模式下，开发者对生成代码的审查和信任问题，引发对 AI 辅助编程中代码质量与责任的深入思考。
HuggingFace 在 PRX 系列第四部分详细介绍了其数据策略，涵盖数据来源、质量控制、配比与效率考量，为大规模模型训练的数据工程提供了开源社区的实践参考。
Anthropic：Claude 已承担 95% 的内部数据分析查询工作
Anthropic 内部已让 Claude 接管 95% 的数据分析查询工作，表明 LLM 在企业内部数据分析场景中已达到极高的渗透率和实用性，可作为 AI 取代重复性数据工作的一个标杆案例。
China forces its biggest AI platforms to shut down humanlike chatbot personas
字节跳动和阿里巴巴应监管要求关闭旗下 AI 平台中自定义拟人聊天机器人角色功能，标志着中国对 AI 人设类服务监管趋严，将直接影响用户创建和互动方式。
随着 AI 智能体在 Windows 桌面环境中的部署增加，一场围绕智能体安全防护的攻防竞赛正在展开，涉及权限管控、行为监测与对抗攻击等多个层面，成为终端安全的新焦点。
豆包、千问关停智能体功能；曝腾讯研发token额度1400元/月起步，有人过万；美团限豆包、阿里禁Claude Code｜AI周报
本周 AI 动态：字节豆包与阿里千问关停智能体创建功能，腾讯内部对研发 Token 额度实行每月 1400 元起步计费且有员工额度过万，美团限制使用豆包，阿里内部禁用 Claude Code，反映出大厂在 AI 资源管控和安全合规上的收紧趋势。
让 Agent 成为音视频工作台：AI MediaKit CLI + Skill 发布
AI MediaKit CLI 与 Skill 正式发布，让 Agent 可以直接处理音视频工作流，相当于为智能体扩展了多媒体生产力工具，推动了 Agent 在创意和媒体行业的应用落地。
llama.cpp b9884 修复了 Vulkan 后端 CEIL_DIV 宏中的 32 位整数溢出，避免在特定尺寸张量计算时产生错误结果，提升了 Vulkan 推理路径的健壮性。
b9881 为 ROCm/HIP 编译启用 -ffast-math 优化，可放宽浮点运算的严格标准以换取更高性能，对 AMD GPU 上的推理吞吐有积极影响。
b9879 优化了 CUDA 后端 conv_transpose_1d 的索引计算，减少不必要的计算开销，尽管是细粒度优化，但在频繁调用该算子的模型中能累积可观的延迟改善。
该提交将「ShardedTensor」的设备转移方法重构为硬件无关实现，不再依赖特定设备细节，提升了跨加速器的可移植性。
trunk/3043bfb9ff9e97b42a7a039346cd717172ebd28e
此改动使「ShardedTensor」的设备转移逻辑与硬件解耦，采用统一抽象来处理张量在不同设备间的移动，方便在更多后端上复用。
PyTorch Inductor 的 FFT 算子现在在 CUDA 和 XPU 上支持 f16 与 bf16 输入，内部自动提升为 fp32 计算再转换回原类型，让用户能直接在半精度张量上做傅里叶变换。
llama.cpp 修复了推测解码 draft 模型中张量切分参数过时的问题，重点修正了 GQA 注意力下的 tensor split 元数据，避免因元数据不一致导致推理错误或性能回退。
viable/strict/1783367836: Revert "Allow swap_tensors with internal TensorWeakRef (#186801)"
PyTorch 回退了允许在内部使用 TensorWeakRef 进行 swap_tensors 的提交，因为该更改破坏了向后兼容性，维护者认为不应接受。
PyTorch 撤销了 Inductor 中清理过期子进程缓存环境变量的补丁，原因是新引入的测试在 AMD 设备上出现失败，需要先解决兼容性问题。
trunk/435385ca35f617c705137c008d9bdc3e39dc6a8c
PyTorch 从 A100 的 Inductor 性能冒烟测试中移除了 DistillGPT2 模型，以精简测试集或调整基准覆盖范围。
viable/strict/1783364197: Skip test_conv2d_backward_parametrized on ROCm (CI timeout) (#188671)
由于 Triton 卷积反向模板在 AMD ROCm 平台上编译极慢导致 CI 超时，PyTorch 决定在 NAVI、MI300 等 ROCm 设备上跳过相关测试，待编译时间问题修复后再恢复。
viable/strict/1783358261: [MPS] linspace to metal (#188905)
PyTorch 将 linspace 算子的实现迁移至 Apple MPS（Metal），在 fp32、bf16、fp16 等多种数据类型上取得 7~8 倍加速，显著提升了 Mac 设备上的张量生成效率。
字节跳动的 AI 视频生成模型「Seedance」因出色的画面质量被众多好莱坞电影人使用，中国视频生成工具正在切实影响国际影视制作流程。
Scaling Properties of Continuous Diffusion Spoken Language Models
苹果机器学习团队研究连续扩散语音语言模型的缩放性质，提出音素 Jensen-Shannon 散度（pJSD）指标评估语言质量，发现连续扩散模型比离散自回归模型具有更好的扩展潜力。
llama.cpp 新增防御性逻辑，当遇到多缓冲区时立即终止运行，以防止意外多缓冲区导致的未定义行为，增强推理的健壮性。
针对大模型强化学习中训练与推理策略不匹配导致的训练不稳定问题，该工作提出了一种新的策略优化目标与框架，将单调推理策略确立为真实优化对象，从而保证训练阶段到推理阶段策略改进方向的一致性，有效缓解了策略崩溃等常见 RL 训练痛点。
📖 阅读⬇ PDFOrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers
图像和视频 Diffusion Transformer 的后训练量化通常需要针对不同时间步与模态重新校准，流程繁琐且容易损失精度。OrbitQuant 通过引入归一化旋转基的方法，使量化过程无需校准即可适应所有时间步和视觉模态，大幅简化部署流程并保持模型生成质量。
📖 阅读⬇ PDFDataComp-VLM: Improved Open Datasets for Vision-Language Models
DataComp-VLM（DCVLM）构建了视觉-语言模型数据管理策略的综合评测基准，专门用于检验不同数据筛选与混合方案对模型性能的影响。大规模实验发现，相较于严格的数据过滤，对不同数据源进行合理混合更能在大规模训练中稳定提升 VLM 性能，为开源数据集构建提供了新的工程原则。
📖 阅读⬇ PDFSecuring the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming
AI 基础设施安全长期缺乏统一测试框架，AI-Infra-Guard 以开源形式提出了一种分层红队检测方案，覆盖从基础设施、协议、智能体行为到模型本身的四层攻击面，能系统性地发现多层级安全漏洞，为智能体系统上线前的安全评估提供了可复用的工程工具。
📖 阅读⬇ PDFAGE: Adaptive-masking for Graph Embedding in Graph Retrieval-Augmented Generation
GraphRAG 在将图结构化数据引入大模型时，面临图嵌入与语言空间的特征不对齐问题。AGE 方法利用 Transformer 自监督学习与可学习的节点采样策略，通过自适应掩码图嵌入（Adaptive-masking）来对齐图语义与 LLM 表征空间，显著提升了图增强检索生成的效果。
📖 阅读⬇ PDFEmbodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots
具身 AI 模型（VLA/世界动作模型）在异构机器人边缘设备上部署困难，Embodied.cpp 作为便携 C++ 推理运行时，通过模块化执行层与精细化推理优化，在各类嵌入式和边缘硬件上实现了视觉-语言-动作模型的高效运行，降低了从仿真到真实机器人的迁移门槛。
📖 阅读⬇ PDFVLA-Corrector: Lightweight Detect-and-Correct Inference for Adaptive Action Horizon
视觉-语言-动作模型常用的动作分块执行在面对接触密集操作时容易累积误差而失败。VLA-Corrector 提出一种轻量级的潜在空间视觉监测器，可在推理时实时检测偏差并触发自适应纠正重规划，从而动态调整动作执行粒度，显著提升了精细操控任务中的鲁棒性。
📖 阅读⬇ PDFMeasuring the Gap Between Human and LLM Research Ideas
该研究定量分析了大模型生成研究想法与人类研究论文之间的分布差异，发现 LLM 倾向于围绕若干特定机会模式和既有范式产生聚类，而人类研究则呈现更广泛、更多样的概念分布，这为评估 LLM 科研创造力及其辅助研究设计的潜力提供了实证依据。
📖 阅读⬇ PDF