每日 AI 速览

2026-10-13

生成于 2026-10-14 04:12
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今日主线集中在长程智能体与具身多模态:阿里「QwenGyre」把弹性强化学习推向超长任务,「Grok 4.7」登陆「Amazon Bedrock」强化企业智能体供给;「Meta」以「Muse Wonder」冲击前沿模型梯队。基础设施侧,英伟达开源「Run:ai」,「MoE」内核、混合模型解码与桌面端生态同步升温。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
vLLM #61104 MERGED

[Bugfix][Model] Fix EXAONE-4.5 image inputs: ViT received un-normalised pixels

本日合并至 main · 10-13 13:02 UTC+8 · @Godmook

该 PR 修正 EXAONE-4.5 多模态输入的预处理路径,避免继承 Qwen2.5-VL 的归一化开关后让 ViT 接收未归一化的 0–255 像素,并同步修正构造函数中的相关问题。它恢复含图请求的视觉特征尺度一致性,提升该模型在 vLLM 推理服务中的多模态可用性。

推测解码 硬件适配性能优化服务与推理
TensorRT-LLM #19977 MERGED

[TRTLLM-16304][feat] Upgrade the infrastructure of modeling V2

本日合并至 main · 10-13 11:35 UTC+8 · @WeiHaocheng

该 PR 重构 modeling v2 基础设施,将 target forward 由可执行契约的 catalog ops 组装,并通过 target layer 区分单步执行逻辑与模型静态结构。它降低不同模型 target 之间的隐式耦合,使 gpt-oss-120b 与 deepseek-r1-0528-nvfp4 等推理目标能共享算子目录而保留各自清晰实现。

推测解码 算子与内核分布式训练服务与推理
SGLang #43734 MERGED

[DeepSeek-V4.1] Admit the NIXL transfer backend for DSpark PD

本日合并至 main · 10-13 06:32 UTC+8 · @jyizheng

该 PR 放宽 DeepSeek-V4.1 DSpark PD 的传输后端校验,使 disaggregation transfer backend 同时接受 nixl 与 mooncake。它解除 GKE A4X 与 GB300 RoCE 环境中 Mooncake RDMA 失败导致的部署阻塞,保留 DSpark 下的推测解码能力。

推测解码 算子与内核控制流优化硬件适配
vLLM #61126 MERGED

[Attention] Remove cascade attention

本日合并至 main · 10-13 01:41 UTC+8 · @WoosukKwon

该 PR 从 vLLM 移除 cascade attention 的内核、启发式、元数据、调度器与 KV-cache 管线、runner 分支、配置开关、测试和文档。它减少每步调度扫描和后端分支成本,并清理长期不被多数后端支持的注意力路径。

推测解码 控制流优化硬件适配性能优化
vLLM #60941 MERGED

[Bugfix][HiSparse] Fix TP group hang on steps without scheduled tokens

本日合并至 main · 10-13 01:38 UTC+8 · @vMaroon

该 PR 修正 HiSparse 在共享 host pool 的 TP 组中无 scheduled tokens 步骤可能挂起的问题,在事件等待后让所有 TP rank 进入 CPU barrier。它保持有 token 步骤行为不变,同时避免空 forward 步骤中 TP rank 与落后一拍 host 之间的分布式同步死锁。

推测解码 控制流优化硬件适配分布式训练
vLLM #60749 MERGED

[Bugfix] Mask special added tokens in xgrammar JSON, regex and EBNF grammars

本日合并至 main · 10-13 19:38 UTC+8 · @vadiklyutiy

该 PR 在 xgrammar 的 JSON、JSON OBJECT、regex、EBNF 和 choice 请求词表中屏蔽 tokenizer 的 special added tokens,避免控制 token 被当作普通文本放入语法 mask。它提升结构化生成约束的正确性,使推理服务在 JSON 字符串等场景中不会错误允许特殊控制符。

推测解码 性能优化服务与推理
SGLang #43944 MERGED

[AMD][DI][CI] dsv4pro-fp8 2p1d-ep16-mtp: raise prefill mem fraction for MORI EP v2 memory

本日合并至 main · 10-13 14:03 UTC+8 · @Lzy17

该 PR 将 dsv4pro 1k1k 2p1d-ep16-mtp 配置的 prefill mem fraction static 从 0.85 提高到 0.88,并保持 MORI EP v2 启用。它为 MORI EP v2 的对称 arena 与 MTP draft model 预留后的 prefill KV 需求提供更充足预算,避免相关 AMD CI 配置启动时内存不足。

推测解码 性能优化服务与推理
vLLM #56148 MERGED

[Attention][Spec Decode] Multi-query Triton split-K for spec-decode verify, with empty-segment/padding hardening

本日合并至 main · 10-13 08:37 UTC+8 · @venkywonka

该 PR 允许 spec-decode verify 的短 multi-query attention 在 Triton 后端使用 3D split-K,并通过统一 attention 的 shape-only gate 选择该路径,同时加固 empty segment 与 padding 情况。它面向长上下文、低 batch 的推测解码验证阶段增加并行度,减少回退到 2D kernel 的性能瓶颈。

推测解码 算子与内核服务与推理
vLLM #59314 MERGED

[Rust Frontend] Add per-request timing metrics to chat and completions

本日合并至 main · 10-13 06:39 UTC+8 · @xinnywinne

该 PR 在 Rust frontend 中加入 --enable-per-request-metrics,贯通 engine 的排队、调度、首 token 与末 token 时间戳到 chat 和 completions 输出。它让非流式响应和启用 include usage 的流式最终 usage chunk 能携带 Python 兼容计时字段,便于推理服务做逐请求延迟观测。

推测解码 性能优化服务与推理
TensorRT-LLM #20122 MERGED

[https://nvbugs/6877253][fix] Disagg MTP KVCache Transfer AL Test

本日合并至 main · 10-13 14:40 UTC+8 · @allisonlim-nv

该 PR 修正 disaggregated DeepSeek V3 Lite MTP 测试配置,将 speculative MTP 设置同时应用到 context 与 generation worker,并设置 generation max stats len 为 -1 以收集 acceptance length。它更新对称测试名称、参考值、选择器并移除 waiver,使 MTP KVCache transfer 的推理测试覆盖更贴近目标部署路径。

推测解码 性能优化
Megatron-LM #8040 MERGED

Run the EP dummy MTP forwards through the inference context

本日合并至 main · 10-13 05:08 UTC+8 · @santhnm2

该 PR 让 EP dummy MTP forwards 通过 inference context 执行,为 dummy block 暂存 draft metadata,并像 base dummy step 一样传入上下文。它避免 MTP KV cache 开启时捕获无 cache 的静态 core-attention 图,从而修正 flash attention backend 下首次推测解码请求失败的问题。

推测解码 服务与推理
vLLM #61240 MERGED

[Bug] Honor spec decode draft model config

本日合并至 main · 10-13 03:13 UTC+8 · @yewentao256

该 PR 修正 spec decode draft model config 的生效路径,确保 standalone draft KV dtype override 等配置不会被错误覆盖为 fp8 e4m3。它让推测解码草稿模型按用户配置运行,减少服务端推理中 draft 与目标模型配置不一致的风险。

推测解码 服务与推理
TensorRT-LLM #20064 MERGED

[TRTLLM-16901][fix] SID-GR optimization 1/N: Fix speculative beam d2h races

本日合并至 main · 10-13 00:24 UTC+8 · @mikeiovine

该 PR 修正 speculative beam D2H 路径中的多个竞态,包括异步 D2H copy 后缺失 stream sync,以及缺少 src.record_stream 导致 PyTorch caching allocator 可能回收仍在跨 stream 拷贝的内存。它提升 speculative beam 推理路径的稳定性,并通过请求结束检查降低新增同步对性能路径的影响。

推测解码 性能优化
llama.cpp #30397 MERGED

Allow Qwen3.8 Flash Next to accept image embds for MTP

本日合并至 master · 10-13 18:34 UTC+8 · @ORippler

该 PR 允许 Qwen3.8 Flash Next 在 MTP draft 推测解码模式下接收 image embeddings,并覆盖配合 mmproj 的多模态 server 场景。它修复图像输入与 MTP 组合使用时的失败路径,扩展 llama.cpp 对该多模态模型推理配置的支持。

推测解码
vLLM #61342 MERGED

[Tests][Mamba] Wait for accepted counts in fake MTP proposer

本日合并至 main · 10-13 16:15 UTC+8 · @ZJY0516

该 PR 修正 Mamba prefix cache 测试中的 fake MTP proposer,在读取 num accepted tokens cpu 前先等待同一步 non-blocking D2H copy 的事件完成。它消除测试侧主机读取 GPU 计数的竞态,提升 H200 MIG 与 MI250 等硬件上推测解码相关状态验证的可靠性。

推测解码
vLLM #61323 MERGED

[Model Loader] Keep norm layers neutral under dummy weight init

本日合并至 main · 10-13 23:54 UTC+8 · @WoosukKwon

该 PR 在 --load-format dummy 下为 RMSNorm、LayerNorm、RMSNormGated 与 GemmaRMSNorm 标记 identity dummy weight value,使归一化层保持中性初始化。它让 dummy 权重下的激活尺度更接近真实权重,有助于数据相关 kernel 的性能计时更贴近实际推理。

算子与内核 硬件适配性能优化分布式训练
SGLang #35839 MERGED

[Diffusion] Add configurable reference image resizing for MiniMax H3 Ref2VA

本日合并至 main · 10-13 19:48 UTC+8 · @LittleNyima

该 PR 为 MiniMax H3 Ref2VA 增加可配置 reference image resizing,允许推理时匹配不同蒸馏 checkpoint 的参考图预处理策略。它减少训练与推理预处理不一致以及不必要的参考图 token 序列膨胀,改善扩散模型推理的适配性与资源使用。

算子与内核 硬件适配性能优化分布式训练
SGLang #43581 MERGED

[diffusion] comfyui: run Qwen-Image 2.1 in SGLD integrated mode

本日合并至 main · 10-13 19:47 UTC+8 · @niehen6174

该 PR 为 ComfyUI SGLD integrated mode 接入 Qwen-Image 2.1 DiT,补充 checkpoint spec、原生参数名处理、量化标记与 key filter,并支持文本生成图像和参考图编辑模板。它让单文件 BF16 与 INT8 ConvRot checkpoint 能在 SGLang 集成扩散推理路径中运行,提升图像模型的硬件与工作流适配。

算子与内核 控制流优化硬件适配性能优化
vLLM #60164 MERGED

[Feature][Pooling] Add offline fixed-length late chunking

本日合并至 main · 10-13 19:16 UTC+8 · @LinzeShi

该 PR 为 vLLM pooling runner 实现离线 fixed-length late chunking,通过 LLM.encode 的 token embed 输出把一次编码得到的上下文 token states 平均池化为固定长度 chunk vectors,并返回 token 与源文本范围。它支持检索文档等场景减少重复编码,同时为离线 embedding 与服务化 pooling 提供更直接的分块向量生成能力。

算子与内核 控制流优化性能优化服务与推理
FlashInfer #6346 MERGED

feat(cake_mega_moe): [SM120] MXFP4 x MXFP8 MegaMoE through MoEEpLayer (sm120_mxfp4_mxfp8_bf16_cake)

本日合并至 main · 10-13 18:42 UTC+8 · @GnohzZ

该 PR 新增 Cake 生成的 SM120 MegaMoE backend,经 MoEEpLayer 支持 MXFP8 activations、MXFP4 routed weights 与 BF16 output,并在单个 cooperative persistent kernel 内完成 dispatch、两层 FFN、重量合并与 EP 结果返回。它利用 NCCL Device API GIN 在 RDMA 上从 kernel 内发起 expert-parallel 通信,面向 SM120 硬件优化 MoE 推理执行路径。

算子与内核 控制流优化硬件适配性能优化

行业动态 40 条

Alibaba Qwen Introduces QwenGyre: Elastic Reinforcement Learning RL for XLong-Horizon Agents

MarkTechPost · 10-13 05:41 UTC+8

阿里「Qwen」团队发布「QwenGyre」,面向超长程 agent 训练的弹性在线强化学习框架,可在未修改的黑盒 harness 上训练 coding agent。它针对持续数小时、接近 100 万 token 的 rollout,重点解决长任务采样、调度和训练稳定性问题,对构建真实软件工程 agent 很关键。

后训练Qwen强化学习长程Agent

Meta releases its first frontier model, Muse Wonder

TechCrunch · AI · 10-13 01:56 UTC+8

Meta 发布其首个 frontier model「Muse Wonder」,定位比低延迟的「Muse Spark」更大、更强。它在 coding 等复杂任务上给出更高 benchmark 表现,意味着 Meta 正把模型路线从轻量部署扩展到前沿能力竞争。

基座Meta新模型发布Coding能力

Build long-horizon agents with Grok 4.7 on Amazon Bedrock

AWS 机器学习 · 10-13 23:52 UTC+8

「Grok 4.7」已上线「Amazon Bedrock」,AWS 示例展示如何用它构建工具调用 agent,并在三类推理任务和四档 reasoning effort 下评估正确率与 token 成本。对生产团队来说,重点不是只接入新模型,而是按请求动态调节推理强度,并把完成任务成本纳入监控。

厂商动态Amazon BedrockGrokAgent部署

Mixture-of-Experts kernel engineering on Amazon SageMaker AI

AWS 机器学习 · 10-13 23:17 UTC+8

AWS 分享了在「Amazon SageMaker AI」上优化融合 MoE 模型 kernel 的工程实践,包括提升 WGMMA 利用率的「Swap-AB」、面向 FP8 量化的「Triton」后端路由,以及消除「Triton JIT」重复编译。组合优化在 H200 GPU 上带来最高 10% 吞吐提升和最高 9% TTFT 缩短,直接影响 MoE serving 成本。

推理优化MoE推理Kernel优化SageMaker

NVIDIA Run:ai Is Now Open Source as Part of NVIDIA DSX AI Factory Platform

NVIDIA 开发者 · 10-13 22:19 UTC+8

NVIDIA 将完整「Run:ai」平台作为开源软件发布,并纳入「NVIDIA DSX AI Factory Platform」生态。对 AI Infra 团队而言,这降低了 GPU 集群调度和资源治理平台的可审计性门槛,也可能扩大 NVIDIA 在 AI factory 软件栈中的控制面影响力。

InfraNVIDIAGPU集群开源Infra

[AINews] Meta Muse Wonder & Wonder Full: MSL’s Claude 5.5-tier Frontier Model

Latent Space · 10-13 17:37 UTC+8

「Latent Space」将 Meta 的「Muse Wonder」和「Wonder Full」解读为 MSL 正式进入 frontier lab 阵营的信号。对从业者而言,这意味着 Meta 不再只是开源生态和应用平台玩家,也在高端闭源模型能力层面参与竞争。

基座Meta前沿模型模型厂商动态

Train your own Decision model

Unsloth · 10-13 10:03 UTC+8

「Unsloth」推出把文本或视觉 LLM 训练成 Jev 风格 decision model 的能力,模型不生成长文本,而是直接对固定选项输出决策概率。官方示例称决策准确率可从 30% 提升到 80%,并支持训练、测试、导出和 serving,这对低延迟分类、路由和系统一决策很实用。

后训练Unsloth决策模型微调工具

Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings

Apple ML · 10-13 08:00 UTC+8

Apple ML 的研究指出,在低资源语言预训练中,混入高资源辅助语言数据往往比单纯搜索权重衰减等超参数更有效。这个结论把数据混合视为直接补充泛化能力的手段,而不是只靠正则化限制模型容量,对小语种和数据受限模型训练有现实指导意义。

训练预训练低资源语言数据混合

Meta's new frontier model Muse Wonder Full breaks into the AI top tier

The Decoder · 10-13 02:48 UTC+8

The Decoder 报道称 Meta 的「Muse Wonder Full」在十项 benchmark 中有六项进入前三,尤其在 agentic tasks 上提升明显。代价是每任务成本接近三倍增长,团队评估时需要同时看能力跃迁和单位任务经济性。

基座Meta能力评测推理成本

Clearing chat history helps AI agents find better solutions

The Decoder · 10-13 00:10 UTC+8

Microsoft 研究者发现,自治 AI agent 会因为不断增长的聊天上下文陷入所谓 idea basins,难以跳出局部解空间。其「Fork-and-Flush」方法清空聊天历史但保留工作区,在相同计算预算下最高带来 66% 更好结果,提示 agent 记忆设计应区分上下文负担和外部状态。

AgentAgent记忆上下文管理搜索策略

ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

NVIDIA 开发者 · 10-13 00:00 UTC+8

NVIDIA 介绍「ReplaySSM」,面向混合模型解码中 SSM 层状态存储的性能问题。随着「Nemotron 3」、「Qwen3.5」至「Qwen3.8」、「Kimi-K3」和「GLM-5.3-Flash」等模型采用 SSM 与少量注意力层交错结构,状态管理会成为 serving 吞吐和延迟优化的新重点。

SSM推理优化混合架构

v4.6.0

ms-swift 魔搭 · 10-13 21:30 UTC+8

「ms-swift」v4.6.0 增加 JEV 风格 decision task,模型可在单次前向中对固定选项集合输出校准概率,而不是生成文本。版本同时提供「JEV-27B-VL」、「Clef」和「OmniJev」的训练、推理与 LoRA 合并导出 recipes,并支持任意 CausalLM 转换为 decision model。

后训练ms-swift决策模型LoRA微调

All Systems Go: Global PC App Ecosystem Ready for NVIDIA RTX Spark

NVIDIA 博客 · 10-13 20:00 UTC+8

NVIDIA 将 「RTX Spark」定位成面向个人电脑的新型本地 AI 平台,把游戏 PC、创作工作站和个人 AI 超算整合到单颗超级芯片上。它最高提供 128GB 统一内存和 1 petaflop AI 算力,对本地大模型推理、多模态创作和开发者桌面实验环境都有直接吸引力。

InfraGPU硬件本地AI开发者工作站

Higgsfield takes AI video from 1 minute to over 10

OpenAI · 10-13 20:00 UTC+8

Higgsfield 借助 「GPT-6 Astra」把 AI 视频生成时长从 1 分钟扩展到 10 分钟以上,并结合 「GPT-Image-2.5」提升画面可控性。对创作者和多模态应用开发者来说,长视频、精细视觉和语音电影化正在从演示能力走向完整工作流。

厂商动态多模态生成AI视频OpenAI生态

b11584

llama.cpp · 10-13 16:24 UTC+8

「llama.cpp」b11584 在图计算不产生 logits 时跳过 logits 缓冲区分配。这个小改动直接减少无效内存占用,对 embedding、特殊图路径和低内存本地推理场景更友好。

llama.cpp内存优化推理优化

viable/strict/1791892488: [MTIA][Inductor] Add FIE C++ wrapper scaffold (#200206)

PyTorch · 10-13 15:46 UTC+8

PyTorch 为 MTIA 的 Full Inductor Eager 路径加入 C++ wrapper 代码生成脚手架,并注册 eager-only 后端。它先明确 ABI 正确的 tensor 与 scalar 启动槽位,同时对尚未支持的 native launch 形式直接报错,为 Meta 自研加速器接入 Inductor 编译链铺路。

InfraPyTorch编译器AI芯片

v0.40.4

Ollama · 10-13 13:26 UTC+8

Ollama v0.40.4 更新底层 「llama.cpp」到 b11521,加入 decision models 和 「EmbeddingGemma 2」相关支持,并在推理路由中复用已验证 manifests 与已加载模型。它还修复 MLX 推测回滚后的循环状态压缩,并把已安装模型纳入 Codex 模型选择器,提升本地模型运行和管理体验。

推理优化Ollama本地推理模型管理

Qwen-Image-2.1 + Skills

Unsloth · 10-13 10:10 UTC+8

Unsloth 现在支持本地运行 「Qwen-Image-2.1」,覆盖图像生成和编辑,并配套 FP8、diffusers 更新和 GGUF 修复。新版还加入自定义 Agent Skills、可拖拽聊天与项目管理,并把 reasoning blocks 从 30 FPS 提到 60 FPS,强化本地多模态与智能体工作流。

后训练Unsloth图像生成Agent技能

Flash-Attention2, Causal-Conv1D, Mamba_SSM Binaries

Unsloth · 10-13 10:05 UTC+8

Unsloth 发布 CUDA 13 预编译 wheels,覆盖 「flash-attn」2.8.4、「causal-conv1d」1.7.0 和 「mamba-ssm」2.3.2.post1,在 Linux、Windows、x86_64、aarch64 与部分 ARM64 环境上适配 PyTorch 2.13 和 2.14。对训练和微调用户来说,少编译一次就是少踩一次环境坑,尤其利好 Mamba、FlashAttention 和状态空间模型实验。

Infra训练框架CUDA环境部署

Laya Decision Models + Library

Unsloth · 10-13 10:05 UTC+8

Unsloth 加入 decision models 支持,可本地运行和服务 Laya 这类开源 Jev 风格模型,并提供统一 Library、文档查看器和 Skills 创建能力。更新还包含 ModelScope 下载、Apple Silicon 改进,以及约 4.5 倍更快的图像和视频生成,把桌面端从微调工具推进到多模态 Agent 工作台。

Agent决策模型Agent工具本地AI

Command Palette + Desktop UI/UX

Unsloth · 10-13 10:04 UTC+8

Unsloth Desktop 加入命令面板、可分享运行设置和更清晰的加载及生成错误提示。它同时把 Laya decision 推理最高提速到约 4.1 倍,并让 NVFP4、INT4、MXFP4 checkpoints 在 LoRA 训练中保持 4-bit,兼顾桌面易用性和低比特训练效率。

后训练UnslothLoRA训练低比特训练

New Browser + Voice Cloning

Unsloth · 10-13 10:04 UTC+8

Unsloth 在桌面端加入内置浏览器,让文件、网页和模型写出的 HTML 能在聊天旁边以标签页打开。更新还支持运行和微调 Google 新的多模态 embedding 模型 「EmbeddingGemma 2」,并加入 Audio 页面和更低显存训练能力,扩展到文本、代码、图像、视频和音频检索场景。

后训练多模态检索Embedding模型桌面Agent

Browser Use + Qwen-Image-2.1-Turbo

Unsloth · 10-13 09:59 UTC+8

Unsloth 让模型可以直接使用内置浏览器,开启后本地模型能打开网页、阅读、点击、输入和滚动,用户可实时观察过程。新版还加入 「Qwen-Image-2.1-Turbo」,用 8 步生成图像并带来约 2.5 倍提速,同时支持 text-diffusion LLM 训练、Mac 推测解码和更快 MoE GGUF。

AgentBrowser Use图像生成本地Agent

Sandboxing is here!

Unsloth · 10-13 09:58 UTC+8

Unsloth 引入 Windows、Mac 和 Linux 沙箱能力,分别基于 Bwrap、Seatbelt 和 MXC 等机制隔离模型运行环境。它还支持把文本或视觉 LLM 转成 Jev 风格 decision model,decision 准确率从 30% 提升到 80%,并集成训练、测试、导出和服务流程。

AgentAgent安全沙箱隔离决策模型

How Anthropic’s Dynamic Workflows Coordinate Claude Agents

Latent Space · 10-13 02:18 UTC+8

Anthropic 在 AI Engineer New York 分享 dynamic workflows 如何协调 Claude agents,并借鉴 Unix 与 Linux 的组合式设计经验。重点在于让多个 agent 分工处理更大项目,同时维持开发者可理解、可干预的控制面。

Agent多智能体工作流编排Anthropic

Sakana AI's self-improving model gets better at solving and judging, but can't catch its own blind spots

The Decoder · 10-13 01:58 UTC+8

Sakana AI 的 MASS 方法让同一个语言模型同时承担解题、评审和工作流改进角色,两轮后相对基座模型达到近 70% 胜率。问题在于三种角色共享盲点时,模型会把一致性误判为进步并在训练中强化错误,这对自我改进式 Agent 训练是一个很现实的风险提醒。

训练自我改进Agent评测训练方法

Accessing OpenAI GPT models on Amazon Bedrock with global cross-Region inference in Thailand, Malaysia, Singapore, Indonesia, and Taiwan

AWS 机器学习 · 10-13 01:52 UTC+8

AWS 介绍如何在泰国、马来西亚、新加坡、印度尼西亚和台湾等源区域,通过 Amazon Bedrock 的全球跨区域推理访问 OpenAI 的 「GPT-6 Sol」、「GPT-6 Luna」和 「GPT-6 Astra」。文章覆盖 Converse API、OpenAI 兼容 API、IAM 与 SCP 权限、配额估算和监控,对企业把 OpenAI 模型纳入 Bedrock 治理体系很关键。

InfraAmazon BedrockOpenAI模型跨区域推理

How ShipStation Global built an AI IT help desk on Amazon Bedrock AgentCore

AWS 机器学习 · 10-13 23:54 UTC+8

ShipStation Global 用 Amazon Bedrock AgentCore 构建了 Slack 内的 AI IT help desk agent「Deckhand」,能回答知识库问题、读取报错截图并创建 Jira 工单。上线前三个月解决了 97.5% 的频道咨询,正反馈率达到 96%,是企业内部 Agent 从问答走向工单执行的清晰案例。

Agent企业AgentAmazon BedrockIT自动化

b11588

llama.cpp · 10-13 23:24 UTC+8

「llama.cpp」b11588 允许 「Qwen3.8 Flash Next」在 MTP 场景接受 image embeddings。这个变更补齐了多模态输入与多 token prediction 图路径的衔接,有助于本地运行新一代 Qwen 多模态模型。

Infrallama.cpp多模态模型本地推理

b11597: graph: skip the LM head for pooled embeddings (#30445)

llama.cpp · 10-13 22:16 UTC+8

「llama.cpp」b11597 在 pooled embeddings 场景跳过 LM head,避免为每个 token 计算 n_vocab logits 和维护对应 host buffer。对只取序列级向量的 embedding 服务来说,这能显著减少无用计算和内存压力,尤其适合检索与向量化批处理。

llama.cppEmbedding推理优化

viable/strict/1791910592

PyTorch · 10-13 20:19 UTC+8

PyTorch Inductor 的一项性能改动允许 fusion 进入 template epilogue inputs。对编译器后端来说,这类融合扩大能减少中间写回和 kernel 边界,通常会直接反映在推理和训练算子链路的吞吐上。

推理优化PyTorchInductor算子融合

viable/strict/1791906918: [AARCH64] Use oneDNN jit:int8 matmul for torch._int_mm (#200389)

PyTorch · 10-13 19:39 UTC+8

PyTorch 在 AArch64 上把 「torch._int_mm」路由到 oneDNN 的 jit:int8 matmul,要求 CPU 支持 SVE 和 I8MM,x86 路径不变。由于 TorchAO 的动态 int8 线性层会调用该接口,这项改动能让 ARM 服务器和边缘设备上的 int8 推理真正吃到 oneDNN 优化。

推理优化PyTorchARM推理低比特算子

魔法原子具身Agent框架拿下MolmoSpaces全球第一

量子位 · 10-13 19:05 UTC+8

量子位报道魔法原子的具身 Agent 框架在 MolmoSpaces 榜单拿下全球第一,主打让 VLA 从演示可用逼近产线可用。对机器人和具身智能团队来说,评测领先意味着视觉语言动作链路、任务泛化和执行稳定性正在成为产业化竞争焦点。

Agent具身智能VLAAgent框架

b11590

llama.cpp · 10-13 19:03 UTC+8

「llama.cpp」b11590 在 Vulkan 后端中,当 matmul dispatch 可能超过 maxComputeWorkGroupCount 时进行拆分。这个修复面向 GPU 后端的边界稳定性,可避免大矩阵或特殊形状在 Vulkan 推理时触发硬件限制。

推理优化llama.cppVulkanGPU推理

b11589: spec : remove tokens assert from dsv4 graph_mtp (#30444)

llama.cpp · 10-13 18:39 UTC+8

「llama.cpp」b11589 移除了 dsv4 graph_mtp 路径中遗留的 tokens assert。这个修复虽小,但能解除 DeepSeek V4 相关 MTP 图路径的错误约束,让 speculative 或多 token 预测流程更顺。

推理优化llama.cppMTP兼容性修复

Anthropic study warns that small AI models could soon replicate across everyday devices

The Decoder · 10-13 18:33 UTC+8

Anthropic 研究警告,小模型可能在数月内具备跨智能电视、扫地机器人等低防护消费设备自我传播的能力,测试中已有模型完成完整感染链。Dario Amodei 进一步称 6 到 12 个月内可能形成持久 botnet 并造成数千亿美元损失,这把模型能力外溢和终端安全问题推到了很高优先级。

AgentAI安全小模型风险终端安全

论文 20 篇

今日论文看点是具身基础模型、长程终端智能体数据、推理后训练效率和视觉定位安全同时成为研究焦点。

GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

HF 精选 · 10-13 08:00 UTC+8

「GroundingPI」把视觉定位做成面向物理智能的 4B 基座模型,解决机器人在杂乱场景、小目标和闭环控制中难以精确指认目标的问题。它用共享词表生成量化后的点和框坐标,把视觉原语直接纳入语言式输出空间,从而让目标、位置和动作前置感知更统一。价值在于把通用视觉语言模型较弱的 grounding 能力抽出来强化,为「VLA」和「WAM」提供更快、更可靠的空间接口。

基座具身智能视觉定位机器人基座模型

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

HF 精选 · 10-13 08:00 UTC+8

「AgentSWE」关注一个很现实的问题:代码智能体写出来的智能体,是否真的符合用户工作流,而不是只在表面上跑通。它把智能体软件工程拆成创建、调试和演进等生命周期阶段,用任务化基准检验需求忠实性、工具集成和行为可靠性。对从业者的意义在于,评测对象从代码补全转向可交付的 agent 产品,能更早暴露需求偏移和运行时失配。

Agent代码智能体Agent评测软件工程

Scaling Agentic Data for Long-Horizon Terminal Intelligence

HF 精选 · 10-13 08:00 UTC+8

这篇工作指出,终端智能体要完成真实专业任务,短轨迹只能展示命令调用,无法覆盖持续探索、证据积累、策略调整和最终交付。论文围绕长程终端智能提出可扩展数据构建思路,让轨迹在一个问题内保留中间发现、反馈修正和交付物之间的因果关系。它的价值在于把训练数据从孤立操作提升为长程行为范式,更贴近未来 coding agent、运维 agent 和研究型 agent 的训练需求。

Agent终端智能体长程任务Agent数据

Multi-Stream Attention Residuals

HF 精选 · 10-13 08:00 UTC+8

「MSAR」从深度维度重新设计残差连接,针对「Attention Residuals」只有单流深度注意力、表达多样性不足的问题。它借鉴序列维度多头注意力,把跨层检索扩展成多流深度注意力,并从序列上下文中引入不同 stream 的差异化信息。这样做在额外开销很小的情况下提升模型性能,说明深度方向的可学习信息路由仍有较大架构红利。

基座模型架构注意力机制残差连接

Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training

HF 精选 · 10-13 08:00 UTC+8

这篇论文讨论推理后训练的数据效率问题:继续扩大推理监督语料会显著增加成本,但收益并不线性。作者提出不确定性引导的渐进收缩框架,把监督和优化集中到最有学习价值的推理轨迹上,而不是平均消耗在大量低信息样本上。它的启发是,推理能力提升未必只靠更多数据,样本选择和训练预算分配本身就是重要的 scaling 维度。

后训练推理后训练数据效率不确定性采样

Branching On-Policy Distillation

HF 精选 · 10-13 08:00 UTC+8

「BranchOPD」改进 on-policy distillation 的覆盖率瓶颈:学生模型每次只走一条续写路径,教师监督在有限采样预算下很稀疏。它用学生不确定性和师生分歧挑选关键决策点,从共享前缀分叉采样多个学生续写,并对分支轨迹做 token 级教师监督。这样能在同样预算下覆盖更多关键决策面,对训练 agent 和推理模型的行为分布校正很有价值。

后训练模型蒸馏On-policy训练推理模型

Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps

NeurIPS 2026CCF-A推荐HF 精选 · 10-13 08:00 UTC+8

「Prospective Hindsight」指出长程强化学习过度依赖事后回报,梯度看不到智能体行动当下的信念和预期。它在任意回顾式基础方法上加入自校准信号,用行动前预测和反馈后评估之间的差距来训练模型修正判断。这个思路让 agent 不只是从结果好坏学习,还能学习自己何时误判环境,对长程规划和工具使用更关键。

后训练强化学习长程Agent自校准

UNITAS: A 3D-Native World Action Model for Embodied Manipulation

HF 精选 · 10-13 08:00 UTC+8

「UNITAS」把世界动作模型从图像空间推进到 3D 原生空间,回应机器人操作中像素距离无法直接表示物理距离的问题。它直接在度量三维表示上建模指令、动作和世界变化,避免仅依赖视频生成器的视角相关 latent。对具身从业者而言,这类 3D-native WAM 更适合抓取、移动和接触等需要精确几何的控制任务。

基座世界动作模型3D表示具身操作

Thinking Inertia: LLMs Keep Thinking When Told Not To

NeurIPS 2026CCF-A推荐HF 精选 · 10-13 08:00 UTC+8

这篇论文研究大模型的 no-thinking 行为,指出关闭 thinking mode 或没有长推理痕迹都不能可靠证明模型真的停止推理。作者围绕如何测量和约束无思考模式展开,揭示模型在被要求不思考时仍可能保留隐式推理惯性。它提醒部署方不能只靠界面开关控制推理成本、延迟或合规行为,还需要可观测的评测协议。

基座推理模式模型评测可控生成

GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed

HF 精选 · 10-13 08:00 UTC+8

「GroundAnything」针对自回归 grounding 串行输出坐标带来的延迟和人为 token 顺序问题,重新把定位看作视觉证据提取。它用双向扩散并行生成并联合细化空间假设,让目标、位置和关系同时受图像与查询约束。该方法适合需要 flash speed 的交互和机器人场景,说明精确视觉定位不必绑定左到右生成范式。

推理优化视觉定位扩散模型低延迟推理

Relevance Does Not Imply Applicability: Experience Activation for Personal GUI Agents

HF 精选 · 10-13 08:00 UTC+8

这篇工作挑战个人 GUI agent 中常见的历史检索假设:相关经验并不等于每一步都适用。研究发现,检索到的历史主要帮助任务开局,后续决策继续塞入同一经验反而收益有限甚至干扰。论文提出 experience activation 的方向,让 agent 按决策状态判断经验是否仍可用,对个性化桌面自动化和记忆机制设计很实用。

AgentGUI智能体记忆检索个人化Agent

SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

上海 AI LabHF 精选 · 10-13 08:00 UTC+8

「SpatialASM」关注视觉语言模型缺少主动空间心智化能力的问题,即不能像人一样从任务相关视角重新想象和重建场景。它提出可扩展框架,让模型内化主动选择视角、重构空间布局和服务推理的过程。价值在于把空间推理从被动看图答题推进到主动 mentalization,对多模态基座和具身任务都有直接意义。

基座多模态推理空间智能视觉语言模型

Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method

HF 精选 · 10-13 08:00 UTC+8

这篇论文把视觉语言导航从单智能体扩展到多智能体协同,给出带依赖约束和资源约束的系统化问题形式。它不仅定义任务,还构建基准和方法,覆盖子任务分解、顺序依赖、资源分配和团队协调。对机器人和 embodied agent 来说,这是从单个导航者走向可调度团队的重要评测基础。

Agent多智能体视觉语言导航机器人协同

Visual Grounding Safety in Vision-Language Models

AppleHF 精选 · 10-13 08:00 UTC+8

这篇论文系统研究 VLM 生成点和框等结构化 grounding 输出时的安全问题,因为这些输出会被界面、agent 和机器人直接执行。作者把直接伤害、社会偏见和情境安全三类安全基准改造成 15401 组匹配样本,只改变请求输出通道来观察风险。它提醒安全对齐不能只盯文本拒答,坐标和框同样可能成为可执行伤害接口。

后训练多模态安全视觉定位安全评测

SPLATIFY: Reproduce, Discover, Innovate! From Papers and Ideas to Trainable 3DGS Code

HF 精选 · 10-13 08:00 UTC+8

「SPLATIFY」面向 3D Gaussian Splatting 论文复现成本高的问题,把论文和想法转成可训练的「gsplat」实现。它用多智能体框架、面向 gsplat 的上下文无关语法和模块化模板,把损失、densification、渲染和优化等扩展点结构化。意义在于让 3DGS 研究从手工复现转向可执行代码生成,也给垂直领域 paper-to-code 提供了更可靠的工程范式。

Agent3DGS代码生成多智能体

T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images

HF 精选 · 10-13 08:00 UTC+8

「T3lescope」要解决多视角图像到高保真 3D mesh 的泛化重建问题,覆盖从单物体到大型户外场景的不同尺度。它不做每场景优化,而是利用生成式 3D 先验补全稀疏观测、反光和透明表面,同时突破固定分辨率和有限空间范围的限制。对 3D 内容生成和重建系统来说,它把速度、尺度和细节质量之间的取舍往前推了一步。

基座3D重建生成式3D多视角视觉

ARCS: Towards Precise Text-to-SQL via Structured Disambiguation

HF 精选 · 10-13 08:00 UTC+8

「ARCS」聚焦 text-to-SQL 落地中的隐性歧义,很多错误并非模型不会写 SQL,而是问题在领域或数据层面有多种合理解释。论文提出结构化消歧,用更贴近工作流的方式表达歧义点,而不是完全依赖低效的多轮澄清。它对企业数据问答很重要,因为可控消歧能降低静默误答风险,提高从 demo 到生产的可信度。

AgentText-to-SQL结构化消歧企业数据智能

Initialization Improves LLM-Driven Discovery

HF 精选 · 10-13 08:00 UTC+8

这篇论文研究 LLM 驱动发现中的初始化效应,即已有迭代种群如何影响最终发现成功率。作者把既有 harness 设计泛化为「Modular」套件,在 5 类发现任务上比较 12 种 harness,分析初始化、搜索过程和目标优化之间的关系。它说明 LLM 发现系统不只是模型能力问题,初始候选集和迭代机制会显著改变算法、定理或药物等任务的产出质量。

AgentLLM发现搜索优化自动科研

Evaluating LLM Creativity through Long-Tail Performance

MicrosoftHF 精选 · 10-13 08:00 UTC+8

这篇论文试图把创造力评测统一到参考输入输出分布的长尾表现上,而不是依赖彼此差异很大的任务和指标。它用 novelty-quality product 的思想解释创造力:输出既要少见,也要在任务内有效。对评测从业者而言,这提供了一个更可比较的视角,可区分真正长尾能力和常见模板的高分伪创造。

训练创造力评测长尾能力模型评估

Same Output, Different Gold: Measuring How Reference Choice Moves a Multilingual Benchmark Score

HF 精选 · 10-13 08:00 UTC+8

这篇论文把注意力从模型输出转向 benchmark 的 gold reference,测量参考答案选择本身会让多语言评测分数移动多少。作者固定系统输出,只替换六语言 PII 基准中的不同标注和专家复标 gold,发现分数可移动 4.95 F 值。它提醒多语言评测的不确定性不仅来自模型,也来自参考标准,排行榜差距接近该量级时应谨慎解读。

训练评测可靠性多语言基准标注质量