每日 AI 速览

2026-10-07

生成于 2026-10-08 04:11
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今日主线集中在三处:基座模型继续放大,Mistral Large 4与EmbeddingGemma 2把多模态MoE和轻量嵌入推到台前;推理基础设施围绕DeepSeek在vLLM上的吞吐、llama.cpp更新、GPU网络与集群配置标准化提速;Agent侧则从OpenAI Decisions API、无状态MCP、浏览器接入与企业知识行动化走向可控决策。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
vLLM #57992 MERGED

[Bugfix][MLA] Scope DSpark non-causal capability to builder layers

本日合并至 main · 10-07 23:22 UTC+8 · @xaguilar-amd

该 PR 将 DSpark 非因果多 token decode 能力的判定限定到 metadata builder 自身负责的层,避免从合并后的 KV cache group spec 继承错误标记。它修正了因果 target 与 DSpark draft 共享 KV cache group 时的 DCP 校验问题,提升混合推测解码配置的可用性。

推测解码 算子与内核硬件适配性能优化
vLLM #60210 MERGED

[Bugfix] Index Mamba align state copies by request slot in MRV2

本日合并至 main · 10-07 10:32 UTC+8 · @ZJY0516

该 PR 修正 MRV2、PP 与 MTP 组合下 Mamba align state copy 内核按请求槽位索引持久 block table,避免 postprocess 读取后续 batch 的 block ids。它防止 recurrent state 被其他请求污染导致 NaN logits、固定 token 输出和 acceptance 崩溃,增强推测解码流水线稳定性。

推测解码 算子与内核控制流优化硬件适配
SGLang #42239 MERGED

[Perf] Accelerate DiffusionGemma with FA4 and CUDA graphs on Blackwell

本日合并至 main · 10-07 10:31 UTC+8 · @leonardHONG

该 PR 为 Blackwell 上的 DiffusionGemma BF16 denoising 增加 FA4 attention 路径、CUDA graph 捕获、QKV normalization 与 RoPE 融合,以及 B300 MoE 配置。它把重复输入准备、context encoding 和若干算子融合进更适合 Blackwell 的执行路径,降低推理调度与内核开销。

推测解码 算子与内核硬件适配性能优化
SGLang #42757 MERGED

[AMD][Docs] Add MI355X DeepSeek-V4 Pro PD recipes

本日合并至 main · 10-07 07:58 UTC+8 · @Duyi-Wang

该 PR 在文档中新增 MI355X DeepSeek-V4 Pro 1P1D 部署配方,并为 Router、Prefill、Decode 生成独立命令与多档 FP4 preset。它让 AMD MI355X 上的 DeepSeek-V4 Pro PD 推理配置更清晰,便于部署 EAGLE、MTP、DSpark 与 UMBP 等推测解码方案。

推测解码 硬件适配性能优化分布式训练
FlashInfer #6126 MERGED

fix(cake_kimi_k3_mla): bound the lazy E4M3 reference drop on the row-tile kernels (Inf/NaN rows with attention-sink keys); regenerate SM100 / SM103

本日合并至 main · 10-07 06:48 UTC+8 · @yyihuang

该 PR 修复 cake backend 的 Kimi-K3 MLA FP8 paged attention decode 在含 attention-sink key 的批次中产生 Inf 或 NaN 行的问题,并重新生成 SM100 与 SM103 程序源和 JIT 注册内容。它提高 FP8 KV cache 推理在特定批组合下的数值稳定性,保障 Kimi-K3 MLA decode 内核可用于 Blackwell 系列硬件。

推测解码 算子与内核硬件适配性能优化
SGLang #42651 MERGED

Back the DFlash-family draft KV pool to the post-capture token count

本日合并至 main · 10-07 05:23 UTC+8 · @metamergebot

该 PR 将 DFlash-family draft KV pool 接入 post-capture KV sizing,使 draft pool 按 CUDA graph 捕获后的 token count 回填内存,而不是提前按上界分配。它避免 draft pool 抢占 target pool 的最终显存预算,改善推测解码在动态 KV sizing 下的显存利用。

推测解码 算子与内核硬件适配性能优化
SGLang #42755 MERGED

[Metrics] Add per-rank DP attention imbalance metrics

本日合并至 main · 10-07 05:20 UTC+8 · @metamergebot

该 PR 在已有 DP attention metrics 开关下导出每个 rank 的 DPBalanceStats,并在 MLP-sync all-gather 后记录各 rank token count 与浪费容量。它让 attention-DP lockstep 中的负载不均从间接吞吐现象变成可观测指标,便于定位推理性能瓶颈。

推测解码 控制流优化硬件适配性能优化
vLLM #58132 MERGED

[Model] Decoder-side SWA bounded replay for DeepSeek-V4.1

本日更新,目标 main · 10-07 04:04 UTC+8 · @ivanium

该 PR 为 DeepSeek-V4.1 decoder 侧加入 SWA bounded replay,在后半段仅持有 sliding-window KV 的层中,把 eager prefill 限定到每个请求最后 128 个 token 并构造独立子 batch。它减少不必要的 decoder 侧重放范围,同时保持 DP rank 对 trim 行为和 replay 元数据的一致认知。

推测解码 算子与内核控制流优化硬件适配
SGLang #41927 MERGED

[PD] Fix crash for allocation when mamba + pd + decode radix cache

本日合并至 main · 10-07 00:36 UTC+8 · @ByronHsu

该 PR 从 combined-engine allocation 逻辑中抽取 Mamba capacity 确保流程,修复 Mamba/KDA、PD decode 与 decode radix cache 组合下 fresh request 需要多个 slot 但 admission 未驱逐缓存状态的问题。它避免 decode worker 因 Mamba ping-pong buffer 分配不足而断言退出,提升 PD 推理服务稳定性。

推测解码 算子与内核硬件适配性能优化
vLLM #56791 MERGED

[Bugfix] Trim stale consequence claims from unannotated-eagle warning

本日更新,目标 main · 10-07 14:41 UTC+8 · @ZJY0516

该 PR 精简 unannotated EAGLE Mamba 警告文案,移除对消费者行为和外部 KV offload 命中结果的过度断言,并补充相关测试。它减少误导性日志对推测解码配置排查的干扰,让运维和调试信息更贴近实际支持边界。

推测解码 性能优化服务与推理
TensorRT-LLM #12545 MERGED

[None][feat] Add production-level Prometheus metrics (iteration stats, config info, token counters, phase histograms)

本日更新,目标 main · 10-07 00:50 UTC+8 · @nvyutwu

该 PR 为 TensorRT-LLM 增加生产级 Prometheus metrics,覆盖 iteration stats、配置 gauges、token counters、phase histograms,并将部分 speculative decoding 指标类型改为 Counter。它补齐推理服务在队列、KV cache、inflight batching 与 speculative decoding 上的可观测性,便于线上容量和性能分析。

推测解码 性能优化服务与推理
TensorRT-LLM #6007 MERGED

[TRTLLM-6352][feat] Migrate EAGLE3 and draft/target speculation to Drafter

本日更新,目标 main · 10-07 00:49 UTC+8 · @ziyixiong-nv

该 PR 将 EAGLE3 与 draft/target speculation 迁移到统一 Drafter 抽象,新增 ModelDrafter 和 Eagle3Drafter,并重构 PyExecutor 的调用路径。它减少不同推测解码模式在执行器中的分散控制流,便于后续维护和扩展 draft 模型策略。

推测解码 控制流优化服务与推理
vLLM #58463 MERGED

[Spec Decode] Remove eager metadata rebuild during MTP fused multi-step decode

本日合并至 main · 10-07 00:17 UTC+8 · @TheEpicDolphin

该 PR 重构 DeepseekSparseSWAMetadataBuilder 和 AutoRegressiveSpeculator,在 MTP fused multi-step decode 的 FULL cudagraph replay 中跳过首个 draft metadata rebuild。它减少 DeepSeek V4 与 MTP 推测解码提案阶段的 eager 元数据构建开销,提升 CUDA graph 融合路径的执行效率。

推测解码 算子与内核服务与推理
llama.cpp #29928 MERGED

feat: add GLM5Next MTP, optimize

本日合并至 master · 10-07 19:16 UTC+8 · @pwilkin

该 PR 为 llama.cpp 增加 GLM5Next 的 MTP 支持,并对对应推理 graph 进行优化。它让 GLM5Next 可以使用多 token prediction 推测解码路径,为本地推理带来更合适的执行图结构。

推测解码 性能优化
vLLM #58921 MERGED

[Bugfix][Spec Decode] Per-module LM heads for multi-layer MTP on Model Runner V2

本日更新,目标 main · 10-07 14:41 UTC+8 · @ZJY0516

该 PR 修复 MRV2 多层 MTP 中所有 draft step 都使用 module 0 LM head 的问题,为 DraftModelSpeculator 增加按 spec step 选择 logits 与 top token 的 hook。它保证 DeepSeek MTP、GLM MTP、Kimi-K3 等多模块 drafter 使用各自对应的 head 和 norm,避免 draft token 采样语义错误。

推测解码 服务与推理
SGLang #42297 MERGED

[Speculative] Add opt-in block verification

本日更新,目标 main · 10-07 06:55 UTC+8 · @maocheng23

该 PR 增加可选的 block verification 模式,实现论文算法中的 longest accepted prefix 与 scaled correction distribution,并自动启用所需的 proposal sampling 与 draft probability 存储。它为 EAGLE、EAGLE3、NEXTN 等推测解码提供 token-wise rejection sampling 之外的验证路径,可能提升可接受前缀利用率。

推测解码 算子与内核
vLLM #60300 MERGED

[Bugfix][MRV2][Spec Decode] Accept num_speculative_tokens in NgramGPUSpeculator.propose

本日合并至 main · 10-07 06:02 UTC+8 · @cheese-cakee

该 PR 让 V2 runner 下的 NgramGPUSpeculator.propose 接受 num_speculative_tokens 参数,与 BaseSpeculator 和其他 speculator 的接口保持一致。它修复 ngram speculative decoding 在 MRV2 启动时因动态 K 参数不匹配而崩溃的问题。

推测解码 服务与推理
vLLM #59541 MERGED

[Bugfix][Spec Decode] Keep heterogeneous-vocab draft models on Model Runner V1

本日合并至 main · 10-07 02:03 UTC+8 · @nishantrevur

该 PR 将 heterogeneous-vocab draft models 标记为 MRV2 不支持,使相关配置默认留在已实现 VocabMapping 的 Model Runner V1。它避免 target 与 draft tokenizer id 未翻译导致 embedding 越界和 device-side assert,保护异构词表推测解码的可用路径。

推测解码 服务与推理
FlashInfer #5314 MERGED

feat: Add SM100 cuteDSL ReplaySSM GDN MTP decode kernels

本日合并至 main · 10-07 02:03 UTC+8 · @Tom-Zheng

该 PR 为 SM100-family GDN MTP 添加 ReplaySSM verification 与 accepted-prefix commit 内核,通过保存 raw K/V、log-decay 和 sigmoid-beta 窗口并在一次 all-layer commit 中重建 accepted state。它降低验证阶段保存完整 FP32 recurrent state 的需求,为 speculative verification 在新硬件上的显存和提交路径提供更高效实现。

推测解码 服务与推理
TensorRT-LLM #6264 MERGED

[None][infra] add eagle3 one model accuracy tests

本日更新,目标 main · 10-07 00:49 UTC+8 · @jhaotingc

该 PR 扩展 Eagle3 解码算法的准确性测试,加入 eagle3 one model、overlap scheduler 参数化用例,并在相关场景中覆盖 GSM8K 任务。它提升 TensorRT-LLM 推测解码测试矩阵的粒度,有助于在功能演进中发现 Eagle3 路径的准确性回归。

推测解码 服务与推理

行业动态 40 条

GPT-6 and Intelligent UI for everyone

OpenAI · 10-07 08:00 UTC+8

OpenAI 宣布「GPT-6」在 ChatGPT 全球推出,并加入「Intelligent UI」,让回答不只返回文本,还能生成可直接探索和使用的视觉与交互体验。对从业者来说,这意味着模型能力正在进一步产品化为动态界面,应用设计需要同时考虑推理、生成内容和交互组件的协同。

基座OpenAI新模型发布智能界面多模态

DeepSeek-V4.1-Flash on vLLM: 5x Agentic Throughput Since Day 0

vLLM 博客 · 10-07 08:00 UTC+8

vLLM 在「DeepSeek-V4.1-Flash」发布后三周内完成多项优化,低并发速度提升 1.9 倍,并在「SemiAnalysis AgentX」上把 agentic throughput 提升 5 倍。关键改动包括 SWA bounded replay、CUDA graphs、新 kernel 与 vLLM kernel fusion,显示新模型上线后的首轮 infra 适配会显著影响真实吞吐。

vLLMDeepSeek推理优化Agent吞吐

Introducing Mistral Large 4: Le chonk

Simon Willison · 10-07 04:18 UTC+8

Mistral 发布「Mistral Large 4」预览版,这是 1 万亿参数、490 亿激活参数的模型,使用 3800 块 NVIDIA Grace Blackwell GPU 在自有集群训练。当前可通过 Mistral API 使用,并计划在月底发布开放权重,推理级别仅提供 none 和 high 两档。对开源和商业模型生态来说,Mistral 正在用超大 MoE 与开放权重承诺重新进入前沿竞争。

基座MistralMoE模型开放权重新模型发布

Mistral AI Releases Mistral Large 4 (Le Chonk): A 1.05T Parameter Multimodal MoE Model

MarkTechPost · 10-07 01:30 UTC+8

Mistral AI 以公开预览形式发布「Mistral Large 4」,代号「Le Chonk」,规格为 1.05 万亿参数 MoE、490 亿激活参数、原生图像输入和 100 万 token 上下文。它由 Mistral 在欧洲自有数据中心使用 3800 块 NVIDIA Grace Blackwell GPU 训练,API 已开放,开放权重计划在 2026 年 10 月底发布。对从业者来说,这是多模态、长上下文和超大 MoE 同时进入可用产品形态的信号。

基座Mistral多模态基座长上下文MoE模型

OpenAI launches Decisions API that reduces complex evaluations to yes, no, or pick one

The Decoder · 10-07 23:36 UTC+8

OpenAI 推出「Decisions API」,面向文本和图像分类,可返回 yes/no 概率、类别选择或量表评分,速度约为「Responses API」的 10 倍,价格为每百万输入 token 0.10 美元。它把复杂评估压缩成低延迟判定接口,适合内容审核、路由、质检和自动化决策等高频场景。OpenAI 同时将付费 API 层级从五档缩减为三档,降低开发者选型复杂度。

厂商动态OpenAI API模型评测分类接口成本优化

One Model Family, Two Gold-Level Results: Fine-Tuning Nemotron for IOI and IMO

HuggingFace 博客 · 10-07 20:45 UTC+8

Hugging Face 报道了基于「Nemotron」同一模型家族微调后同时拿到 IOI 与 IMO 金牌级结果的案例,重点在于同一底座经过任务定向训练后覆盖编程竞赛和数学竞赛两类高难推理。对从业者来说,这类结果说明高质量数据、训练配方和评测闭环仍能显著释放基座模型的专业推理潜力。

后训练Nemotron推理训练竞赛数学代码能力

fa4-v4.0.0.beta34

FlashAttention · 10-07 16:23 UTC+8

「FlashAttention」发布「fa4-v4.0.0.beta34」,修复 CUDA 13 与 PyTorch 2.15 下的 Windows 构建问题,并继续推进 SM100、SM103 上的 decode 与 forward kernel 优化。更新包含 QK 与 softmax 重叠、hd256 forward 统一、hd128 decode crash 修复,以及多种数据类型的 few-row MMA 支持。对训练和推理框架维护者来说,这类底层 kernel 迭代会直接影响新 GPU 上的注意力性能和稳定性。

FlashAttentionCUDAGPU内核推理优化

v1.14.2

HF TRL · 10-07 04:30 UTC+8

「HF TRL」发布 v1.14.2,修复两类静默错误训练和三类崩溃,其中最关键的是默认生成路径下 GRPO、RLOO 和 Distillation 可能没有在回合结束 token 处停止。受影响模型包括 Gemma 3/4、Phi-3.5 等,错误会把 end-of-turn 之后直到 max_completion_length 的内容也纳入训练,明显信号是 completions clipped_ratio 接近 1。做 RL 后训练的人应优先升级或复核训练日志,因为这是会污染优化目标的隐蔽错误。

后训练HF TRL强化学习训练GRPO训练稳定性

EmbeddingGemma 2: an open, lightweight multimodal embedding model

Google DeepMind · 10-07 03:57 UTC+8

Google DeepMind 发布「EmbeddingGemma 2」,定位为开放、轻量的多模态 embedding 模型。它把文本、图像等多种输入映射到统一向量空间,适合检索、聚类、跨模态匹配和 RAG 前处理。对开发者来说,轻量开放 embedding 模型能降低私有化检索系统和端侧语义理解的部署门槛。

基座Google DeepMindEmbedding模型多模态检索开源模型

Google DeepMind Releases EmbeddingGemma 2, a 740M Open Multimodal Embedding Model Built on Gemma 4

MarkTechPost · 10-07 02:36 UTC+8

Google DeepMind 发布「EmbeddingGemma 2」,这是基于「Gemma 4」的 740M 开放多模态 embedding 模型,可将 5 类输入映射到同一个 768 维空间,并采用 Apache 2.0 许可证。对向量检索和多模态 RAG 系统来说,它提供了一个轻量、可商用、统一表征的基础组件。

基座Embedding模型Gemma多模态向量检索

b11476

llama.cpp · 10-07 22:59 UTC+8

「llama.cpp」b11476 为 Metal 后端扩展 few-row MMA mat-mul,支持 BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 和多种 IQ 类型。该 kernel 会在 M3 Ultra 上按不同量化类型选择胜过现有实现的行数阈值,例如 TQ2_0 从 5 行开始、BF16 从 4 行开始。对本地推理用户来说,这类小矩阵乘优化会改善解码阶段和低 batch 场景的 Apple Silicon 性能。

推理优化llama.cppMetal本地推理Apple Silicon

b11477: llama: share the nextn tensor flags between models (#30097)

llama.cpp · 10-07 22:30 UTC+8

「llama.cpp」b11477 把 nextn tensor flags 抽到「llama_model_base」的通用 helper,避免不同模型重复实现 trunk-only 与 MTP-only 检测逻辑。更新后 deepseek4、nemotron-h、qwen35、qwen35moe、qwen3next 和 qwen4exp 等模型也能接受 trunk-only 文件,并在未加载 MTP 时自动添加 TENSOR_SKIP。对本地推理生态来说,这提升了新一代多 token 预测模型文件加载的兼容性和维护性。

推理优化llama.cpp模型加载本地推理MTP

b11475

llama.cpp · 10-07 22:28 UTC+8

「llama.cpp」修复了「Metal」后端里「MUL_MAT+ADD」融合的一处残差选择错误:当加法两端都是矩阵乘输出时,旧逻辑会把未写入的融合输出当作残差参与累加。这个补丁直接影响 Apple 平台上的图融合正确性,避免模型在特定双线性残差结构中产生不可解释的脏数据输出。

推理优化推理框架llama.cppMetal后端算子融合

b11474

llama.cpp · 10-07 21:45 UTC+8

「llama.cpp」加入了「GLM5-Next」的多 token 预测「MTP」图,把「NextN」头接入草稿上下文,用于更高效的推测式生成。实现细节上复用主干构图器,并让循环记忆在无循环层的草稿上下文中支持部分序列移除,对本地推理框架适配新一代国产模型很关键。

推理优化llama.cpp多token预测GLM推测解码

MCP 终于无状态了,但状态并没有消失,只是被“甩”给了应用

InfoQ 中文 · 10-07 18:00 UTC+8

这篇文章讨论「MCP」走向无状态化后的架构取舍:协议层可以减少会话状态负担,但工具权限、上下文、用户偏好和长任务进度仍需要由应用层承接。对 Agent 开发者而言,重点不再只是接入协议,而是设计可靠的状态存储、恢复和授权边界。

AgentMCP协议Agent架构状态管理

Mistral Large 4 🧠, OpenAI Decisions API ❓, Nano Banana 2.1 🍌

TLDR AI · 10-07 08:00 UTC+8

这期「TLDR AI」把焦点放在「Mistral Large 4」、「OpenAI Decisions API」和「Nano Banana 2.1」等更新上,覆盖模型发布、决策模型接口和多模态工具链。对从业者的意义在于,模型能力竞争正在从单纯聊天扩展到可验证决策、图像生成和企业工作流集成。

厂商动态模型发布OpenAIMistral多模态

llm-openai-decisions 0.1a0

Simon Willison · 10-07 07:04 UTC+8

Simon Willison 发布了「llm-openai-decisions」0.1a0,用自己的「LLM」命令行生态接入 OpenAI 新的「Decisions API」。这个接口面向低延迟、低成本的判断型任务,且文中提到「gpt-6-luna」支持文本与图像输入、按输入计费,对内容审核、分类、路由和策略判断类场景很有吸引力。

AgentOpenAI决策模型工具调用开发者工具

How AI decision models could change content moderation

TechCrunch · AI · 10-07 04:35 UTC+8

Musubi 发布了开放权重的轻量级决策模型「PolicyLM-1.7B」,目标是实时内容审核,而不是用通用大模型临时判断政策命中。对平台工程团队来说,小模型可本地部署、延迟更低、策略可审计,可能改变审核系统在成本、吞吐和可控性之间的平衡。

基座内容审核决策模型开源模型AI安全

Google claims EmbeddingGemma 2 outperforms rival embedding models twice its size

The Decoder · 10-07 03:47 UTC+8

Google 发布「EmbeddingGemma 2」,一个 7.4 亿参数的开放多模态 embedding 模型,可把文本、图像、视频、音频和代码映射为向量。官方称它只需约 191 MB 内存即可端侧运行,并能超过部分两倍规模的竞品,配合小型「Gemma」模型可构建离线「RAG」应用,减少隐私数据外发。

基座Embedding多模态检索端侧AIGemma

How DOCA GPUNetIO Unifies GPU-Initiated Networking Across the NVIDIA Software Stack

NVIDIA 开发者 · 10-07 03:07 UTC+8

NVIDIA 介绍「DOCA GPUNetIO」如何把网络与数据移动变成 GPU 可主动发起和控制的一等操作,而不是完全依赖 CPU 主机调度。它对低延迟推理、分布式训练和高吞吐数据面很重要,因为网络栈越靠近 GPU,越能减少主机瓶颈和额外拷贝。

InfraNVIDIAGPU网络AI Infra数据移动

v0.40.0

Ollama · 10-07 02:47 UTC+8

「Ollama」v0.40.0 开始在 Apple Silicon 上默认使用「MLX」运行已支持的模型架构,覆盖「qwen3.8」、「gemma4」以及部分决策模型。版本还加入「embeddinggemma-2」的「MLX」支持,意味着 Mac 本地推理和本地 embedding 检索的默认路径会更快、更贴近苹果硬件。

InfraOllamaMLX本地推理Apple Silicon

New Browser + Voice Cloning

Unsloth · 10-07 01:21 UTC+8

Unsloth 新版本在聊天旁加入浏览器式工作区,让文件、网页和模型生成的页面能以标签页形式并排打开,并新增音频页面、语音克隆、音乐和转写能力。它还支持「EmbeddingGemma 2」的运行与微调,并优化低显存训练,对把训练、检索、多模态内容处理放进单一桌面工作流的用户很实用。

后训练Unsloth微调工具语音克隆多模态

Release v5.19.0

HF Transformers · 10-07 00:39 UTC+8

「Transformers」v5.19.0 加入「EmbeddingGemma2」,这是基于「Gemma 4」架构的多模态 embedding 模型,可把文本、图像、音频和视频单独或组合编码到共享的 768 维向量空间。它支持「Matryoshka Representation Learning」,可截断到 512、256 或 128 维,方便在跨模态检索、聚类和分类中按成本与精度做权衡。

基座TransformersEmbedding多模态检索向量表示

AICR v1.0: Open, stable, and verifiable GPU cluster configuration

NVIDIA 开发者 · 10-07 00:13 UTC+8

NVIDIA 发布「AICR」v1.0,目标是为 GPU 加速的 Kubernetes 集群提供开放、稳定、可验证的组件配置基线。它试图解决驱动、内核、容器运行时、GPU Operator 和上层训练推理框架版本各自演进带来的兼容性风险,对企业级集群运维和可复现实验环境很关键。

InfraNVIDIAGPU集群Kubernetes基础设施

Can a Cloud-Native Harness Make Agents Reliable Beyond the Desktop?

Latent Space · 10-07 22:10 UTC+8

Latent Space 关注 Kubernetes 共同创建者 Craig McLuckie 和 Joe Beda 的新方向:把 Agent harness 从桌面环境带到云原生基础设施。核心价值在于让 Agent 的工具执行、状态、权限、观测和弹性调度进入 Kubernetes 式控制面,从而更适合长期运行和企业部署。

Agent云原生Kubernetes可靠性

b11472

llama.cpp · 10-07 21:24 UTC+8

「llama.cpp」在采样链路中对符合条件的零温度请求统一使用贪心选择,覆盖 CPU、语法约束和推理预算路径。这个改动让 temperature 为零时的行为更一致,同时把动态温度和需要概率输出的场景继续留给分布采样,减少确定性生成中的边界差异。

llama.cpp采样策略确定性生成推理优化

b11469

llama.cpp · 10-07 20:48 UTC+8

「llama.cpp」的「MUSA」后端切换到 tile lightning indexer kernel,属于面向摩尔线程等国产 GPU 后端的底层内核优化。虽然发布文本主要是构建与签名信息,但这类改动体现了本地推理框架正在扩大非 CUDA 加速栈覆盖面,对多硬件生态适配有长期价值。

推理优化llama.cppMUSA国产GPU推理后端

Anthropic gives more security teams access to Claude with fewer safety restrictions

The Decoder · 10-07 20:05 UTC+8

Anthropic 扩大「Cyber Verification Program」,让更多安全团队在渗透测试、恶意软件分析和漏洞研究中使用限制更少的 Claude 模型。官方称前身项目合作伙伴在 2026 年 4 月至 7 月发现了至少 129000 个已确认漏洞,其中超过 33000 个为高危或严重级别,这说明安全场景可能成为大模型受控放权的重点试验田。

厂商动态AnthropicClaude网络安全AI安全

viable/strict/1791372481: [inductor] Ignore addmm and baddbmm bias when beta is zero (#196600)

PyTorch · 10-07 15:35 UTC+8

PyTorch 修复「Inductor」里「addmm」和「baddbmm」在 beta 等于 0 时仍计算 bias 的问题,因为 0 乘以 NaN 仍会传播 NaN,导致本应忽略的输入污染输出。补丁覆盖 Triton、CPP、CUTLASS、CK 模板后处理、CPU 与 XPU 分解以及相关反融合 pass,对训练和推理编译路径的数值语义一致性很重要。

InfraPyTorchInductor编译器数值正确性

viable/strict/1791362389: [native-aot] Support unstructured functional operators (#197012)

PyTorch · 10-07 12:46 UTC+8

PyTorch 的「native-aot」开始支持非结构化函数式算子的 AOT 实现,为「RMSNorm」和部分归约算子嵌入原生内核铺路。它通过显式声明非 structured 路径并扩展生成包装逻辑,让此前缺少结构化 delegate 的算子也能进入 AOT 编译体系,利好模型核心算子的部署性能。

InfraPyTorchAOT编译RMSNorm算子支持

viable/strict/1791358769

PyTorch · 10-07 11:40 UTC+8

PyTorch「Inductor」在「flex_gemm」启动路径上缓存「QuACK」目录,减少每次 launch 过程中重复解析或定位缓存目录的开销。这个改动看起来很小,但对高频 GEMM 编译和执行路径有意义,尤其是在动态形状或大量小批量推理中能降低调度噪声。

推理优化PyTorchInductorGEMM编译缓存

EmbeddingGemma 2

Simon Willison · 10-07 04:37 UTC+8

Simon Willison 强调「EmbeddingGemma 2」采用「Apache 2.0」许可证的价值,尤其是 embedding 模型常被用于生成并长期保存成千上百万个向量。相比闭源托管模型,开放权重能降低供应商停服、换模型或改变接口后导致历史向量不可复用的风险,对检索系统的长期可维护性很关键。

基座Embedding开源许可RAG模型可持续性

The next hurdle for AI agents: getting websites to let them in

TechCrunch · AI · 10-07 03:56 UTC+8

TechCrunch 讨论个人 AI Agent 面临的新障碍:它们想替用户购物、订机票和预约服务,但网站的反机器人机制和主动屏蔽会挡住自动化流程。新的标准试图让网站区分恶意爬虫和经用户授权的 Agent,这会直接影响 Agent 能否从演示走向真实消费场景。

Agent网页自动化协议标准反机器人

Building a context-aware AI assistant on AgentCore and OpenClaw

AWS 机器学习 · 10-07 03:19 UTC+8

AWS 展示如何用「Amazon Bedrock AgentCore」和「OpenClaw」构建具备上下文积累能力的个人助理,把一次性聊天转化为可持久检索的结构化知识。重点在于「AgentCore Memory」和元数据过滤,让 Agent 能跨会话记住用户事实与任务背景,对企业个人助理和长期工作流很有参考价值。

AgentAWSAgent记忆Bedrock个人助理

v0.31.1rc0: [Metrics] Expose cached prompt tokens by cache tier (#56318)

vLLM · 10-07 02:52 UTC+8

「vLLM」v0.31.1rc0 增加按缓存层级暴露 cached prompt tokens 的指标,让服务端能区分不同缓存命中来源带来的 token 节省。对推理平台运营者来说,这有助于量化前缀缓存、分层缓存和调度策略的收益,进而优化成本、吞吐和延迟。

推理优化vLLM推理监控Prompt缓存Serving

Atlassian and OpenAI expand partnership to turn enterprise knowledge into action

OpenAI · 10-07 00:00 UTC+8

OpenAI 与 Atlassian 扩大合作,把前沿模型连接到 Jira、Confluence 等企业知识与工作流中,目标是把团队知识转化为可执行行动。对企业 AI 落地而言,这类集成的重点不是单点问答,而是让模型参与计划、构建、交付和跨工具协作。

厂商动态OpenAI企业AIAtlassian知识工作流

How Qlik built grounded, enterprise-scale AI with Amazon Bedrock

AWS 机器学习 · 10-07 23:48 UTC+8

Qlik 介绍其如何用「Amazon Bedrock」构建「Qlik Answers」,为超过 40000 名客户在结构化和非结构化企业数据上提供带来源的回答。方案采用分层多 Agent 架构、跨区域推理和「Bedrock Guardrails」,展示了企业级 RAG 从准确性、安全性到全球可用性的工程组合。

AgentAWS企业RAG多智能体Bedrock

Automate remediation post AWS DevOps Agent investigation

AWS 机器学习 · 10-07 23:46 UTC+8

AWS 给出一种把「AWS DevOps Agent」事故调查结果转成可审批修复动作的方案,但仍让 Agent 保持观察和报告模式,不直接改生产资源。架构用「Lambda Durable Functions」、「EventBridge」和「Amazon Bedrock」生成预校验修复建议,让值班工程师一键批准,兼顾自动化效率和变更控制。

AgentAWSDevOps Agent自动化运维人机协同

How Cornerstone OnDemand cut database diagnosis by 78% with Amazon Bedrock

AWS 机器学习 · 10-07 23:38 UTC+8

Cornerstone OnDemand 基于「Amazon Bedrock」和「Strands Agents」构建数据库运维多 Agent 系统「Orion AI」,把故障诊断从被动救火推进到主动自动化。三人团队在六个月内把数据库诊断时间从 45 分钟降到 10 分钟,缩短 78%,对运维 Agent 的组织落地和度量方式很有参考价值。

AgentAWS数据库运维多智能体效率提升

Google bets Gemini can turn casual players into game developers with new Playground feature

The Decoder · 10-07 22:44 UTC+8

Google 发布浏览器平台「Playground」,让用户用文本提示生成自己的游戏,背后结合「Gemini」、「Nano Banana」和「Lyria」。同时 Google 与 Unity 宣布面向更专业开发者的「Unity Spark」,计划在 2026 年进入 beta,说明多模态模型正在从内容生成进入可交互应用和游戏开发工具链。

厂商动态GoogleGemini游戏生成多模态应用

论文 20 篇

论文看点聚焦万亿参数Agentic RL、FP4 MoE强化学习、检索长上下文统一、智能体记忆与工具失败机理。

NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

HF 精选 · 10-07 08:00 UTC+8

「NeMo-DCR」针对智能体强化学习中训练集群与 rollout 集群频繁同步权重的瓶颈,指出 1T 参数完整 checkpoint 跨 AWS 区域传输需要 87.5 分钟,而 BF16 训练中每步约 1% 权重实际改变存储值。它把同步问题改成位精确的 delta 压缩 refit,只传发生变化的权重,同时保持原有参数放置与数值一致性。价值在于让万亿参数级 RL 的策略更新更接近在线流水线,减少 rollout 等待与跨地域传输成本。

Infra智能体强化学习分布式训练模型同步万亿参数

SquidAgent: Parallelize Wisely, Coordinate Efficiently

NeurIPS 2026CCF-A推荐arXiv · 10-07 00:35 UTC+8

「SquidAgent」关注多智能体并行并没有自然带来提速的问题,指出并行 worker 会额外付出重复探索上下文和协调通信两类隐藏成本。论文主张有选择地并行,把任务拆分、上下文共享和协作节奏作为系统设计核心,而不是简单增加 agent 数量。它对长链路智能体任务的价值在于给出更实用的延迟优化思路,避免多智能体系统在调度开销中输给单智能体基线。

多智能体智能体调度并行执行Agent
Yexiong Lin, Shanshan Ye, Yu Yao, Zhen Fang, Bo Han, Tongliang Liu

TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

HF 精选 · 10-07 08:00 UTC+8

「TRACE」面向 MoE 大模型 RL 后训练中的 rollout 成本,试图让 FP4 低精度 rollout 既省显存和算力,又不破坏训练信号。它的关键不是分别优化训练路径和 rollout 路径的量化误差,而是用 rollout 引导的量化感知训练直接缩小两条量化执行路径之间的偏差。对做 RLHF、RLVR 或大规模 on-policy 训练的人来说,这类方法把低精度推理从单纯部署优化推进到训练闭环的一部分。

后训练低精度训练强化学习MoE量化感知训练

HuatuoGPT-3: RL-Only Domain Adaptation from Base Models

ICML 2026CCF-A推荐HF 精选 · 10-07 08:00 UTC+8

「HuatuoGPT-3」挑战领域适配中常见的 SFT 加 RL 流程,指出 SFT 冷启动虽然方便,但可能压缩探索多样性,并增加多阶段优化复杂度。论文转向 RL-only 领域适配,核心难点是纯 on-policy RL 冷启动弱、混合策略又难以快速吸收教师输出中的关键信息。它的意义在于探索医学等专业领域模型能否更直接地从奖励和教师信号中形成专家能力,减少对大规模监督微调数据的依赖。

后训练领域适配医学大模型强化学习对齐训练

UNREAL: Unifying Retrieval and Long-Context with a Single Model

NVIDIAHF 精选 · 10-07 08:00 UTC+8

「UNREAL」把长上下文推理和 RAG 看成同一个证据选择问题,只是证据范围从单个长 prompt 扩展到整个语料库。它让模型直接编码 chunk,并从前向计算中生成检索 query,以模型内机制统一 corpus retrieval 与 long-context evidence selection。价值在于弱化外部检索器和长上下文注意力之间的割裂,为可训练、可端到端优化的检索增强模型提供了新路径。

基座检索增强生成长上下文证据选择模型架构

DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation

HF 精选 · 10-07 08:00 UTC+8

「DiffGate」针对 on-policy distillation 中 token 局部监督与轨迹级推理质量脱节的问题,指出学生在自己生成轨迹上学习时,简单模仿教师分布未必能强化正确推理。它引入难度门控的教师指导,把教师信号与任务难度、轨迹结果更紧密地绑定,避免在所有前缀上无差别蒸馏。对推理模型后训练来说,这类方法把蒸馏和 RLVR 的思想接起来,让教师更像自适应脚手架而不是静态答案分布。

策略蒸馏推理训练RLVR后训练

SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving

HF 精选 · 10-07 08:00 UTC+8

「SlimWise」观察到 MoE 推理中 prefill 和 decode 的瓶颈不同,decode 批处理可能访问近乎全量专家池,专家权重搬运成为主要瓶颈。它在 prefill 阶段保留完整模型以保护质量,在 decode 阶段使用剪枝后的专家池来降低权重流量,把专家裁剪与推理阶段解耦。对 MoE serving 来说,这比全程剪枝更贴近真实性能瓶颈,能在吞吐和质量之间取得更清晰的工程取舍。

推理优化MoE推理模型服务专家剪枝吞吐优化

Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding

NeurIPS 2026CCF-A推荐HF 精选 · 10-07 08:00 UTC+8

「Rationale-Guided Policy Optimization」针对 on-policy RL 在难题上奖励稀疏、模型找不到正确轨迹时容易停滞的问题。它使用自适应 rationale scaffolding 给策略学习提供中间推理支架,而不是完全依赖离线专家轨迹或固定示范。价值在于让推理模型在困难样本上获得更密的优化信号,同时保留 on-policy 训练对当前策略分布的贴合。

推理强化学习奖励稀疏过程监督后训练

AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model

HF 精选 · 10-07 08:00 UTC+8

「AdvSim2Real」研究网页智能体面对自适应 prompt injection 的安全训练问题,指出网页既包含任务所需信息,也可能包含攻击者写入的恶意指令,不能简单忽略页面内容。它在网页世界模型中让攻击者随训练中的 agent 自适应变化,并用对抗训练缩小固定注入防御与真实攻击之间的差距。对浏览器 agent 和企业自动化来说,这提供了更接近实战的安全评测与训练框架。

Agent网页智能体提示注入对抗训练Agent安全

HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing

HF 精选 · 10-07 08:00 UTC+8

「HLA」针对线性注意力压缩历史状态后难以选择性访问稀疏远距离信息的问题。它提出 query-dependent 的 chunk 级动态混合,让模型按当前查询调整对历史块的访问,而不是使用与输入内容弱相关的固定混合系数。该思路保留线性注意力长上下文解码效率,同时补足远程信息检索能力,是长上下文架构上的一个实用折中。

基座线性注意力长上下文模型架构高效推理

Towards In-Parameter Memory Augmentation for Large Language Models

HF 精选 · 10-07 08:00 UTC+8

这篇论文讨论 in-parameter memory,把预训练后获得的领域事实、用户偏好、文档和交互经验写入模型参数,作为上下文记忆之外的互补存储。它指出 ICL 和 agent harness 灵活但持续消耗上下文窗口,并且每次都要重复离散编码,成本随上下文长度增长。论文的价值在于重新界定长期记忆的承载位置,为可复用、低运行时开销的模型内记忆机制提供研究框架。

基座模型记忆参数编辑智能体记忆长上下文

DAEDALUS: Bootstrapping Agent Memory from Self-Generated Tasks

HF 精选 · 10-07 08:00 UTC+8

「DAEDALUS」解决智能体进入新环境时缺少工具行为和环境惯例知识的问题,避免 agent 在不同任务中反复踩同样的坑。它从自生成任务中 bootstrap 程序性记忆,减少对人工规则、训练任务集合和 oracle verifier 的依赖。对部署型 agent 来说,这意味着系统可以通过主动探索形成可迁移的操作经验,缩短轨迹并降低失败率。

智能体记忆自我改进工具使用Agent

VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning

HF 精选 · 10-07 08:00 UTC+8

「VeriFine」关注自我改进策略会不断暴露新失败模式,而固定 judge 很快成为优化上限的问题。它提出可扩展验证的 agent harness,让验证能力随策略演化而更新,尤其覆盖具身推理中的空间 grounding、因果判断和安全决策。价值在于把验证器从静态打分器变成自我改进闭环的一部分,使训练样本发现和反馈质量同步提升。

Agent具身智能验证器自我改进Agent评测

Harness Engineering for Software Engineering via Modular Executable Dev-Primitives

HF 精选 · 10-07 08:00 UTC+8

这篇论文把软件工程 agent 的脆弱性归因于长周期任务中程序状态分散在源码、配置、测试、依赖和运行行为里,模型需要不断重建上下文,导致历史膨胀和语义漂移。它提出模块化、可执行的 dev-primitives,把常见开发操作封装为可复用的 harness 能力,而不是只依赖终端交互文本。对代码 agent 来说,这类 harness engineering 能降低仓库理解成本,让长链路修复、验证和迭代更稳定。

Agent代码智能体软件工程Harness工程开发工具

Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability

通义千问HF 精选 · 10-07 08:00 UTC+8

这篇论文重新审视跨 tokenizer 的 on-policy distillation,问题在于教师和学生 tokenizer 不同时,序列与词表层面的对齐会影响监督可靠性。实验显示,在数学推理和代码生成的异构师生组合中,严格 1:1 对齐组已经覆盖大多数学生生成 token,盲目扩大对齐覆盖未必带来更好学习。它把关注点从覆盖更多 token 转向监督信号是否可信,对跨模型蒸馏实现很有工程指导意义。

后训练策略蒸馏Tokenizer模型压缩推理训练

EVISKILL: Grounding Skill Evolution in Replayable Evidence

HF 精选 · 10-07 08:00 UTC+8

「EVISKILL」针对持续技能演化中经验证据容易丢失的问题,强调 agent 修改程序性知识时不仅要知道改什么,还要知道为什么改、何时固化为长期指导。它把技能编辑绑定到可回放证据和任务上下文,避免仅凭全局验证结果判断一次修改的有效性。对长期运行的工具型 agent 来说,这能让技能库演化更可审计,也更容易定位错误泛化。

技能演化智能体记忆可回放证据Agent

From Evidence to Action: How Tool-Using Agents Fail

HF 精选 · 10-07 08:00 UTC+8

这篇论文研究工具使用 agent 从证据到行动的断裂点,指出最终结果正确并不代表外部状态变更前已经建立了充分证据。它跨十种模型与 harness 配置分析静态行动判断、单步执行和依赖工作流,发现强静态评估能力可以与弱交互执行能力并存。对高风险自动化场景而言,评测应检查证据是否先于行动、行动链是否可追溯,而不是只看任务是否完成。

Agent工具调用Agent评测可靠性工作流

Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents

HF 精选 · 10-07 08:00 UTC+8

「SSR」面向小模型多模态搜索 agent,指出每步生成自由形式推理会带来高推理成本,而且长推理文本未必真正帮助动作选择。它把推理改写成从预定义、可复用的自然语言推理单元中选择,减少开放生成的负担。这个设计让小模型也能利用结构化高层思考,在视觉搜索和交互任务中取得更好的效率与可控性。

Agent多模态智能体结构化推理小模型搜索Agent

GUI-HARVEST: Self-Improving GUI Agents through Evidence-Driven Harness Evolution

HF 精选 · 10-07 08:00 UTC+8

「GUI-HARVEST」把 GUI agent 的改进重点放在可执行 harness 上,因为观察组装、动作执行、验证、恢复和终止策略都会影响模型表现。它通过证据驱动的 harness evolution,把模型意图、视觉变化和失败诊断关联起来,并从重复失败中抽取可复用规则。对 GUI 自动化来说,这比单纯换模型更接近系统真实瓶颈,能让 agent 在不稳定界面结果下持续改进。

AgentGUI智能体Harness工程自我改进视觉交互

Feature Information Dynamics in Diffusion

NeurIPS 2026CCF-A推荐arXiv · 10-07 00:24 UTC+8

这篇论文为扩散模型中的特征生成时序提供信息论刻画,回应了先出粗结构、后出细节这一经验观察缺少定量解释的问题。它提出 feature information dynamics,并借助 I-MMSE 恒等式,把特征互信息变化率连接到无条件去噪与特征条件去噪的最优损失差。价值在于让研究者能定位不同语义或视觉特征在 denoising 过程中的出现阶段,为扩散模型可解释性和采样控制提供工具。

基座扩散模型信息论多模态生成可解释性
Jia-Shu Pan, Tao Zhang, Yufei Huang, Yanjun Sheng, Tailin Wu