每日 AI 速览

2026-10-20

生成于 2026-10-21 00:50
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今日主线有三:一是推理基础设施加速开放,DeepSeek 开源 DeepInfer,Google 与 vLLM 联合推出 TorchTPU,Amazon 端出 TorchNeuron,分离式推理的 KV 传输优化也密集更新,GPU、TPU、NPU 多芯片竞争升温;二是模型侧 DeepSeek-V4.1、MiniMax M3.1 Flash、Mercury 3 扩散模型接连登场,价格与吞吐成核心卖点;三是 Agent 研究整体转向记忆原生化与脚手架自进化,长程协作、按需记忆调度、成本约束下的自我改进成高频主题。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
vLLM #62686 MERGED

[CI][AMD] Shard the MI300 V1 Spec Decode step

本日合并至 main · 10-20 21:38 UTC+8 · @stefankoncarevic

将 MI300 V1 Spec Decode 的 CI 作业从单 job 全量运行改为分片执行,以应对测试集增长导致的超时风险。该改动可缩短单个 CI 作业时长,避免整批推测解码回归测试在时限边缘被终止,提升 AMD CI 稳定性。

推测解码 硬件适配分布式训练服务与推理
Megatron-LM #8169 MERGED

Stage request payloads off the dynamic engine loop

本日合并至 main · 10-20 20:14 UTC+8 · @lauradang

把 RequestPayloadStager.stage() 从动态引擎循环移出,使慢速 payload 写入不再阻塞每个活跃请求的解码。该改动降低网络写入对引擎 step 的阻塞,改善 RL token capture 等场景下的解码时延与吞吐。

推测解码 算子与内核控制流优化分布式训练
SGLang #45154 MERGED

[Feat] glm-5.3: Render GLM-5.3 and GLM-5.3-Flash chat prompts with a Python chat template

本日合并至 main · 10-20 19:11 UTC+8 · @Dovis01

用 Python 移植 GLM-5.3 与 GLM-5.3-Flash 的 chat template,由同一个 renderer 处理两个模型并生成与 Jinja 模板 byte-identical 的 prompt。该改动避开 Jinja 中工具结果匹配、排序和宏调用的高开销,降低服务侧 prompt 渲染成本。

推测解码 控制流优化硬件适配性能优化
FlashInfer #6806 MERGED

fix(cake_selective_state_update): sync each consumer warp before its elected stage release

本日合并至 main · 10-20 16:05 UTC+8 · @yzh119

修改 Cake selective state update 的七个程序,让每个 consumer warp 在 elected lane 释放 shared-memory state stage 前先完成同步。该改动修正消费与释放的同步顺序,在保持延迟不变的同时提升 GB300 上选择性状态更新内核的稳定性。

推测解码 算子与内核硬件适配性能优化
SGLang #45311 MERGED

[Doc] cookbook: Refresh SemiAnalysis AgentX launches with five open InferenceX PRs

本日合并至 main · 10-20 14:48 UTC+8 · @nvpohanh

刷新 cookbook 的六个 Agentic Long-Context Deployment 页面,覆盖五个 open InferenceX PR 并与 InferenceX main 同步,新增 Qwen3.5 NVFP4 GB300 Dynamo+SGLang 和 DeepSeek-V4.1-Flash H200 SGLang 配置。该改动让部署 recipe 与实测提交保持一致,便于复现 AgentX 长上下文推理配置。

推测解码 算子与内核控制流优化硬件适配
TensorRT-LLM #20202 MERGED

[None][test] Add DeepSeek V4.1 NVFP4 DSpark core coverage

本日合并至 main · 10-20 14:39 UTC+8 · @yufeiwu-nv

在 llm perf core 中为 DeepSeek-V4.1-Flash NVFP4 增加四个单节点 TP4/EP4 用例,覆盖 concurrency 1 与 8、DSpark 开启及非投机对照,并启用 Attention DP。该改动补齐 CSA2 与 embedded DSpark serving path 的 core 覆盖,扩展 sm10x 多硬件上的性能回归验证。

推测解码 硬件适配性能优化分布式训练
SGLang #45297 MERGED

[Doc] [AMD] cookbook: Fix DeepSeek-V4 PD image and c1 capacity

本日合并至 main · 10-20 13:45 UTC+8 · @Duyi-Wang

修正 MI355X DeepSeek-V4-Pro-0813 PD cookbook 的 c1 容量说明为每 worker 八个 request slots、decode graph size 1–8,并更新 Pro 与 Pro Official FP4 PD 使用的 ROCm 镜像。该改动让文档与 recipe 的实际配置和镜像版本一致,减少 AMD PD 部署的复现偏差。

推测解码 算子与内核硬件适配性能优化
vLLM #62563 MERGED

[Doc] Add Kimi-K3 GB300 Dynamo disaggregated profile to the recipe selector

本日合并至 main · 10-20 12:13 UTC+8 · @Ankur-singh

在 Kimi-K3 recipe 的交互式 selector 中编码 GB300、Prefill/Decode Disaggregation 与 Dynamo PD router 的结构化 pd cluster 配置,而不再只提供 guide 文本。该改动使用户能直接渲染对应的 prefill 与 decode 启动命令,提升 GB300 分离式部署配方的可用性。

推测解码 算子与内核硬件适配性能优化
TensorRT-LLM #19856 MERGED

[TRTLLM-16770][feat] Support LiLiCorr draft checkpoints in DFlash

本日更新,目标 main · 10-20 11:11 UTC+8 · @eopXD

在 DFlashDecodingConfig 中支持 LiLiCorr draft checkpoints,加入 correlated candidate scoring 与 metadata 驱动的量化加载,并让共享 DFlash 加载通过可覆写的 target-projection loader 路由所有 fc. tensors。该改动扩展 DFlash 对相关候选草稿模型的兼容性,同时保持普通 DFlash 的加载路径。

推测解码 硬件适配性能优化分布式训练
TensorRT-LLM #20267 MERGED

[TRTLLM-16984][feat] modeling_v2: default targets for gpt-oss-120b and DeepSeek-R1-0528 NVFP4 on sm_103

本日合并至 main · 10-20 11:05 UTC+8 · @erictsai-nv

用读取 engine Mapping 的 default target 取代 gpt-oss-120b 和 DeepSeek-R1-0528 NVFP4 原先单一 layout 的 target,使其覆盖 routing module 允许的多种 TP/EP/DP layout,并兼容 sm100 与 sm103。该改动减少按模型和布局维护 target 的重复,提升 modeling_v2 在 B200、GB200、B300 与 GB300 上的布局适配与复用。

推测解码 算子与内核性能优化分布式训练
vLLM #60731 MERGED

[ROCm][Perf][DSv4.1] Mono decode on MI300X and MI325X (gfx942)

本日合并至 main · 10-20 09:28 UTC+8 · @maeehart

将 DeepSeek-V4.1-Flash mono decode kernels 从 gfx950 移植到 gfx942,通过 --monokernel 可选启用,使标准 decoder layer 以 2 个 kernel 而非 32 个运行。该改动减少解码 kernel 启动与调度开销,改善 MI300X 与 MI325X 上的 DSv4.1 解码性能。

推测解码 硬件适配性能优化服务与推理
SGLang #37771 MERGED

[HiSparse] Add speculative decoding support with multi-step KV cache swapping

本日更新,目标 main · 10-20 07:54 UTC+8 · @huangtingwei9988

将多步 gather/commit swap kernel 集成到 HiSparse coordinator 与投机解码生命周期,覆盖 target-slot 预留、per-layer scratch/cache 状态、verify 准备和 accepted-token commit。该改动为线性 EAGLE/MTP 多 draft token 解码提供端到端 HiSparse 支持,降低多步 KV cache 交换开销。

推测解码 算子与内核性能优化服务与推理
SGLang #44975 MERGED

[CI] tests: Re-enable muse spark B300 PD coverage

本日合并至 main · 10-20 04:40 UTC+8 · @Fridge003

移除 Muse Spark NVFP4 + DFlash2 B300 PD 测试的临时 disabled 注册,恢复 base-c/8-gpu-b300 调度并将 est time 从 900 调整为 800。该改动恢复该硬件上的 PD 覆盖,继续捕获启动期缓存清理竞态等回归问题。

推测解码 控制流优化硬件适配服务与推理
SGLang #44945 MERGED

[Feat] [NVIDIA] megakernels: Add --enable-nvidia-megakernel and a layer for NVIDIA megakernel plugins

本日合并至 main · 10-20 02:54 UTC+8 · @YAMY1234

新增 --enable-nvidia-megakernel 和 NVIDIA megakernel 插件层,检查运行环境、替换插件覆盖步骤的模型 forward,并提供 DSpark draft-proposal 入口及绑定文件来传递 KV pool、attention metadata 与 Engram tables 等运行时状态。该改动让 out-of-tree 的 DeepSeek-V4.1-Flash GB300 decode megakernel 接入 SGLang 服务路径,同时把模型特定逻辑留在插件中。

推测解码 算子与内核控制流优化硬件适配
SGLang #41642 MERGED

[Fix] [NPU] glm5.2-mtp: L2 cache adaptation

本日合并至 main · 10-20 21:25 UTC+8 · @gjsheu

修复 MLA HiCache L2 的 ascend IO,使 MTP draft pool 与 target pool 一起传输,并在 npu transfer pool slices() 中按组件宽度和 dtype 过滤不匹配的 draft pools。该改动让 NPU 上 GLM-5.2-w8a8 + NEXTN MTP + L2 cache 能正常启动并命中缓存,提升该硬件组合的投机解码缓存适配。

推测解码 硬件适配服务与推理
Megatron-LM #8162 MERGED

Keep prompt log-probs raw under processed_logprobs

本日合并至 main · 10-20 18:30 UTC+8 · @santhnm2

让 prompt log-probs 在两种 logprobs 模式下都基于 raw distribution 计算,processed logprobs 的 temperature 与 top-k/top-p 仅作用于 engine-sampled rows。该改动使 prompt 打分不受采样设置影响,便于 lm-eval loglikelihood 等评分任务以及 RL 中 behavior policy 概率的稳定计算。

推测解码 分布式训练服务与推理
vLLM #62610 MERGED

[Docs] Use probabilistic DSpark sampling in Kimi-K3 GB300 recipes

本日合并至 main · 10-20 13:03 UTC+8 · @RohitNagraj

将 Kimi-K3 GB300 TP8/TP16 低延迟 guide script 的 draft sample method 改为 probabilistic,同时保留 rejection sample method: block,以匹配 InferenceX 的 aggregated 配置。该改动修正文档中的投机采样配置,使 recipe 更准确反映实际部署参数。

推测解码 性能优化服务与推理
TensorRT-LLM #15708 MERGED

[https://nvbugs/6103083][fix] Make EAGLE functional on v1 KV cache manager

本日更新,目标 main · 10-20 11:11 UTC+8 · @eopXD

从 PR 13731 中提取 EAGLE-only 修复,使 EAGLE 与 one-model speculative decoding 不再受 v1 KV cache manager 限制,改动限定在四个 Python 文件且不含 C++。该改动修复 v1 manager 下 EAGLE 的 OOM accounting 等问题,恢复该投机解码路径在 v1 KV cache 上的可用性。

推测解码 性能优化服务与推理
vLLM #58984 MERGED

[Perf][Spec Decode] Avoid target request padding in DP drafter

本日合并至 main · 10-20 08:06 UTC+8 · @wangyicong52

在 target FULL CUDA graph padding 请求数时,保留 DP-wide 最大真实请求数用于 uniform drafter dispatch,避免 active DP ranks 选择过大的 draft graph,并一致地缩小 online dummy-rank DFlash batches。该改动减少 DP drafter 因 graph capacity 造成的过度计算,提升投机解码调度效率,同时保留启动时 graph capture 所需容量。

推测解码 性能优化服务与推理
SGLang #44913 MERGED

[Refactor] moe: Scope shared-expert configuration to each model

本日合并至 main · 10-20 07:59 UTC+8 · @ch-wan

引入由 loader 创建模型持有的 frozen SharedExpertsConfig,集中保存 shared-expert fusion 决策、fused expert count 和 Waterfill 参数,替代在各 MoE block 重复解析及在 process flags 中存 target/draft 副本。该改动将 shared-expert 配置作用域收敛到模型级,减少构造参数传递和恢复协议,提升 MoE 模型加载与执行的一致性。

推测解码 硬件适配分布式训练

行业动态 40 条

DeepSeek Open-Sources DeepInfer, the Inference Framework Behind DeepSeek-V4.1-Flash

MarkTechPost · 10-20 22:31 UTC+8

DeepSeek 把支撑 DeepSeek-V4.1-Flash 生产服务的推理框架 DeepInfer 以 Apache 2.0 开源,同时瞄准 NVIDIA SM100 GPU 与华为昇腾 950 NPU,但当前只提供离线推理。对做国产芯片适配与自建推理栈的团队来说,这是一份来自头部厂商的真实生产级参考实现,也透露出其在硬件多元化上的布局。

推理优化DeepSeek推理框架开源国产芯片

Google Open-Sources TorchTPU, a Native PyTorch Backend for Cloud TPUs

MarkTechPost · 10-20 23:22 UTC+8

Google 与 Meta 联合开源 TorchTPU,作为 Cloud TPU 的原生 PyTorch 后端,默认 eager 执行并可通过 torch.compile 与 XLA 编译,用于在新工作负载上替代 PyTorch/XLA。这意味着 TPU 生态向 PyTorch 原生体验靠拢,减少了开发者为换芯片而改写代码的成本,对多硬件训练栈的选型影响直接。

InfraPyTorchTPU开源训练框架

突破长文本推理瓶颈 九章云极Alaya-DFlash2助GLM-5.3解码提速3.41倍

InfoQ 中文 · 10-20 23:07 UTC+8

九章云极的 Alaya-DFlash2 针对长文本推理的解码瓶颈做优化,在 GLM-5.3 上实现 3.41 倍解码提速。对需要在国产算力上跑长上下文服务的团队而言,这类聚焦解码阶段的加速往往比换模型更立竿见影,也说明围绕第三方开源模型的推理优化正在形成独立生态。

推理优化推理加速GLM长文本国产算力

Inception Releases Mercury 3 Diffusion LLM at 1,068 Tokens per Second

MarkTechPost · 10-20 11:32 UTC+8

Inception 发布扩散式 LLM Mercury 3,宣称达到每秒 1068 token 的生成速度并支持 100 万 token 上下文,在其自测的 12 项 benchmark 中有 8 项领先 GPT-6 Luna 与 Claude Haiku 5.5。扩散语言模型若真能在吞吐上压制自回归路线,对高并发低延迟场景的推理架构选择会是实质冲击,但自测成绩仍待第三方复现。

基座扩散语言模型模型发布推理速度

Introducing vLLM TorchTPU

vLLM 博客 · 10-20 08:00 UTC+8

vLLM 推出 vllm-torchtpu 后端,基于 TorchTPU 把 vLLM 的 serving 能力搬到 Google Cloud TPU 上,包含 Pallas kernel、多机并行、KV cache 卸载与 PD 分离部署。对已经在 TPU 上跑推理的团队来说,这补上了主流开源 serving 栈的空缺,TPU 与 GPU 在推理侧的工程差距进一步缩小。

InfravLLMTPU推理服务PD分离

Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

AWS 机器学习 · 10-20 00:05 UTC+8

AWS 团队为 vLLM 的 PD 分离引入基于 NIXL 的 push 式 KV 传输,把传输协调从关键路径上挪走,减少 prefill 与 decode 实例之间的等待。在搭载 EFA 的 EC2 P5en 上实测 TTFT 最多改善 3 倍、TPOT 改善 30%,说明分离式推理的瓶颈常常在传输协调而非带宽本身。

推理优化vLLMKV缓存分离式推理性能优化

Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

AWS 机器学习 · 10-20 00:03 UTC+8

多轮 agent 负载每一轮都要重算不断增长的上下文。AWS 在 vLLM 中实现双向 KV 传输,让 prefill 与 decode 节点跨轮复用已算过的 KV,减少重复计算。在 P5en 加 EFA 的环境下,Qwen3-32B 的首 token 延迟最多降低 1.6 倍、GLM-5-FP8 达 3.3 倍,对多轮工具调用类应用的体验提升很直接。

推理优化vLLMKV缓存多轮Agent延迟优化

How Eon built multi-cloud investigation with an MCP Gateway on Amazon Bedrock AgentCore

AWS 机器学习 · 10-20 23:57 UTC+8

Eon 用 Amazon Bedrock AgentCore 上的 MCP Gateway 统一了跨 AWS、GCP、Azure 的工具接入,替换掉原来每个工具一套凭证再加本地 MCP 进程的做法,让 100 多名开发者与自治 agent 共享同一套鉴权入口。新工程师上手时间从两天压到两分钟,是 MCP 在企业多云权限与治理落地上比较典型的案例。

AgentMCPAgentCore企业落地权限治理

ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model

HuggingFace 博客 · 10-20 23:19 UTC+8

ALTK-Evolve 在客服场景的 τ²-bench 上登顶,靠的不是更强的基座模型,而是可学习的记忆机制:把历史交互沉淀成可复用经验并在推理时调取。这对预算有限又想在企业流程类任务上追平前沿模型的团队是好消息,也再次印证记忆与经验管理是 agent 能力的独立增长点。

AgentAgent记忆基准测试客服场景

Hugging Face ❤️ TorchTPU: TPUs, Natively

HuggingFace 博客 · 10-20 08:00 UTC+8

Hugging Face 宣布支持 TorchTPU,让 Transformers 生态里的模型可以原生跑在 Cloud TPU 上,而不必绕道 PyTorch/XLA 的历史实现。对习惯 HF 工具链的开发者来说,更换硬件栈的迁移成本明显降低,也加速了 TPU 在开源社区中的可用性。

InfraHugging FaceTPU开源生态

Amazon is taking its biggest shot at Nvidia yet with new TorchNeuron dev tool

TechCrunch · AI · 10-20 04:09 UTC+8

Amazon 推出 TorchNeuron 开发工具,目标是让 PyTorch 应用更容易跑在 Trainium 等自研芯片上,直接冲击 Nvidia 在 PyTorch 生态中的默认地位。对做大模型训练成本优化的团队而言,这意味着除了 GPU 之外多了一条更顺滑的迁移路径,硬件竞争正从芯片上移到框架与编译器层。

InfraAmazonTrainiumPyTorch芯片竞争

MiniMax M3.1 Flash shows China's AI price race has no floor in sight

The Decoder · 10-20 02:22 UTC+8

MiniMax M3.1 Flash 在 Artificial Analysis 智能指数上比上代跃升 13 分到 42,成本却只有一半,DeepSWE v1.1 编码任务拿到 73.7%、单任务成本低于 0.3 美元,与 DeepSeek V4.1 Flash 在性能与价格上打成平手。这说明国内模型的价格战还远未见底,靠 API 成本做产品决策的团队需要持续重估选型。

基座MiniMax模型发布性价比代码能力

DeepSeek-V4.1 & FLUX-3

Unsloth · 10-20 00:50 UTC+8

Unsloth 同日支持本地跑 DeepSeek-V4.1-Flash-1017 与 FLUX.3 Image Klein:前者 552B 总参、16B 激活,靠把 Engram 表放 SSD,1-bit 量化下约 125GB 显存即可推理;后者 24GB 就能跑,支持最多 10 张参考图编辑,均有 GGUF。同时上线聊天内图片/视频输入、FSDP2 多卡训练(alpha)以及一条命令「unsloth mcp add」把 Claude Code、Codex、Cursor 接入本地模型的 MCP 配置。对想在单机/小集群上自托管前沿开源模型的团队,这套组合把显存门槛和工具链摩擦一起压了下来。

训练开源模型本地推理量化MCP

b11756

llama.cpp · 10-20 21:52 UTC+8

llama.cpp 服务端修复了 Anthropic 兼容的「/v1/messages」转换链路不转发 id_slot 的问题:此前该接口只白名单复制少量通用参数到内部 OAI 风格请求体,唯独漏了 id_slot,导致所有其他补全端点都支持的能力在这里缺失。对把会话钉到持有 KV cache 的固定 slot 上的代理层来说,这个遗漏会静默退化为自动选 slot,进而让缓存命中率与延迟收益消失。

推理优化推理框架llama.cppKV缓存

b11757: CUDA: Clear CUDA graphs after legacy memory pool flush (#26771)

llama.cpp · 10-20 19:30 UTC+8

llama.cpp 在 CUDA 后端修掉了旧版内存池 flush 之后未清空 CUDA graph 的问题,避免已捕获的计算图引用被回收/重排后的显存地址而读到脏数据。这类显存生命周期与时序问题往往表现为偶发的结果错误或崩溃,对在多卡、长时间 serving 场景里开启 CUDA graph 加速的部署方尤其值得跟进升级。

llama.cppCUDA推理优化

b11755

llama.cpp · 10-20 19:22 UTC+8

llama.cpp 的 Metal 后端补上了每 token 9 个专家这一 MoE 配置缺失的 kernel 变体,此前该专家数会落不到已编译的分支上,导致苹果芯片上模型加载失败或走不到正确计算路径。对在 Mac/iOS 上跑 MoE 量化模型、且专家数不在常见取值上的用户,这是从不能跑到能跑的关键修复,版本同时给出 macOS、iOS 与各 Linux 后端构建产物。

推理优化llama.cppMetalMoE端侧推理

viable/strict/1792492019: [FSDP2] Separate collective copy preparation from execution (#200034)

PyTorch · 10-20 15:29 UTC+8

PyTorch FSDP2 把每个 collective 的拷贝准备与执行拆成两步,保留原有 all-gather/reduce-scatter 的准备与拷贝作为默认行为,为后续注册原生拷贝(native copy)铺路。改动落在「_fsdp_collectives.py」与「_fsdp_api.py」新引入的 AllGatherInput 等抽象上,属于分布式训练通信层的结构性重构,直接写自定义 FSDP 扩展或依赖其通信 hook 的训练框架需要关注接口变化。

InfraPyTorch分布式训练FSDP

Claude新模型曝光!能跳出思维定势,修Bug治标又治本

量子位 · 10-20 09:09 UTC+8

据爆料,Anthropic 的新 Claude 模型在修 Bug 上表现出跳出既有思路的能力,能做到治标又治本,而不是只按报错位置打补丁;同一波消息里 OpenAI 只放出了所谓 6.1 Terra 的动作,对比之下显得克制。对依赖编码 Agent 的团队来说,值得关注的点是模型是否开始具备跨文件的根因推理,而不只是补全速度。

厂商动态Anthropic模型发布编码Agent

Mercury 3 🤖, MiniMax Flash 3.1 ⚡, Exa 3 🔎

TLDR AI · 10-20 08:00 UTC+8

当天集中出现三款新东西:Mercury 3、MiniMax Flash 3.1 与 Exa 3,分别覆盖推理模型与搜索检索 API 两条线。单日多发型说明模型与检索基础设施的迭代节奏仍在加快,选型方需要按任务(生成质量 vs 检索召回)分别评估而不是只看总榜。

基座模型发布检索行业动态

Nscale and Anthropic are reportedly in talks for yet another $45B compute deal

TechCrunch · AI · 10-20 07:39 UTC+8

据报道 Nscale 与 Anthropic 正洽谈又一份规模约 450 亿美元的计算采购协议,若落地将是 Anthropic 过去一年里一长串巨型算力合同中的最新一笔。含义很直接:前沿模型公司的竞争壁垒正越来越体现在长期锁定电力与 GPU 集群的能力上,而这会继续挤压中小玩家可租用的算力供给与价格。

厂商动态算力Anthropic商业化

Tenstorrent hits $6.2B valuation to scale open-weight AI chips

TechCrunch · AI · 10-20 02:37 UTC+8

Tenstorrent 以 62 亿美元估值完成 15 亿美元融资,明确用于继续独立发展开放权重场景的 AI 芯片,此前曾传出被收购的兴趣。对从业者而言,它代表 NVIDIA 之外一条主打开放权重与 RISC-V 路线的替代供应链,融资到账意味着这条路线在软件栈与产能上还能再撑一段时间。

Infra芯片融资开放权重

Accelerating Mamba-2 with High-Performance Forward Pass Kernels in NVIDIA CUDA Tile

NVIDIA 开发者 · 10-20 01:00 UTC+8

NVIDIA 介绍用 CUDA Tile(cuTile)这一面向 GPU 的 Python DSL 与并行编程模型来写 Mamba-2 的高性能前向 kernel,借助该模型自动映射到硬件的高级特性,省去大量手写底层调度的工作。对做状态空间模型推理落地的人来说,意义在于 Mamba-2 这类非注意力架构终于有了更易维护、可自动调优的官方 kernel 路径,而不是只能依赖零散的自研实现。

InfraNVIDIAMambakernelCUDA

How Deepgram optimized voice AI at scale with AWS Trainium

AWS 机器学习 · 10-20 00:23 UTC+8

Deepgram 与 AWS 前驻工程师团队合作,把语音识别模型 Nova-3 移植到 Trainium2 上做离线批量转写,工作涵盖 AWS Neuron 软件栈适配、kernel 级调优以及一个数据并行的 Rust 运行时。案例价值在于给出了非 GPU 加速器承载大模型推理的完整工程路径,并公开了吞吐与成本结果,对想把批量语音/转写成本压下来的团队是可复用的参考。

InfraTrainium推理优化语音成本

Build a semantic layer for agentic AI on AWS with Denodo and Amazon Bedrock AgentCore

AWS 机器学习 · 10-20 23:39 UTC+8

AWS 与 Denodo 合作,用 Denodo 平台加 Amazon Bedrock AgentCore 搭出面向 Agent 的受治理语义层,把 Aurora、Redshift 与本地 PostgreSQL 联邦成单一客户 360 视图,Agent 以 VQL 查询。关键在于身份透传与行/列级权限在语义层强制执行,而不是靠提示词约束,这对企业把 Agent 接到真实数据仓库时的合规与权限问题给出了可落地解法。

Agent语义层Bedrock数据治理

Build a semantic layer for agentic AI on AWS with Strategy Mosaic and Amazon Bedrock AgentCore

AWS 机器学习 · 10-20 23:36 UTC+8

这是语义层系列第三篇,用 Strategy Mosaic 在 Redshift 与 Aurora 上构建客户 360 模型,再通过 Mosaic 的 MCP server 暴露给跑在 Amazon Bedrock AgentCore 上的 Strands Agent,并端到端强制每用户的行列级安全。它展示了 MCP 作为 Agent 与数据基础设施之间标准接口的用法,权限判断留在语义层而非提示里,避免了把鉴权写进 prompt 的常见坑。

AgentMCP语义层Bedrock

Build a semantic layer for agentic AI on AWS with AtScale and Amazon Bedrock AgentCore

AWS 机器学习 · 10-20 23:33 UTC+8

同系列第三篇的另一实现:用 AtScale 在 Redshift 上建受治理的客户 360 模型,通过 AtScale 的 MCP server 接入 Bedrock AgentCore 上的 Strands Agent。身份透传、RBAC、行级安全与完整查询审计都在语义层执行,而非提示词,适合对审计和权限有硬要求的金融、政企 Agent 场景直接照搬架构。

AgentMCP语义层权限控制

v0.19.8 Patch Release

DeepSpeed · 10-20 23:21 UTC+8

DeepSpeed 发布 v0.19.8 补丁版,主要动作是清理历史包袱:废弃压缩库残留、移除 LoCo ZeRO++ 与 sparse_gradients 相关代码,同时修正 CI 里 bf16 门控只对 NCCL 生效、docs-only PR 跳过重负载 CI、放宽 Modal 沙箱超时等工程问题。对仍在用这些旧特性的训练脚本,这版是明确的弃用信号,升级前需要检查配置项。

InfraDeepSpeed分布式训练版本发布

AI生成的代码看不懂就扔掉重来:一位首席架构师的 5 条 Agent 编程反常识原则

InfoQ 中文 · 10-20 23:05 UTC+8

一位首席架构师分享五条关于 Agent 编程的反常识原则,核心观点之一是:AI 生成的代码如果人看不懂,就宁可扔掉重写,而不是硬着头皮维护。这类经验对正在把编码 Agent 塞进生产流程的团队有直接参考价值——可维护性与人类可审计性应当作为采纳 AI 代码的前置门槛。

Agent编码Agent工程实践可维护性

AI Agent 越用越贵?如何借助可观测性平衡性能、质量与成本 | 技术趋势

InfoQ 中文 · 10-20 22:55 UTC+8

文章讨论 AI Agent 用得越多成本越高的问题,主张通过可观测性在性能、质量与成本三者之间做平衡,例如按链路追踪 token 消耗、工具调用与重试开销。对已经上线多步 Agent 的团队,这提供了一个把成本从黑盒账单变成可归因指标的实践方向。

Agent可观测性成本优化

US orders federal agencies to remove China’s DeepSeek AI from their systems

TechCrunch · AI · 10-20 21:07 UTC+8

美国政府下令联邦文职机构从系统中移除 DeepSeek 产品以及基于其技术构建的第三方服务,理由是国家安全担忧。对从业者的直接影响是:涉及美国联邦客户或供应链的产品需要做模型来源清点与替换方案,开源模型的下游二次分发也开始承担地缘合规成本。

厂商动态DeepSeek监管合规

US bans Deepseek technology across federal civilian agencies

The Decoder · 10-20 19:34 UTC+8

美国国土安全部正式禁止联邦文职机构使用中国实验室 DeepSeek 的 AI 技术,范围覆盖其产品及衍生服务。这与另一条报道相互印证,说明限制已从采购层面上升到部门级禁令,做政府、国防相关业务的 AI 供应商需要重新梳理技术栈来源。

厂商动态DeepSeek监管政策

RISC-V 加速进入 AI 与高性能计算:玄铁车规 IP、服务器芯片等新进展亮相

InfoQ 中文 · 10-20 18:51 UTC+8

RISC-V 正加速进入 AI 与高性能计算,会上亮相了包括玄铁车规级 IP 与面向服务器的芯片方案在内的新进展。对关心推理硬件多元化的从业者,这代表在 GPU 之外,开放指令集架构正从车规、端侧一路往服务器侧走,长期可能改变推理芯片的成本结构。

InfraRISC-V芯片AI硬件

失败一次,受益多次:测试 Agent 从记忆到持续学习的工程实践|QCon上海

InfoQ 中文 · 10-20 18:00 UTC+8

QCon 上海议题分享测试 Agent 的工程实践:从把失败经验沉淀为记忆,到让 Agent 在反复执行中持续学习,做到失败一次、受益多次。对正在搭自动化测试或运维 Agent 的团队,重点在于记忆如何存储与检索、以及如何防止错误经验被反复强化这类实际设计取舍。

Agent记忆持续学习测试

Exa 3.0 Search API Tops Perplexity, Brave and Parallel on 8 Benchmarks

MarkTechPost · 10-20 16:12 UTC+8

Exa 发布 3.0 搜索 API,换用更大的 embedding 模型,新增按每千次 4 美元的轻量档 Exa Lite 与 Dynamic Highlights 功能,并在其自测的 8 个基准上领先 Perplexity、Brave 与 Parallel。对给 Agent 接检索层的开发者,这里的关键信息是检索质量与单次调用成本同时被压低,且 highlights 能减少把整页内容塞进上下文的开销。

Infra检索搜索APIAgent成本

[AINews] not much happened today

Latent Space · 10-20 13:21 UTC+8

当天模型侧只算小新闻:DeepSeek V4.1 Flash 1017、MiniMax M3.1 Flash 与 Mercury 3 相继出现,但短期内都不会进入大规模使用。这类快节奏小版本迭代意味着榜单波动不必过度解读,选型更该盯稳定版本与自身任务评测。

厂商动态模型发布行业动态

viable/strict/1792478519

PyTorch · 10-20 11:53 UTC+8

PyTorch 分布式 checkpoint(DCP)新增对 compressed-tensors 格式 MXFP4 量化权重的反量化加载支持,使这类低精度压缩权重能直接被读取并还原参与训练或推理。对用 MXFP4 做量化存储、又想在 PyTorch 原生分布式存档流程里统一管理权重的大模型训练管线,这补上了格式互通的一环。

推理优化PyTorch量化checkpoint

b11748

llama.cpp · 10-20 08:27 UTC+8

llama.cpp 的 SYCL 后端修复了在权重被重排(reordered)后 get_rows 取行出错的问题,影响 Intel GPU 上量化模型的行索引取值正确性。对跑 SYCL 后端的用户,这是会直接导致输出错误而非报错的静默 bug,建议尽快升级版本。

推理优化llama.cppSYCL量化Intel GPU

Meet Drex Max: Nace AI’s Multimodal Decision Model for Computer-Use Agents with a Score 67.59

MarkTechPost · 10-20 08:03 UTC+8

Nace AI 发布 Drex Max,一个面向 computer-use Agent 的多模态决策模型:同时读文本与屏幕截图,输出经过校准的概率,用于判断下一步动作。官方称在 Decision Index 0.3.2 上得 67.59,价格低至每百万输入 token 0.06 美元。把「决策」从通用大模型里拆成专用的廉价小模型,是降低 GUI Agent 单位动作成本的一条现实路径。

Agent多模态computer-use模型发布

b11747

llama.cpp · 10-20 08:02 UTC+8

llama.cpp 的多模态模块对齐了 transformers 里 Qwen-VL 的图像 resize 逻辑,让本地推理的预处理与官方实现保持一致。这类看似细小的预处理差异往往直接体现为图文任务效果打折,对部署 Qwen-VL 做视觉问答或多图输入的开发者是不能忽略的一致性修复。

Infrallama.cpp多模态Qwen-VL

AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms

HuggingFace 博客 · 10-20 08:00 UTC+8

AnyLanguageModel 1.0 发布,回顾了一年里在苹果平台(iOS/macOS)上跑本地模型的演进,提供统一的本地模型接入抽象。对做端侧 AI 应用的开发者,意义在于不用自己维护各家人工智能框架与推理后端的适配层,就能在 Apple 设备上切换本地模型。

推理优化端侧推理Apple开发者工具

论文 20 篇

论文看点:Agent 记忆原生化与脚手架自优化是当日最密集方向,兼顾长上下文线性注意力的 Kronecker delta 规则与参数高效微调的规模律亦值得一读。

Self-Evolving Coding Agents via Harness-Policy Optimization

MicrosoftHF 精选 · 10-20 08:00 UTC+8

Self-HPO 让编码智能体交替优化 harness 与策略:外层把运行时使用的工具、提示词与循环结构当作可演化对象,内层用强化学习针对不断变化的失败模式更新策略,形成递归式自我改进。相比只微调模型权重,这套做法把性能瓶颈归因到脚手架与策略的耦合上,能在编码任务上持续取得提升,说明 harness 本身也是一个值得训练的对象。

Agent强化学习代码智能体自我改进

Kronecker Delta Rule for Long Context Linear Attention

HF 精选 · 10-20 08:00 UTC+8

线性注意力做长上下文的关键在于关联记忆的写入是否稳定。KronLSTM 提出 Kronecker Delta 规则,用类似 delta 规则的精确写入替代累加式更新,让记忆矩阵在不引入额外归一化层的情况下保持数值稳定。这样在长上下文建模与检索上效果更好,同时省掉了常见的归一化开销,对线性注意力与 RNN 类架构的工程落地有直接参考价值。

基座线性注意力长上下文模型架构

Remembering Has a Price: Learning Memory Worth under Resource Constraints

HF 精选 · 10-20 08:00 UTC+8

TokenWorth 关注的是智能体记忆该留什么:它把某条经验是否值得记住并复用当作可学习的决策,在算力与上下文预算紧张时在线筛选历史经验,而不是无差别地全量检索。实验显示终身式任务成功率提升的同时 token 消耗反而下降,为长期运行的 agent 提供了一个轻量的记忆价值评估模块。

AgentAgent记忆长程智能体Token效率

Scaling Parameter-Efficient Fine-Tuning for Brain Encoding

HF 精选 · 10-20 08:00 UTC+8

脑编码需要把大规模多模态主干适配到神经信号预测上。本文用低秩适配器做参数高效微调,只训练极少量参数就能驱动超大骨干,结果性能与可解释性都有改善,训练与推理算力还显著下降。这为脑机接口与神经科学场景复用现成多模态大模型提供了一条低成本路径。

后训练参数高效微调多模态脑编码

MemT-1.0: Towards Memory-Native Evolution

HF 精选 · 10-20 08:00 UTC+8

MemT-1.0 主张记忆原生:不再把检索当作外挂模块,而是把连续记忆直接嵌入基础模型的计算过程,让记忆读写成为前向计算的一部分。这样长上下文处理效率更高,智能体类任务的完成度也更好,指向的是基座模型与记忆机制一体化设计的路线。

基座记忆架构长上下文基座模型

SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum

HF 精选 · 10-20 08:00 UTC+8

Matryoshka 表示学习允许 embedding 按维度截断使用,但标准 MRL 在低维下信息组织并不理想。SpecMRL 引入可学习的谱基,把特征重新投影到信息量更大的方向,使压缩后的向量优先保留有用成分。在相同低维度下其检索与表示效果优于原始 MRL,对做向量库降本和 embedding 压缩的从业者很实用。

Infra表示学习Embedding压缩向量检索

OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory

HF 精选 · 10-20 08:00 UTC+8

OpenVLHarness 面向真实世界的视觉工具调用:它把持久记忆、异构工具接口与迭代式证据组合整合成一个统一 harness,让多模态智能体在多轮交互中逐步补全证据而非一次性作答。作者在 22 个 benchmark 上做了验证,说明记忆与工具编排对视觉推理的提升往往比换一个更强的基座更直接。

Agent多模态Agent工具调用Agent记忆

OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners

HF 精选 · 10-20 08:00 UTC+8

OR-License 把运筹优化建模成真实业务交付:智能体只拿到客户原始材料,需要自己完成建模、求解与方案输出,再由专家按可行性、可部署性打分。结论是部分模型目标值做得不错,但在约束可行性与落地质量上无人达到专家水平,提示专业领域的 agent 评测不能只看目标函数数值。

AgentAgent评测运筹优化基准测试

CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents

HF 精选 · 10-20 08:00 UTC+8

CoworkEnv 解决的是 AI 同事训练数据稀缺的问题:它用工作流引导的任务构造加程序化校验,自动合成可执行的长期协作环境,从而支撑监督微调与强化学习。基于此训练出的紧凑型 PocketWorker 模型在多轮协作与工具使用上明显提升,为长程办公类 agent 提供了一条可规模化的数据生产线。

AgentAgent训练合成数据工具调用

Interlock: From Local Correctness to Task Completion in Long-Horizon Agents

美团HF 精选 · 10-20 08:00 UTC+8

长程任务里每一步局部正确并不等于任务完成。Interlock 把任务合成为带类型的完成图,强制各组件之间满足跨环节约束,再用基于智能体的验证与自训练迭代改进。这样把局部正确性与任务级完成对齐起来,在复杂 benchmark 上有实质提升,也给长程 agent 的数据构造提供了新思路。

Agent长程Agent数据合成自训练

HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs

快手HF 精选 · 10-20 08:00 UTC+8

HarnessPro 让 agent 的脚手架自己进化:在没有人工标签的情况下,通过轨迹诊断定位失败环节,再用帕累托加权选择同时优化任务成功率与执行成本。产出的是轻量版、均衡版、高性能版等不同档位的 harness,对需要严格控制推理开销的生产部署很有吸引力。

AgentAgent框架成本优化帕累托优化

MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents

HF 精选 · 10-20 08:00 UTC+8

MemPilot 把多模态记忆的整理当成强化学习问题:何时检索、检索多少、交给哪个模型处理,都由策略根据当前任务动态决定,从而在效果、成本与延迟之间取平衡。相比固定阈值的检索管线,它更能适应负载与任务类型的变化,是把记忆管理纳入 serving 成本优化的一次有益尝试。

AgentAgent记忆强化学习推理成本

Evidence-First Agentic Verification

HF 精选 · 10-20 08:00 UTC+8

Sauron 提出证据优先的验证范式:判定一条结论是否成立时,不依赖模型自评,而是回到环境状态与执行轨迹中找可核对的证据。这样 rubric 式评测的准确率更高,也能减少强化学习中因误判产生的奖励噪声,对搭建可靠 RL 训练闭环的团队意义不小。

AgentAgent评测验证器RL训练

Self-Evaluating Recursive Agents

HF 精选 · 10-20 08:00 UTC+8

SERA 让递归式语言智能体自己为子任务生成评价 rubric,再用这些 rubric 指导分解、求解与自评,形成一个少依赖外部监督的闭环。核心在于把怎么算做对下放给模型自己定义,从而在长任务上改善分解质量与最终正确率,并降低人工标注评分的成本。

Agent自评测任务分解

Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents

NeurIPS 2026CCF-A推荐MicrosoftHF 精选 · 10-20 08:00 UTC+8

小模型智能体在蒸馏后常常陷入原地打转。本文提出进度感知蒸馏,检测轨迹中的停滞片段并施加惩罚,把有效推进这一信号显式注入训练。结果是推理步数更省、成功率更高,说明小模型 agent 能力的瓶颈往往在于探索效率而非知识量。

Agent小模型知识蒸馏Agent训练

RoAR-VAE: Improving Latent Diffusability through Robust Prediction

MicrosoftHF 精选 · 10-20 08:00 UTC+8

视觉 tokenizer 既要重建保真又要对扩散模型友好。RoAR-VAE 的做法是对潜在表示施加扰动,要求模型仍能鲁棒地预测语义并重建原图,这种鲁棒性约束让潜空间更平滑、更易被扩散模型学到。它在保真度与可扩散性之间取得更好平衡,对生成模型的 tokenizer 选型有参考意义。

基座视觉tokenizer扩散模型表征学习

AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments

HF 精选 · 10-20 08:00 UTC+8

AdaExploreBench 考的是智能体能否主动探索:环境里藏着未公开的规则,还会在过程中悄然改变,模型必须自己去找证据、发现规则并意识到旧知识已经过期。结果显示当前模型在主动求证与知识失效检测上普遍偏弱,为测试时适应能力提供了一个更有区分度的评测场景。

AgentAgent评测测试时适应主动探索

Game of Phones: Harnessing Game Theory and LLMs in 'Bot Wars' to Counteract Phone Scams

ECML-PKDD 2026CCF-B推荐arXiv · 10-20 01:35 UTC+8

本文把反电信诈骗做成博弈:让 LLM 驱动的自动反诈 agent 与诈骗者对话,通过消耗对方的时间与运营资源抬高其成本,并利用上下文经验学习动态调整话术策略。相比只做拦截的静态方案,这种主动消耗思路把对抗从防守转成成本博弈,为自动化反诈提供了可量化的新方向。

AgentAgent应用博弈论反诈安全
Nardine Basta, Robin Carpentier, Benjamin Zi Hao Zhao, Dali Kaafar

Monsoon: Scalable Spontaneous Speech Collection for Low-Resource ASR in 50 Languages

ICASSP 2027CCF-B推荐arXiv · 10-20 01:30 UTC+8

低资源语言 ASR 的瓶颈主要不在模型而在数据:缺少准确转写的自然口语。Monsoon 用配对志愿者引导无脚本对话,配合自动分类器筛除不合格录音、五级人工复核纠错,并按词汇与声学覆盖度选段,已在 50 种语言上完成采集,为大面积扩充口语语料提供了一套可复制的工程流程。

语音识别数据工程低资源语言
Shobhit Banga, Manas Dhir, Aaditya Pareek, Amritansh Walecha, Bhaskar Singh, Hanuman Sidh, Manmeet Kaur, Sagar Jain

Cross-Fitting for Neural Posterior Estimation

NeurIPS 2026CCF-A推荐arXiv · 10-20 00:59 UTC+8

神经后验估计把条件密度拟合到模拟数据上,但最大似然目标天然鼓励对训练点给出任意高的密度,归一化流、高斯编码器这类灵活模型于是极度过度自信,迁移到留出数据时表现崩塌。本文引入交叉拟合来缓解这种过拟合式自信,让后验估计在未见过数据上的校准与泛化更可靠,对基于仿真的推断流程很关键。

概率推断过拟合方法论
Jeffrey Regier