每日 AI 速览

2026-09-13

生成于 2026-09-14 04:15
本页行业动态来源于互联网公开信息,可能存在不实或失准内容,请仔细辨别消息真实性。AI Infra 状态来自 GitHub 主分支 PR。

今日导语

今日主线集中在后训练与推理、统一多模态、以及智能体评测与工程化。后训练侧,『Nemotron』开源数学奥林匹克训练配方,负向自蒸馏与完整推理轨迹研究继续推动推理优化;Cognition 发布『SWE-2』,基于『Kimi K3』后训练以更低成本达到前沿编码水平。多模态侧,『SenseNova-U1.5』探索原生统一视觉智能,图像分词器、语音编码器压缩与视频理解并行推进。智能体侧,『SWE-Bench Pro Verified』与『Φ-Bench』提升评测可靠性,终端智能体强化学习、上下文工程与安全框架成为焦点。

AI Infra 动态 20 条

主流训推框架主分支 PR,按前沿价值与性能影响降序。
SGLang #38346 MERGED

fix(qsa): clamp the compress gather to the rows this forward has

本日更新,目标 main · 09-13 22:37 UTC+8 · @ehuaa

修复 QSA 中压缩 gather 行索引越界问题,将 group_locs 钳制到当前 forward 实际 token 行数减一。避免 chunked prefill 尾部不足 compress ratio 时读取未映射内存导致 IMA 错误,提升推测解码在短 chunk 下的稳定性。

推测解码 算子与内核硬件适配性能优化
SGLang #39230 MERGED

[AMD] Document GLM-5.2 MXFP4 recipe update on MI355X

本日合并至 main · 09-13 06:57 UTC+8 · @jiejingzhangamd

更新 MI355X 上 GLM-5.2 MXFP4 的部署配方,将低延迟映射到 TP8/EP1、高吞吐映射到 TP4/EP4,并统一 MTP 5-1-6、FP8 KV cache 与 Triton DSA 后端。为 AMD 硬件提供经过验证的可移植推理配置,提升 MXFP4 模型在 MI355X 上的低延迟和高吞吐部署适配性。

推测解码 算子与内核硬件适配性能优化
SGLang #39116 MERGED

[AMD] Fix Dspark accept length and reduce host bubble on DSV4

本日合并至 main · 09-13 06:21 UTC+8 · @RolaoDenthu

修复 DSPARK 推测解码的 accept length 计算,并将 SWA 写入位置元数据改为原地更新,避免捕获的 kernel 引用过期 ring 位置。减少 DSV4 在 AMD 平台上 draft 阶段的 host bubble 和 KV 写入错误,提升推测解码正确性与端到端性能。

推测解码 算子与内核控制流优化硬件适配
vLLM #56332 MERGED

[CI/Build] Add DSv4.1 auto-label rules and narrow DSv4

本日合并至 main · 09-13 00:50 UTC+8 · @jcotant-inferact

为 DeepSeek-V4.1 添加独立的自动标签规则,并收紧 DSv4 标签的匹配范围,避免将 V4.1 相关 PR 错误归类。改善 CI 中推测解码相关 PR 的分类准确性,使不同 DeepSeek 架构的构建与审查流程更清晰。

推测解码 算子与内核硬件适配服务与推理
vLLM #56305 MERGED

[Attention] Add Triton/FlashInfer composite for multimodal prefix attention

本日合并至 main · 09-13 22:29 UTC+8 · @MatthewBonanni

为多模态前缀注意力新增 Triton 图像掩码与 FlashInfer 因果注意力的可复用组合实现,无需修改 worker 或核心逻辑。利用不同注意力后端处理模态差异,在固定负载下降低多模态模型的首 token 延迟并提升吞吐。

推测解码 算子与内核
vLLM #56011 MERGED

[CI][Test][Spec Decode] Fix CI failure of Qwen3 Omni DSpark loader mock

本日更新,目标 main · 09-13 13:28 UTC+8 · @starkwj

修复 Qwen3 Omni DSpark 加载器单元测试中缺失的 parallel config mock,以匹配从目标 vLLM 配置派生草稿并行配置的改动。恢复推测解码相关 CI 测试的有效性,确保并行配置变更不会导致测试回归。

推测解码 服务与推理
vLLM #56654 MERGED

[MRV2] Revert explicit Triton JIT warmup migration

本日合并至 main · 09-13 12:07 UTC+8 · @WoosukKwon

回滚 56323 中针对 MRV2 的显式 Triton JIT 预热迁移,恢复直接 DFlash 与多模块 MTP kernel 启动及原有采样器初始化。避免显式 JIT 预热引入的回归风险,保留通用预热机制以维持推测解码的稳定性。

推测解码 算子与内核
vLLM #56323 MERGED

[6/N][warmup][DSv4] Migrate sampling, and DFlash JIT kernels

本日合并至 main · 09-13 08:24 UTC+8 · @LopezCastroRoberto

将 DSv4 的采样和 DFlash JIT kernel 迁移到显式 Triton JIT 预热机制。通过预热 JIT kernel 减少首次调用的编译开销,优化 DeepSeek-V4 推测解码的启动性能。

推测解码 性能优化
SGLang #39213 MERGED

[Docs] GLM-5.3-Flash cookbook: fixed MTP 5/1/6, EP1 + flashinfer_trtllm on Blackwell

本日合并至 main · 09-13 03:56 UTC+8 · @JustinTong0323

更新 GLM-5.3-Flash 的部署配方,移除 --speculative-adaptive 并固定 MTP 5/1/6 参数,在 Blackwell 上采用 EP1 和 flashinfer_trtllm。通过消除自适应策略对 batch 大小的草稿步数限制,恢复在 GB300 上的推理吞吐,优化 Blackwell 硬件适配。

推测解码 硬件适配
vLLM #56122 MERGED

[watermarking] Dual-key gumbel-max watermarking for speculative decoding support

本日合并至 main · 09-13 02:42 UTC+8 · @TQCB

实现双密钥 Gumbel-max 水印算法,并新增 allow target only watermarking 选项,使文本水印兼容推测解码。在草稿 token 被接受时也能保持水印信号,避免因推测解码导致水印强度稀释,同时提升输出多样性。

推测解码
vLLM #56528 MERGED

[Test][Determinism] Cover VLM batch invariance in default execution mode

本日合并至 main · 09-13 22:22 UTC+8 · @ShengleiFu

在默认执行模式下增加 Qwen3-VL 的批处理不变性测试,覆盖 CUDA Graph decode 路径,并关闭缓存和 FlashInfer 采样器以隔离变量。验证非 eager 模式下视觉语言模型在 batch 维度上的确定性,保障生产推理的一致性。

算子与内核 控制流优化硬件适配服务与推理
vLLM #54787 MERGED

[ROCm][Perf][M3] Fused allreduce+GemmaRMSNorm fast path

本日更新,目标 main · 09-13 17:52 UTC+8 · @benenzhu

在 ROCm 上为 GemmaRMSNorm 添加 aiter 融合 allreduce 与 RMSNorm 的快速路径,替代逐层两个独立 kernel。减少 MI355X 上每层的 kernel launch 数和通信开销,提升 AMD GPU 分布式推理性能。

算子与内核 硬件适配性能优化分布式训练
vLLM #56682 MERGED

[Bugfix] Avoid repeated dummy initialization and random CPU Engram fills

本日合并至 main · 09-13 17:23 UTC+8 · @WoosukKwon

修复 --load-format dummy 下重复初始化后代权重及随机填充 CPU Engram 表的问题,改为仅初始化局部参数和持久缓冲区,并为 Engram 使用常量填充。降低模型加载时的冗余计算和内存随机初始化开销,提升 DeepSeek V4.1 在 CPU offload 场景的加载性能。

算子与内核 性能优化分布式训练服务与推理
SGLang #39136 MERGED

[Fix] Preserve GLM tool argument types across JSON Schema unions

本日合并至 main · 09-13 13:47 UTC+8 · @willhu-jpg

修复 GLM 工具调用解析器在 JSON Schema 联合类型中过早确定类型的问题,延迟解析 $ref、类型数组、枚举和 anyOf/oneOf 直到参数值完整。保证流式与非流式响应中工具参数类型一致,提升结构化输出和工具调用的正确性。

算子与内核 控制流优化硬件适配性能优化
SGLang #39252 MERGED

[AMD] Add dspark config and agentic workload section for deepseek-v4 model

本日合并至 main · 09-13 10:32 UTC+8 · @1am9trash

更新 DeepSeek-V4 的 AMD 部署文档,添加 dspark 配置和 MI355 agentic 工作负载章节,并升级镜像版本。为 AMD 平台上运行 DeepSeek-V4 的推测解码和智能体负载提供配置参考,方便硬件适配与部署。

算子与内核 硬件适配性能优化服务与推理
SGLang #38549 MERGED

[Diffusion] Return Qwen-Image-Layered outputs and preserve CFG2 rounding

本日合并至 main · 09-13 09:15 UTC+8 · @BBuf

修复 Qwen-Image-Layered 多图层输出仅返回一个结果的问题,将各图层映射回父请求并分配独立文件名,同时保留单 GPU BF16 的 CFG 舍入语义。确保分层图像生成能完整返回所有图层,并保持分布式配置下的数值一致性,提升多 GPU 图像生成质量与可复现性。

算子与内核 硬件适配性能优化分布式训练
FlashInfer #5126 MERGED

test(cake_comm): initialize NVSHMEM for BF16 rank-major GPU regression

本日合并至 main · 09-13 08:56 UTC+8 · @yyihuang

在 cake_comm 的八 rank BF16 rank-major GPU 回归测试中改用 NVSHMEM 传输初始化,并移除强制 TF32 覆盖以使用 FP32 GEMM 参考。避免默认 PyTorch symmetric-memory rendezvous 在验证环境下的崩溃,确保多 rank 通信测试的稳定性和参考精度。

算子与内核 控制流优化硬件适配性能优化
vLLM #56157 MERGED

[PCP][DCP] Enable PCP+DCP on sparse-MLA models

本日合并至 main · 09-13 07:24 UTC+8 · @PatrykSaffer

在 sparse-MLA 模型上同时启用 PCP 和 DCP,为稀疏索引器与 FlashMLA-sparse 后端提供 DCP 聚合的 prefill 路径,并通过复制短 prefill 保持 chunk 行数不变。允许推理部署在 decode 阶段切分 KV cache 同时在 prefill 阶段跨 rank 并行处理查询,提升稀疏 MLA 模型的扩展性和吞吐。

算子与内核 控制流优化硬件适配性能优化

行业动态 26 条

Cognition Releases SWE-2: A Kimi K3 Post-Trained Coding Model That Matches Fable 5.1 on FrontierCode at 64% Lower Cost

MarkTechPost · 09-13 07:56 UTC+8

Cognition 发布 SWE-2,这是其目前最强的编码模型,由月之暗面 Kimi K3 开源模型经强化学习后训练而来。它在 FrontierCode 1.1 Main 上得分 50.0%,与 Fable 5.1 相差不到 1 分,但成本低 64%,表明基于开源大模型的后训练路线可在编码能力上接近高端竞品并显著压低单位成本。

厂商动态编码模型Kimi K3强化学习后训练成本效率

Iris-mini and Iris-pro are the strongest open-weight search agents in their class

The Decoder · 09-13 20:58 UTC+8

AllSpark 团队发布 Iris-mini 和 Iris-pro 两个开源搜索智能体,均基于 Qwen 模型构建,在各自尺寸类别中领先开源权重模型。其训练数据与模型还泛化到通用工具使用和办公等未见任务,说明搜索场景的强化学习可迁移到更广泛的智能体能力上。

Agent搜索智能体开源模型Qwen智能体泛化

v0.29.1rc0

vLLM · 09-13 02:42 UTC+8

vLLM 发布 v0.29.1rc0 候选版本,为投机解码引入双键 Gumbel-max 水印功能。该改动让生成内容在提升吞吐的同时具备可追溯性,对推理框架中内容来源追踪与安全合规场景有价值。

推理优化vLLM投机解码水印推理框架

AWS Introduces Pizza Bot: An Open Source Inbox for Background AI Agents

MarkTechPost · 09-13 16:10 UTC+8

AWS 推出开源自托管的 AI 智能体收件箱 Pizza Bot,基于 DeepAgents 和 LangGraph 构建。它融合持久任务状态、MCP 集成、可配置审批与跨多家模型提供商的定时工作流,为后台运行的长时智能体提供了一套通用基础设施。

AgentAI智能体开源AWSMCP

Context Engineering Inside the Harness: 4 Mechanisms That Beat Context Overflow and Goal Loss on Long-Horizon Tasks

MarkTechPost · 09-13 13:56 UTC+8

文章分析了浅层智能体在长时任务中上下文溢出与目标丢失两大失败模式,并深入 harness 层给出四种解决机制。文中提供了 LangChain Deep Agents、Claude Code、Manus、OpenAI Codex 和 Amazon Bedrock AgentCore 的实际阈值,以及一个展示 200K 窗口被填满的交互模拟器,对构建长程智能体很有参考价值。

Agent上下文工程智能体长程任务harness层

Implementation of Machine Learning Workflows with NVIDIA cuML, RAPIDS, GPU Benchmarking, Explainability, Clustering, and Model Inference

MarkTechPost · 09-13 09:42 UTC+8

该教程演示如何用 NVIDIA cuML 和 RAPIDS 构建并加速机器学习工作流:通过 cuml.accel 实现零代码 scikit-learn 加速,并覆盖性能基准、UMAP 与 HDBSCAN 的流形学习聚类、FIL 树模型推理以及 GPU 加速 SHAP 可解释性。对希望零改动或低改动迁移到 GPU 的 ML 工程师是一条实用路径。

InfraGPU加速cuMLRAPIDS机器学习

b10935

llama.cpp · 09-13 08:41 UTC+8

llama.cpp 新增 LOG_JSON 宏,用于记录结构化日志数据,并提供一个演示。这使运行中的 llama.cpp 服务能输出机器可解析的 JSON 日志,便于后续指标采集和问题诊断。

Infrallama.cpp结构化日志JSON推理框架

b10934

llama.cpp · 09-13 08:18 UTC+8

llama.cpp 实现了 common_schema 作为 JSON schema 的内部表示,并将 json-schema-to-grammar 重构为基于 common_schema,配套 schema 优化器和 common_trie。这有助于提升结构化输出约束的解析效率和一致性,对依赖 JSON schema 控制模型输出的场景很重要。

Infrallama.cppJSON schema语法约束结构化输出

viable/strict/1789327312

PyTorch · 09-13 23:31 UTC+8

PyTorch 合并一项标记为性能与神经网络方向的改动,调整 torch._C._get_tracing_state() 的实现或访问方式。该改动可能减少 Python 与 C++ 边界的调用开销,改善追踪状态相关路径的性能。

InfraPyTorch性能优化追踪状态神经网络

trunk/36d813411f98c73ba65b56cdc4f950df6dfed2de

PyTorch · 09-13 23:31 UTC+8

PyTorch trunk 分支合入一项性能与神经网络相关改动,将 torch._C._get_tracing_state() 改为新的调用形式。该调整意在优化内部追踪状态获取逻辑,降低运行时开销。

InfraPyTorch性能优化追踪状态神经网络

b10941

llama.cpp · 09-13 18:36 UTC+8

「llama.cpp」合并 PR #28842,缩小「Flash Attention」相关测试用例的规模,以降低多平台持续集成矩阵的负担并加快构建验证反馈;这对维护者更高效地发现回归问题、减少 CI 排队时间有直接帮助。

Infra「llama.cpp」「Flash Attention」CI 测试测试优化

Figma 如何利用 AI 代理提升安全性

InfoQ 中文 · 09-13 18:00 UTC+8

InfoQ 中文报道「Figma」将人工智能代理引入安全流程,自动化处理代码扫描、漏洞研判与修复建议等重复工作,以加快从发现到处置的周期;该实践展示了智能体在企业安全防线中的落地路径,对关注人工智能安全应用的团队有参考价值。

Agent「Figma」AI 代理安全InfoQ 中文

b10938

llama.cpp · 09-13 14:46 UTC+8

「llama.cpp」针对「NVIDIA」Vulkan 驱动缺陷加入临时规避方案,修复同一「VkDevice」上两个队列同时提交导致的内部同步破坏问题,通过在提交处加互斥锁缓解异常;在驱动修复前,这条补丁可改善 Vulkan 后端在 NVIDIA 硬件上的稳定性。

Infra「llama.cpp」VulkanNVIDIA 驱动互斥锁稳定性

今年外滩最特别Agent:能干活,能陪聊,还会朋友圈拉黑你

量子位 · 09-13 14:40 UTC+8

量子位报道外滩大会上出现一款关系型智能体,既能执行任务、提供陪伴式对话,还会在朋友圈拉黑用户,展现代理开始具备关系边界和社交行为;报道认为智能体的下一步是从单一工具属性走向长期关系型生产力。

量子位Agent关系型 AI外滩大会

viable/strict/1789293225

PyTorch · 09-13 13:33 UTC+8

「PyTorch」的「Inductor」为 nogil 模式下的「Triton」编译引入专用线程池,使编译任务不与其他执行线程争抢资源,从而提升多线程编译吞吐并减少调度阻塞;该改动对依赖「Inductor」代码生成的训练和推理流程有稳定性收益。

Infra「PyTorch」「Inductor」「Triton」线程池编译优化

trunk/c1c94458e8a382b3d84049f3c9f4961f59e8f609

PyTorch · 09-13 13:33 UTC+8

「PyTorch」主干分支合入为 nogil 「Triton」编译增加专用线程池的改动,使「Inductor」在无全局解释器锁场景下编译调度更可控,降低并发编译时的资源竞争,并改善代码生成阶段的可扩展性。

Infra「PyTorch」「Inductor」「Triton」nogil线程池

b10937

llama.cpp · 09-13 13:17 UTC+8

「llama.cpp」的 OpenCL 后端将 noshuffle 行对齐规则从 q6_K 扩展到 q4_K、q5_K 和 q8_0 量化格式,统一不同量化内核的内存对齐行为,以提升 OpenCL 设备上的推理正确性与性能稳定性。

「llama.cpp」OpenCL量化行对齐推理优化

b10936

llama.cpp · 09-13 09:09 UTC+8

「llama.cpp」改进「Qwen3-Coder」模型的结构化输出解析能力,增强对复杂类型的模式支持,并清理了相关语法实现,使工具调用和 JSON 输出更可靠;这对依赖「Qwen3-Coder」做结构化生成的应用有直接帮助。

Infra「llama.cpp」「Qwen3-Coder」结构化输出工具调用语法解析

OpenAI’s Sam Altman says it would be ‘ill-advised’ to go public in 2026

TechCrunch · AI · 09-13 04:19 UTC+8

「TechCrunch」报道「OpenAI」已秘密提交首次公开募股申请,但首席执行官「Sam Altman」表示 2026 年上市并不明智,公司今年不会推进;这表明「OpenAI」更倾向于在私营阶段保持灵活性,优先投入长期研发而非受公开市场短期压力影响。

厂商动态「OpenAI」IPOSam Altman商业化融资

Fly Language Model (FLM) Wires the Full Fruit Fly Connectome Into a Frozen 1.2B LLM, and Its Own Controls Show the Wiring Does Not Help

MarkTechPost · 09-13 02:51 UTC+8

「MarkTechPost」报道「Fly Language Model」用令牌嵌入驱动雄性果蝇连接组的 16.67 万神经元和 2560 万条边,并冻结 1.2B 骨干仅训练 27.85 万参数;虽然相比骨干有 0.0222 纳特每令牌提升,但参数匹配且不含图的对照模型在每个种子上都略优,说明果蝇连接组接线并未带来实际帮助。

基座果蝇连接组大语言模型神经拟态「FLM」对照实验

Google Mantis:一款旨在减少误报的基于智能代理的漏洞扫描框架

InfoQ 中文 · 09-13 00:06 UTC+8

InfoQ 中文报道「Google」推出名为「Mantis」的漏洞扫描框架,采用智能代理技术以降低误报率,减少安全团队在海量告警中筛选真实威胁的成本;该框架把智能体决策引入安全扫描流程,更聚焦可操作漏洞。

Agent「Google」「Mantis」漏洞扫描AI 代理误报

论文 20 篇

今日暂无当天新论文。周末或节假日 arxiv 不公告、HuggingFace 每日精选也不更新。以下为近期精选 20 篇。

An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics

HF 精选 · 09-11 08:00 UTC+8

这项工作提出了一个面向奥数竞赛的自然语言证明生成流水线,直接对后训练的「Nemotron 3 Ultra」检查点做迭代验证与细化,全程不依赖外部工具。该方案在 IMO 2026 上达到金牌水平,说明仅靠模型自身推理与自检即可攻克高难度数学题,对数学推理与智能体训练有直接参考价值。

数学推理证明生成后训练迭代验证

NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction

上海 AI LabHF 精选 · 09-11 08:00 UTC+8

「NCP-ArchPreview」是一个大型潜空间语言模型,联合训练下一 token 和下一概念预测,目标是在预训练阶段就引入更抽象的语义单元来提升效率。该设计使模型不再只依赖 token 级信号,从而在预训练效率和下游任务表现上同时获益,为走向潜空间语言模型提供了一条可复现路径。

基座潜空间语言模型预训练概念预测模型架构

SenseNova-U1.5: Towards Native Unified Visual Intelligence

HF 精选 · 09-11 08:00 UTC+8

「SenseNova-U1.5」是 8B 参数的原生统一多模态模型,在不用图像编码器或 VAE 的情况下直接完成视觉理解、推理与生成。它通过 patch 重建、精选数据、专家优化和 on-policy 蒸馏来保证高保真生成与指令遵循,展示了一条去除独立视觉前端、压缩多模态堆栈的新路线。

基座多模态统一模型视觉生成无编码器指令遵循

T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks

腾讯 AI LabHF 精选 · 09-10 08:00 UTC+8

「T1」是一个 122B 的混合专家模型,用强化学习在云端沙箱里执行长程终端任务。研究通过稳定的 actor-critic 优化与分布外训练,在长程终端操作基准上取得最先进结果,说明大规模 MoE 配合稳定 RL 调优可以显著提升智能体处理真实长任务的能力。

Agent终端智能体强化学习混合专家模型长程任务

HyQuant: Hybrid-Precision Quantization for LLM Attention

HF 精选 · 09-11 08:00 UTC+8

「HyQuant」针对低比特 LLM 注意力量化中精度损失问题,提出混合精度策略:只保留关键垂直列 token 和局部窗口的高精度,其余部分低比特量化。这样既避免了对所有 token 一视同仁造成的注意力分数失真,又几乎不增加额外开销,在低比特部署场景下更好维持模型准确率。

量化注意力机制低比特推理推理优化

Negative Self-Distillation: Learning to Reason by Avoiding Flaws

HF 精选 · 09-11 08:00 UTC+8

该研究提出负向自蒸馏,不模仿优质推理,而是让模型远离自己生成的包含缺陷的推理路径。通过一个动态门控机制有选择地施加负向信号,既改善推理质量又不损伤语言能力,为推理训练提供了更细粒度的监督思路。

后训练自蒸馏推理训练动态门控训练方法

SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents

上海 AI LabHF 精选 · 09-10 08:00 UTC+8

该分析指出「SWE-Bench Pro」虽然在软件工程智能体评测中成为标准基准,但评估可靠性受两类问题破坏:一是奖励黑客,源自金标准方案或隐藏评测信息泄露;二是任务质量问题,包括误导性的问题陈述和测试范围不当。这些问题会抬高基准分数,掩盖智能体真实的编码能力,提示社区需要更严格的防泄露和任务校验机制。

Agent软件工程评测基准可靠性奖励黑客智能体评测

Revisiting Complete Reasoning Traces for Post-Training

HF 精选 · 09-10 08:00 UTC+8

论文重新审视了完整推理轨迹在后训练中的作用,发现真正带来推理提升的是截断后的轨迹端点,而非完整冗长的中间过程。这种做法减少冗余数据,同时让监督微调和强化学习都受益,意味着推理数据工程可以聚焦于高质量结论片段而非全量链式轨迹。

后训练推理后训练轨迹截断数据效率监督微调

Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?

HF 精选 · 09-10 08:00 UTC+8

「Φ-Bench」提出一个开放式评测框架,考察大语言模型能否自己动手设计并优化支撑其运行的 LLM 基础设施栈。任务从内核级优化延伸到端到端系统设计,直接评估模型在底层工程与系统构建上的实际能力,而不仅是回答代码题。

AgentLLM基础设施评测基准系统设计内核优化

SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem

HF 精选 · 09-11 08:00 UTC+8

该工作用合成积木堆叠任务训练大视觉语言模型,针对性提升 3D 空间推理能力。实验表明这种低成本合成数据能有效泛化到真实世界视觉任务,说明构造空间操作类合成题目是增强 LVLM 空间智能的一条实用路径。

基座空间智能视觉语言模型合成数据3D推理

EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents

HF 精选 · 09-11 08:00 UTC+8

「EvoSafeHarness」针对固定模型和目标领域,联合搜索自然语言策略与可执行逻辑,优化可部署的安全护栏。这种方法不再用单一规则覆盖所有场景,而是在多个智能体基准上改善安全与效用的权衡,为生产环境中的智能体安全治理提供了自动生成方案。

Agent智能体安全安全护栏策略搜索安全对齐

X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation

HF 精选 · 09-11 08:00 UTC+8

「X-AuT」专注于压缩语音大语言模型中的音频编码器,通过渐进式剪枝编码器层来减少计算。随后利用行为探针、表示对齐、跨尺度蒸馏和 LoRA 适配来恢复精度,在不重新训练整个模型的前提下显著降低语音 LLM 的编码成本。

推理优化语音LLM模型压缩知识蒸馏音频编码器

MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes

HF 精选 · 09-11 08:00 UTC+8

「MetroLLM-Bench」是一个公共交通信息亭策略推理基准,评估模型在结构化工具调用和票价报价等任务上的表现。结果显示经过参数高效微调的小模型可以追平大模型,说明在垂直场景中用小模型加 PEFT 即可获得高性价比的运行时方案。

后训练领域评测参数高效微调工具使用交通场景

TempCloze: Can Video-LLMs Identify the Missing Middle?

HF 精选 · 09-11 08:00 UTC+8

「TempCloze」专门评估视频大语言模型的视觉时间推理能力,让模型从针对语义、时间对齐和事件进展的干扰项中识别缺失视频片段。这种填空式评测能更细粒度地暴露 Video-LLM 对时间顺序和因果关系的理解盲区。

基座视频理解时间推理评测基准多模态

World in World: Explore the World with World Models

HF 精选 · 09-11 08:00 UTC+8

该工作提出一种无需训练的控制接口,直接在冻结的自回归视频世界模型中实现灵活的相机视角和时间控制。核心是把异构视觉证据通过原生自注意力路由,并利用对应引导查询和逐通道注意力引导,为探索世界模型动态提供了一种低成本交互手段。

基座世界模型视频生成注意力引导免训练方法

Studying Image Tokenizers as Visual Languages in Unified Multimodal Models

HF 精选 · 09-11 08:00 UTC+8

这项研究在受控自回归测试台中,通过分析多模态预训练期间的任务特定验证损失,系统评估图像分词器设计对联合图文建模与下游性能的影响。它把图像分词器当作视觉语言看待,帮助理解不同分词粒度如何改变统一多模态模型的学习行为。

基座图像分词器多模态预训练自回归模型视觉语言

Beyond Solver Verdicts: Generative Reward Models for Autoformalization

HF 精选 · 09-11 08:00 UTC+8

文章指出神经符号推理中一个隐患:形式化翻译即使内容错误,也可能匹配求解器判定而被当成正确。为此提出生成式验证方法,在无预言机情况下直接给参考等价性打分,从而筛掉这种错误翻译并提升下游自动形式化准确率。

后训练自动形式化神经符号推理生成式验证奖励模型

Generative Late-Interaction Embeddings For Visual Document Retrieval

HF 精选 · 09-11 08:00 UTC+8

该工作针对视觉文档检索中嵌入向量存储开销大的问题,提出生成式后期交互嵌入:先学习一个小基组,在需要时按需重建完整嵌入。这样在不重新训练编码器的前提下,以极低存储占用获得更高检索精度,适合大规模视觉文档库。

Infra视觉文档检索嵌入压缩后期交互生成式模型

CARDEA: Auditable Reasoning Grounded in Spatial Evidence for End-to-End Coronary Angiography Interpretation

HF 精选 · 09-11 08:00 UTC+8

「CARDEA」是一个用于冠状动脉造影解读的统一视觉语言模型,通过链式框推理定位病灶区域,并用可验证奖励做强化学习。它输出可审计的诊断,同时改善零样本报告生成,为医学影像自动化诊断提供了可靠性更强的范式。

后训练医学多模态视觉语言模型可验证奖励报告生成