[CP] Support DP x TP x CP for attention with interleave CP strategy
该 PR 调整 interleave CP attention 的并行策略，保留已配置的 attention DP 与 dense FFN TP，支持显式 CP 宽度，并按输入分片尺寸分配 CP gather 输出。它让 CP、attention DP 与 attention TP 能按预期组合运行，减少分布式推理中因分片尺寸不一致导致的失败。
每天 04:00（Asia/Shanghai）自动抓「昨天」一天的新内容。
[CP] Support DP x TP x CP for attention with interleave CP strategy
该 PR 调整 interleave CP attention 的并行策略，保留已配置的 attention DP 与 dense FFN TP，支持显式 CP 宽度，并按输入分片尺寸分配 CP gather 输出。它让 CP、attention DP 与 attention TP 能按预期组合运行，减少分布式推理中因分片尺寸不一致导致的失败。
[AMD] Add DeepSeek-V4.1-Flash MI35x nightly accuracy test
该 PR 为 DeepSeek-V4.1-Flash 新增 AMD MI35x 夜间精度测试，使用 GSM8K 8-shot completion 评测并复用 MI350X High-Throughput 配置。它把 MI35x FP4、DSPARK 推测解码和相关后端路径纳入 CI 覆盖，提升 AMD 硬件适配的回归可见性。
refactor(cake_mla_varq_dcp_decode): regenerate as one source per schedule
该 PR 重新生成 cake_mla_varq_dcp_decode，将 SM100 与 SM103 的重复实现合并为每个 schedule 一份源码，并精简 host binding 与 Python host path。它在保持 device code 不变的前提下降低 Blackwell MLA variable-query 加 DCP decode 内核的维护成本。
spec : fix n-gram drafts rejected at temp > 0 after truncation
该 PR 修复 llama.cpp 中 n-gram drafter 在温度大于 0 且草稿接近回复末尾被截断时被错误拒绝的问题。它恢复了 n-gram 推测解码在采样场景下的可接受性，避免生成过程因不必要拒绝而变慢。
该 PR 在 cake_selective_state_update 的 MTP-short 与 dynamic checkpoint 程序中为 softplus 增加阈值保护，并把该 family 注册进 AOT build。它避免较大 dt 触发 expf 溢出导致 state 与 output 出现 inf 或 NaN，提升推理内核的数值稳定性。
该 PR 重新生成 cake_selective_state_update 的 checkpoint、MTP 与 FP32 STP 程序，把多份按架构复制的生成代码折叠为架构中立源码，同时保留既有 BF16 STP 内核。它减少 SM100 与 SM103 路径上的重复代码和 host preamble，使选择性状态更新内核更易维护和适配。
Make the drafter probabilistic and the target verify by rejection sampling for simple draft and MTP
该 PR 将 llama.cpp 的 simple draft 与 MTP drafter 改为概率式草稿，并让 target 端使用 rejection sampling 进行验证。它改善温度大于 0 时 draft 与 target 采样分布不一致带来的接受率问题，增强推测解码在非贪心生成中的适用性。
该 PR 将 cake_mega_moe 的 mega_moe_v3 按每个 schedule 折叠为架构中立程序，通过编译期 NUM_CTAS 适配不同 SM 数量。它减少 SM100 与 SM103 的重复 MoE 内核源码，同时保留按硬件规模调度的能力。
refactor(cake_mega_moe): retire source_mega_moe in favour of mega_moe_v3
该 PR 移除 source_mega_moe family，并以覆盖相同路由的 mega_moe_v3 pipeline family 作为统一实现。它收敛 MegaMoE 后端的实现分支，降低 routed FP4 与 FP8 MoE 推理路径的维护复杂度。
refactor(cake_msa_nvfp4_decode): regenerate as one source per program
该 PR 重新生成 cake_msa_nvfp4_decode，将 NVFP4 sparse decode 的按架构重复源码合并为每个 program 一份，并把 kernel binding 收缩为轻量 launcher。它保持 persistent 与 short kernel 计算逻辑不变，同时简化 SM100、SM103 与 SM107 的硬件适配路径。
refactor(cake_gdn): collapse constant-clone kernels; merge SM100/SM103 copies
该 PR 重构 Cake 非 CP GDN 后端，折叠仅常量不同的内核副本，并合并 SM100 与 SM103 的重复源码和 host shim。它在保持编译后内核等价的前提下显著减少文件级重复，降低 GDN 内核变体管理成本。
该 PR 重新生成 deepgemm FP4 GEMM，把按 shape 与架构拆分的程序替换为支持 runtime problem size 的少量 schedule 源码。它移除 per-shape catalog 与 per-arch copy，使 packed FP4 GEMM 更容易覆盖 SM100a 与 SM103a 的多种形状路由。
该 PR 重构 deepgemm_dense_mqa，将 dense FP4/FP8 MQA lightning-indexer logits 的双架构源码树合并为支持 runtime shapes 与 KV-range routes 的程序集合。它减少由 SM 数量和查询块数派生的重复代码，简化推理服务中的 MQA kernel 路由。
该 PR 重构 cake_vsa，为 SM100 与 SM103 的 block-sparse attention 每个 profile 保留一份 device source，并引入共享 host shim、JIT loader 与 plan-time FP16 metadata。它减少重复源码和 per-profile launcher 逻辑，使 VSA 后端在不同 Blackwell 架构上的部署更整洁。
refactor(cake_fused_norm_combine): regenerate as one source per variant
该 PR 重新生成 cake_fused_norm_combine，将 fused residual-add、two-track RMSNorm 与 eight-peer BF16 combine 的实现整理为每个 variant 一份源码。它去除按架构重复、手写 binding helper 与生成式 loader metadata，降低分布式 combine 相关内核的维护负担。
refactor(cake_nvfp4_attention): regenerate without dead code and accept strided inputs
该 PR 重新生成 cake_nvfp4_attention，删除未使用的生成代码，将 host binding 简化为 thin launcher，并让 Python preparation 避开大部分 eager work。它在保持核心 attention kernel 结构的同时支持 strided inputs，改善 NVFP4 attention 在 SM103 上的推理接入灵活性。
refactor(cake_xqa): regenerate Thor (sm110) XQA as one templated source per program
该 PR 重新生成 Thor SM110 XQA，把按 GQA ratio 复制的 tmem 与 pair kernel 改为模板化源码，并合并共享 helper 与生成式 launcher。它减少 SM110 XQA tree attention 的代码体积和重复绑定逻辑，便于后续硬件专用 attention 路径维护。
refactor(cake_moe_grouped_gemm): re-export with deduplicated sources and thin launchers
该 PR 重新导出 cake_moe_grouped_gemm，将 ragged BF16 MoE grouped GEMM 的生成源码去重，并把 launch binding 精简为 thin launcher。它保持 fwd、dgrad、wgrad、ragged group 与确定性 weight gradient 能力不变，同时降低 MoE grouped GEMM 后端维护成本。
[Bugfix][Multimodal] Fix GLM-5.3-Flash vision tower crashes on image input
该 PR 修复 GLM-5.3-Flash vision tower 在图像输入下的两类崩溃，其中包括将位置相关张量和 cu_seqlens 的主机到设备拷贝改为经 pinned memory 的异步路径。它减少多模态推理中隐式 GPU CPU 同步触发的引擎失败，提升该视觉塔在 vLLM 上的硬件执行稳定性。
[diffusion] move kernel validation into launchers and simplify dispatch
该 PR 将 diffusion kernel 的张量校验下沉到 C++ launcher，移除多处重复 capability predicate，并把 dispatch selector 收敛到 dtype、规约或 head 宽度与硬件能力等配置维度。它保留原始张量维度用于校验，避免 flatten 隐藏形状错误，同时简化服务端推理内核分发链路。
Aleph Alpha 发布开源权重模型「Kolibri」，这是一个英德双语 78.1B 参数 MoE，每 token 只激活 3.46B 参数，支持 100 万 token 上下文和按请求调节 reasoning effort。FP8 权重采用 Apache 2.0 许可，并可在单张 B200 或 H200 上运行，对需要欧洲语言、长上下文和低激活成本部署的团队很有吸引力。
nightly-last-green: feat(rollout): align decode fronts and trim dead zones (#8497)
DeepSpeed 新增可选的 rollout decode-front 对齐路径，用于连续 batching 场景下按 attention mask 推导有效 prompt 长度、长到短排序、右对齐 prefill span 并减少无效区域。对强化学习 rollout 和大规模推理训练管线来说，这类内存布局优化能减少 padding 浪费，让异长请求的 decode 更紧凑。
Google researchers find a way to keep self-improving AI agents from memorizing their tests
Google 研究者提出「RRSI」来抑制自我改进智能体记住测试题而非学会泛化的倾向。报道称该方法在未见基准上最多提升 4.7 分，同时比未正则化版本少用约 30% token，对做 agent 自训练和自动评测的团队来说，重点是把训练收益从测试集记忆拉回真实泛化。
llama.cpp 的 b11388 更新为新格式 GGUF imatrix 计算基于 activation 的统计量，包括 entropy、cosine similarity、l2 norm 和按层聚合报告。imatrix 统计直接影响量化校准质量，这次更新让开发者能更细地观察层级激活分布，为低比特量化和模型压缩提供更可靠依据。
Google Research 把联邦学习中的梯度计算从手机迁移到经过 attest 的服务端 TEE，并把访问策略发布到 Sigstore Rekor 日志，二进制也支持可复现构建。Gboard 已将其用于英语和日语 next-word prediction，这对端侧隐私训练很重要，因为中心差分隐私的执行过程可以被外部验证。
DeepSeek Harness v0.2 Brings Official Desktop Apps to Its Open-Source Agent Harness
DeepSeek 发布「DeepSeek Harness v0.2」官方 macOS 和 Windows 桌面应用，给开源 agent harness 加上插件管理、文件与代码变更审查、定时自动化任务等能力。它还支持通过 OpenAI 兼容端点接入非 DeepSeek 模型，意味着这个 harness 更像可本地运行的通用智能体工作台，而不是单一模型前端。
v0.40.0-rc1: mlx: match publisher tokenizer semantics (#18779)
Ollama v0.40.0-rc1 的 mlx 更新聚焦于匹配发布方 tokenizer 语义，覆盖 pretokenizer 顺序、切分行为、Unicode 边界、added token 归一化和 ranked BPE merge。对本地推理来说，tokenizer 与上游不一致会直接造成 prompt、特殊 token 和输出偏差，这类修正能减少模型迁移到 MLX 后的隐性不兼容。
llama.cpp b11390 修复了 CUDA 路径下当 expert 数量远大于 micro-batch 数量时 MMQ 可能触发的内存故障。这个问题主要影响 MoE 模型在 CUDA 后端的稳定运行，修复后对高 expert 配置和小 batch 推理更稳。
NASA 与 IBM 发布开源「Lunar Foundation Model」，使用近 200 万个 tile bundle 训练，数据主要来自月球勘测轨道飞行器 17 年观测。该模型降低了月球极区冰沉积预测误差，说明 foundation model 路线正在从通用视觉语言扩展到高价值科学遥感场景。
Agent 的记忆不在对话里：把企业数仓沉淀为可治理的共享语义记忆｜QCon上海
这条 QCon 上海议题强调企业 Agent 的记忆不应只放在对话历史里，而应把企业数仓沉淀为可治理的共享语义记忆。对企业落地来说，关键不只是向量检索，而是把指标口径、业务实体、权限和血缘纳入统一语义层，让多个智能体复用可信知识。
Google 计划从 2026 年 10 月起收紧 Gemini 免费层级，未订阅用户只能使用最小的 Flash-Lite，Flash 和 Pro 留给付费用户。对开发者和产品团队来说，这意味着依赖免费 Gemini 能力的原型和用户入口需要重新评估成本、模型能力边界以及未来可能更重的 Gemini 4 Argon 资源策略。
The Agent Said It Was Done. The Database Disagreed.
Hugging Face 博客标题直指一个常见 agent 失败模式：模型声称任务完成，但真实数据库状态并未匹配。对构建生产级智能体的人来说，这强调了工具调用后的状态校验、事务一致性和外部系统验收，比让模型口头总结成功更重要。
llama.cpp 本次更新修复了 Vulkan 后端在 AMD RDNA4 GPU 上的 mat_vec 调优问题。mat_vec 是本地推理逐 token 生成阶段的高频路径，这类修复对 Radeon 新架构上的性能稳定性和结果一致性很关键。
trunk/9dab147463e69119277da42da8a7a55fc289d141
PyTorch Inductor 调整了 AsyncCompile 编译池的唤醒逻辑，使其面向 Triton 支持的设备触发。对使用 torch.compile 和 Triton 后端的训练或推理工作流来说，这类调度修复有助于减少异步编译卡顿和设备后端适配问题。
PyTorch AOTInductor 为缺少 C shim 的 _quantized 算子改用 proxy executor 执行。它扩大了量化算子在 AOT 编译部署路径中的覆盖面，降低为每个算子补手写 C 接口的维护成本。
We're going to need default hard budget caps on pretty much everything
Simon Willison 提醒按量计费 API 和服务需要默认硬预算上限，而不只是超额邮件提醒。随着 coding agent 和个人 agent 降低自动调用工具与服务的门槛，失控循环或错误配置可能迅速放大成本，硬性熔断会成为 Agent 产品的基础安全能力。
GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis
「GraphForge」面向工作型智能体训练数据难造、结果难验的问题，用证据图把真实文件、任务指令和验证器锚定在同一结构里。它避免了纯模型造文件缺少真实感，以及真实文件任务缺少专用校验的两端缺陷，让读写多文件、调用工具、产出交付物这类任务可以规模化合成并自动验收。对智能体训练来说，价值在于把工作区任务从示例工程推进到可监督、可评测的数据流水线。
Sharpening Tax in Post-Training
这篇论文重新检验大模型后训练中的「锐化税」假设，即强化学习只是强化基座已有行为，提升单次正确率但牺牲解法覆盖。作者把问题放到多轮工具交互的智能体任务中，发现即使预训练模型已经接入工具，后训练仍可能表现为覆盖收缩而非真正获得大量新能力。它提醒从业者评估后训练时不能只看平均成功率，还要看探索宽度、任务变体覆盖和交互策略是否被压窄。
Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States
「PoS」针对长程智能体只堆对话记忆却缺少一致世界理解的问题，在推理时显式维护信念状态。每个信念同时记录当前世界状态估计和未解决的任务需求，让智能体知道已经确认了什么、还需要查明什么、下一步应验证什么。它的意义在于把记忆从历史片段检索提升为可更新的决策上下文，更适合长任务、多步骤和状态会变化的环境。
Hierarchical Continuous Diffusion Language Models
这篇工作关注扩散语言模型并行解码时的依赖断裂问题，离散扩散在同一步采样多个 token 时通常只看各位置边缘分布，难以保持被同时生成 token 之间的统计关系。作者提出层级连续扩散语言模型，让共享连续状态承载更丰富的全局信息，并改善连续去噪器只依赖单一状态的表达瓶颈。它指向一种非自回归语言建模路线，适合需要双向推理、全局约束满足和并行生成的场景。
Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It
论文指出预训练 Transformer 在上下文引用追踪上过早停止思考，13 个基座模型通常只能稳定跟随 1.4 到 3.6 行链式引用，单纯增加预训练循环帮助有限。作者只在早期一层加入任务训练的 rank 8 LoRA，并冻结其余权重，就能把 Qwen3-8B 在 24 行链上的精确率从 15.5% 提到 99%，更长训练可扩展到 50 行，Ouro-1.4B 通过多轮循环达到 60 行甚至至少 160 行。这个结果很有启发性：深度计算不足有时不是参数容量问题，而是需要一个很小的路由式触发器把层间接力启动起来。
ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization
「ActiveSaddler」把自动化智能体 harness 优化中的训练场景选择也纳入闭环，而不是只根据固定任务集迭代提示词、工具接口和控制逻辑。随着 harness 能力变化，最有信息量的失败样例和训练场景也会变化，因此作者用自动课程学习动态挑选能推动下一轮优化的场景。它对智能体工程的价值在于减少无效 rollout，把反馈预算集中到当前系统最需要补强的行为边界上。
E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
「E-MoE」针对 masked diffusion model 少步生成时的位置独立反向过程瓶颈，重点改善多 token 同步解码时的样本质量。已有连续高斯潜变量方法试图捕获跨位置相关性，但容易后验坍塌；作者用增强 MoE 结构服务非因子化扩散语言模型，让相关性建模和专家分工共同提升少步生成质量。它对扩散语言模型的意义在于保留并行生成速度优势的同时，补上跨位置依赖这块短板。
Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL
这篇论文研究多奖励强化学习里稀疏奖励容易被密集奖励淹没的问题，指出即使 GDPO 式逐奖励归一化保留了组内相对信息，不同目标的学习进度仍会不均衡。作者用 advantage energy 分析每个奖励在 batch 中的有效更新强度，并说明在理想归一化下它与活跃组密度相关。由此提出密度感知的奖励聚合，让稀疏目标在多目标训练中拥有更合理的梯度存在感。
Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation
这篇工作把智能体 skill 视为可复用的自然语言操作资产，指出当前 skill 优化往往忽略公开积累的大量技能库，只依赖昂贵 rollout 从零迭代。作者提出跨 harness 的检索增强 skill 优化，先找到可迁移的已有技能，再根据目标 harness 适配和改写。它能降低智能体能力沉淀的重复成本，也让不同任务、工具环境和控制框架之间的经验复用更接近工程现实。
X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization
「X-Tree」针对多步智能体训练把轨迹摊平成 token 流、忽略可复用子过程的问题，尝试把经验中的层级结构显式恢复出来。与只把 LLM 写出的技能塞进上下文不同，它把可复用过程 token 化并用于训练权重，使技能收益不只依赖检索命中。对 SFT 和 RLVR 来说，这相当于提高稀缺轨迹的使用效率，让模型学到更可泛化的任务分解套路。
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
「HeteroFold」解决异构多智能体系统中文本转发带来的重复 prefill 成本，目标是在不同模型家族之间直接迁移发送方 KV cache。跨家族迁移需要处理分词器、层数和 KV 表征不一致，论文围绕这些差异设计 prefill-free 的转换机制。若路线成熟，多智能体协作中的共享上下文成本会显著下降，尤其适合长上下文、角色分工和高并发 serving 场景。
CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning
「CorrGRPO」分析多奖励 GRPO 中把奖励求和后再按组内标准差归一化的隐含问题：总方差包含所有奖励两两协方差，相关性大的奖励会压小优势，相关性小或相反的奖励会被放大。作者提出按相关性归一化的 GRPO，让每个奖励分量在多目标训练中的更新尺度更可控。它对推理模型和对齐训练很实用，因为多奖励组合不再只是调权重，还要处理目标间统计相关性。
Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces
「Multimodal Flow」尝试把语言和视觉统一到连续 embedding 空间的 flow 生成过程里。相比把图像量化成离散 token 的方案，它避免视觉量化瓶颈；相比语言离散预测加图像连续生成的混合方案，它减少了模态专属目标和采样流程。这个方向的价值在于为多模态基座提供更统一的生成建模接口，尤其适合语言与视觉需要共同推理和共同生成的任务。
Smaller Models, Better Rejects: Preference Distillation Scaling
这篇论文挑战偏好蒸馏中两个常见假设：负样本不一定要来自学生自己，也不一定要来自不小于学生的模型。作者发现从 7B 到 72B 学生模型，较小的冻结模型生成的 reject 成本更低，训练效果反而优于 self-generated reject。它给偏好数据生产一个很实际的结论：负样本质量不等于模型越大越好，分布差异和错误形态可能比生成模型规模更关键。
On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
论文用强到弱蒸馏的受控实验拆解 on-policy 与 off-policy 学习，避免把 rollout 策略、token 级 KL 方向和学习率混在一起比较。它检验 on-policy 是否真的减少灾难性遗忘、带来更稀疏参数更新和更好泛化，而不是被其他训练设置共同造成。对后训练实践来说，这类系统研究能帮助判断何时值得付出在线采样成本，何时离线蒸馏已经足够。
OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
「OneStreamer」面向流式视频交互中证据先出现、问题后到来的难点，让模型在实时感知时同时沉淀可复用事实记忆。它通过共享的 proactive generation 学习查询无关的证据记录和任务响应，其中 PHCM 生成带时间定位的局部细节 caption 与更高层摘要。价值在于让视频大模型不必等问题出现才回看上下文，更适合监控、会议、驾驶等长时流场景。
这篇工作把多奖励强化学习用于联合音视频扩散模型，目标同时优化画面质量、音频质量、跨模态语义对齐和时间同步。核心问题是训练过程中不同 reward 应该作用在扩散前向过程的哪些位置，以及竞争奖励如何动态组合；作者提出自适应奖励路由来替代固定路由和固定权重。它对音视频生成很关键，因为同步、语义和单模态质量常常拉扯，静态权重很难覆盖训练全程。
World Observer: Joint Actor-Observer Generation for Persistent World Modeling
「World Observer」针对视频世界模型过度 actor-centric 的问题：物体离开当前视野后，模型缺少持续证据，重新进入视野时容易丢失状态和动态。作者把观察和行动解耦，联合生成 agent 视角的 actor 画面与额外 observer 视角，让世界模型持续维护视野外区域。它对具身智能和仿真环境有价值，因为长期一致性不只来自当前相机，还来自对不可见世界的持续建模。
AutoGUIWorld: Image Generators as Visual World Models for GUI Agent
「AutoGUIWorld」把图像生成模型用作 GUI agent 的视觉世界模型，解决真实软件环境轨迹覆盖受应用安装、状态配置和工作流复杂度限制的问题。它用生成式方式扩展界面状态和交互后果，帮助智能体学习软件环境如何响应动作并维持多步状态。对 GUI agent 训练来说，这提供了低成本扩展轨迹多样性的路线，但关键仍在于生成状态是否足够可控、可验证。
Video Generation Models: A Survey of Post-Training and Alignment
这篇综述系统梳理视频生成模型的后训练与对齐问题，背景是预训练视频模型已经能生成更长、更高清的复杂时空内容，但仍难稳定遵循人类意图、保持时间一致性和满足物理与安全约束。它强调视频对齐不同于图像和文本，对象漂移、误差随时间累积、跨帧一致性和安全边界都会放大训练难度。对从业者来说，这类综述有助于把奖励建模、偏好优化、安全过滤和时空评测放到统一框架下看。