企业官网建设流程全解析

1核1g服务器做网站,网站开发团队人员构成,网站用什么域名,北流市建设局网站转载自#xff1a;机器之心新年第一天#xff0c;DeepSeek 发布了一篇新论文#xff0c;提出了一种名为 mHC #xff08;流形约束超连接#xff09;的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题#xff0c;同时保持其显著的性能增益 。简单来说机器之心新年第一天DeepSeek 发布了一篇新论文提出了一种名为 mHC 流形约束超连接的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题同时保持其显著的性能增益 。简单来说DeepSeek 提出的 mHC 通过将传统 Transformer 的单一残差流扩展为多流并行架构并利用 Sinkhorn-Knopp 算法将连接矩阵约束在双拟随机矩阵流形上成功解决了超连接HC在大规模训练中因破坏恒等映射属性而导致的数值不稳定和信号爆炸问题。论文标题mHC: Manifold-Constrained Hyper-Connections论文地址https://arxiv.org/pdf/2512.24880这篇论文的第一作者有三位Zhenda Xie解振达、Yixuan Wei韦毅轩、Huanqi Cao。值得注意的是DeepSeek 创始人 CEO 梁文锋也在作者名单中。传统的残差连接即 Transformer 中的 x F (x) 结构凭借「恒等映射」保证了信号无损传输和训练稳定性。但它的瓶颈在于信息通道的宽度受限于隐藏层维度 C。近期以字节跳动Seed团队提出的 Hyper-Connections (HC) 为代表的研究通过扩展残差流宽度和多样化连接模式拓展了过去十年中广泛应用的残差连接范式。虽然这些方法带来了显著的性能提升但但也带来了两个严重问题数值不稳定性 原始的 HC 中连接矩阵是自由学习的没有约束。这导致信号在经过多层传播后数值会「爆炸」或「消失」破坏了恒等映射的特性模型越深越难训练。系统开销大 通道变宽意味着显存读写 (I/O) 和通信成本成倍增加也就是所谓的「显存墙」问题。从根本上破坏了残差连接固有的恒等映射属性导致了严重的训练不稳定性和受限的可扩展性并额外增加了显著的内存访问开销。为了解决这些挑战DeepSeek 的研究团队提出了 Manifold-Constrained Hyper-Connections (mHC流形约束超连接)。这是一个通用框架它将 HC 的残差连接空间投影到一个特定的流形上以恢复恒等映射属性同时结合严格的基础设施优化以确保效率。它的核心目的是在保留「加宽残差流」带来的性能提升的同时解决其导致的训练不稳定和显存消耗过大的问题。团队利用 Sinkhorn-Knopp 算法将残差连接矩阵投影到 Birkhoff 多胞形双随机矩阵上。这使得信号传播变为特征的「凸组合」从数学上严格保证了信号范数的稳定性能量守恒。为了抵消加宽通道带来的开销团队实施了内核融合、选择性重计算以及扩展的 DualPipe 通信计算重叠策略。实证表明mHC 不仅解决了稳定性问题且在大规模训练中如 27B 模型表现出卓越的可扩展性。在 n4 的扩展倍率下仅增加了 6.7% 的训练时间开销却换来了显著的性能提升。mHC 为基础模型的拓扑架构演进指明了方向。图 1残差连接范式示意图。 本图对比了以下三种结构设计 (a) 标准残差连接Residual Connection (b) Hyper-Connections (HC) (c) 我们提出的 Manifold-Constrained Hyper-Connections (mHC)。与无约束的 HC 不同mHC 专注于优化残差连接空间通过将矩阵投影到受约束的流形上以确保稳定性。具体方法介绍流形约束超连接 (mHC)借鉴恒等映射Identity Mapping原则mHC 的核心前提是将残差映射约束在一个特定的流形上。虽然原始的恒等映射是通过强制执行来确保稳定性但它能从根本上阻止残差流内部的信息交换而这种交换对于最大化多流架构的潜力至关重要。因此该 DeepSeek 团队提出将残差映射投影到一个流形上既能保持跨层信号传播的稳定性又能促进残差流之间的相互作用以保持模型的表达能力expressivity。为此他们的做法是将限制为双拟随机矩阵Doubly Stochastic Matrix即具有非负项且行和与列和均为 1 的矩阵。形式上令表示双拟随机矩阵的流形也称为 Birkhoff 多胞形再将约束在中定义为其中 1_n 表示全 1 的 n 维向量。为什么选择双拟随机性因为其具有多项有利于大规模训练的理论属性范数保持其谱范数有界且不超过 1即这意味着学习到的映射是非扩张的可有效缓解梯度爆炸问题。复合封闭性双拟随机矩阵集对矩阵乘法具有封闭性确保了跨多层的复合残差映射仍保持双拟随机从而可在整个模型深度上维持稳定性。几何解释该集合构成了 Birkhoff 多胞形是排列矩阵集的凸包。这意味着残差映射充当了排列的凸组合其重复应用会单调地增加跨流的信息混合起到鲁棒的特征融合作用。此外该团队还对输入映射和输出映射施加了非负约束以防止因正负系数复合导致的信号抵消。参数化与流形投影本节将详述 mHC 中各映射的计算过程。给定第 l 层的输入隐藏矩阵 x_l先将其展平为向量以保留完整的上下文信息。然后按照 HC 的原始公式获取动态映射和静态映射最终的约束映射通过以下方式获得其中是 Sigmoid 函数。Sinkhorn-Knopp 算子首先通过指数操作确保所有元素为正然后进行迭代规范化交替缩放行和列使其和为 1。DeepSeek 在实验中采用 t_max20 次迭代。高效基础设施设计DeepSeek 还为 mHC 量身定制了基础设施设计使其在 n4 时在大模型中的训练开销仅增加 6.7%算子融合 (Kernel Fusion)重新调整 RMSNorm 的顺序以提高效率并采用混合精度策略。开发了统一的算子将多次扫描和矩阵乘法融合减少内存带宽瓶颈和算子启动开销。在单个算子中实现 Sinkhorn-Knopp 迭代及其自定义反向传播。将和的应用与残差合并融合显著减少了内存读写量。重计算 (Recomputing)为了减轻 n 流设计带来的内存压力DeepSeek 在前向传播后丢弃 mHC 算子的中间激活并在反向传播时即时重新计算。通过推导得出最优重计算块大小 L_r^*以最小化总内存占用。DualPipe 中的通信重叠扩展了 DualPipe 调度算法以改善流水线并行阶段边界处的通信与计算重叠在专用高优先级计算流上执行 MLP 层的内核并避免在注意力层使用持久算子以防止阻塞通信流并提高设备利用率。实验实验设置研究团队通过语言模型预训练来验证所提方法的有效性并对基线模型、超连接HC以及提出的流形约束超连接mHC进行了对比分析。他们采用了受 DeepSeek-V3 启发的 MoE 架构训练了四种不同的模型变体以覆盖不同的评估体系。具体而言HC 和 mHC 的扩展率 n 均设置为 4主要关注点是一个 27B 参数规模的模型。其训练数据集的大小与其参数量成正比该模型用于展示系统层面的主要结果。在此基础上他们通过引入使用成比例数据训练的较小的 3B 和 9B 模型来分析计算扩展性从而观察不同计算规模下的性能趋势。此外为了专门研究 Token 规模的影响他们另外训练了一个独立的 3B 模型该模型在一个固定的 1T Token 的语料库上进行训练。主要结果图 5流形约束超连接 (mHC) 的训练稳定性。 该图展示了(a) mHC 和 HC 相对于基线模型的训练损失绝对差值(b) 三种方法在训练过程中的梯度范数。所有实验均基于 27B 参数规模的模型。实验结果表明mHC 在损失函数和梯度范数两方面均表现出更优的稳定性。研究团队首先考察 27B 模型的训练稳定性和收敛性。如图 5 (a) 所示mHC 有效缓解了在 HC 中观察到的训练不稳定问题与基线模型相比最终损失降低了 0.021。图 5 (b) 中的梯度范数分析进一步证实了这种稳定性的提升mHC 表现出明显优于 HC 的行为保持了与基线模型相当的稳定轮廓。表 427B 模型在系统级基准测试上的结果。 本表对比了基线模型、HC 以及 mHC 在 8 个不同的下游基准测试中的零样本和少样本性能表现。结果显示mHC 始终优于基线模型并在大多数基准测试中超越了 HC证明了其在大规模预训练中的有效性。表 4 展示了在多种下游基准测试中的性能表现。mHC 带来了全面的提升一致性地优于基线模型并在大多数任务上超过了 HC。值得注意的是与 HC 相比mHC 进一步增强了模型的推理能力在 BBH 和 DROP 任务上分别实现了 2.1% 和 2.3% 的性能增益。规模扩展实验图 6mHC 与基线模型的扩展特性对比。 (a) 计算扩展曲线实线描绘了在不同计算预算下的性能差距。每个点代表模型大小与数据集大小的最优计算配置涵盖了从 3B、9B 到 27B 参数规模的规模扩展过程。 (b) Token 扩展曲线展示了 3B 模型在训练过程中的轨迹。每个点代表模型在不同训练 Token 数量下的性能表现。为了评估该方法的扩展性研究者报告了在不同规模下 mHC 相对于基线模型的损失改善情况。在图 6 (a) 中他们绘制了涵盖 3B、9B 和 27B 参数规模的计算规模扩展曲线。其轨迹表明即使在更高的计算预算下性能优势依然稳健地得以保持仅表现出轻微的衰减。此外他们在图 6 (b) 中考察了训练过程中的动态变化展示了 3B 模型的 Token 扩展曲线。总的来看这些发现验证了 mHC 在大规模场景下的有效性。这一结论在他们内部的大规模训练实验中得到了进一步的证实。更多详情请参阅原论文。本文系学术转载如有侵权请联系小助手删文整理不易请点赞和在看