企业官网建设流程全解析

iis默认网站打不开,网站建设中所涉及的所有链接建设,马鞍山网站设计制作,wordpress清除多余附件文章目录为什么需要NSLBNSLB是如何工作的NSLB的典型应用不同NSLB技术的对比AI训练场景下网络传输的数据流数少、流量大#xff0c;使用传统HASH算法#xff0c;极易造成负载不均#xff0c;训练效率降低。为此#xff0c;华为推出了NSLB#xff08;Network Scale Load Bal…文章目录为什么需要NSLBNSLB是如何工作的NSLB的典型应用不同NSLB技术的对比AI训练场景下网络传输的数据流数少、流量大使用传统HASH算法极易造成负载不均训练效率降低。为此华为推出了NSLBNetwork Scale Load Balance网络级负载均衡算法通过智能调优实现整网负载均衡保障网络高吞吐释放AI时代高算力。为什么需要NSLBAI大模型并行计算模式高性能的最大挑战是负载不均AI大模型训练相比通用计算需要更多的处理器参与并行计算业界推出了如下多种并行计算方式数据并行DPData Parallelism通过把训练数据集分为多份并行训练减少训练时间。流水线并行PPPipeline Parallelism通过把模型的不同层部署到不同的GPU上减少大模型计算对GPU内存的需求。张量并行TPTensor Parallelism当一张GPU卡的内存无法满足大模型计算时可以将模型切分到不同的GPU卡上使得每一个GPU上的参数量大大减小从而容纳更大的模型进行训练。大模型训练一般会将数据并行、流水线并行、张量并行等多种并行模式混合使用以充分利用集群的算力。无论是哪种并行模式多机之间都会涉及AllReduce的集合通信。一个AllReduce任务包含多个点对点的通信而要完成整个AllReduce任务所有点对点通信都要成功完成因此集合通信存在“木桶效应”即AllReduce的完成时间由其中最慢的点对点通信时间决定。根据“木桶效应”只要有一条链路出现负载不均导致网络拥塞成为了木桶的短板那么即使其他链路都畅通无阻集合通信时间仍然会大幅增加从而影响训练效率。当前的负载均衡技术基于HASH随机只能做到流比较多时的一个近似均衡散列并不能保证所有链路都完美均衡。因此提升AI大模型训练效率的关键是解决负载不均的问题。Reduce和AllReduce集合通信特点AI训练场景流少量大传统HASH算法容易负载不均和通用计算相比AI训练的流量模型特征是“少流”和“大流”。通用计算是短连接每个服务器的流数量可达数十万条而AI服务器是长连接每个GPU上的流数量仅数百条所以称为“少流”。相比通用计算以KBytes/ MBytes的小流为主AI服务器的流量以GBytes的大流为主因而称为“大流”。传统的ECMPEqual-Cost Multi-Path流量均衡机制是为了应对通用计算的“多流”、“小流”场景创建的但是在“少流”、“大流”的AI场景流量模型下就因为ECMP哈希机制造成链路上流量不均即有的链路上满吞吐有的链路上却存在空闲。传统HASH算法容易负载不均NSLB是如何工作的为了解决负载不均的问题华为推出了NSLB网络级负载均衡算法。NSLB配套NPU时iMaster NCE站在全局视角主动获取或解析AI流量通信关系统一算路下发配置实现全网链路0冲突。NSLB配套GPU时网络可主动感知拥塞并自动切换路径实现网络负载均衡。NSLB配套NPU的工作机制NSLB配套GPU的工作机制NSLB的典型应用近年来AI算法已迈入万亿参数大模型时代算力需求增长近十万倍。AI大规模计算需要高效协同数万张AI处理器需要持续优化网络提高并行计算效率且由于AI处理器成本高昂亟需搭建零丢包高吞吐的高性能网络充分释放AI处理器效率AI训练主要以大流为主流数量少单流通信数据量大传统网络容易负载不均。而网络性能取决于最慢的那条流也就是说在一个周期内只有最慢的流到达后才能进行下一轮通信。面对以上挑战华为星河AI高算效数据中心网络解决方案是面向智能时代打造的超大规模、超高吞吐、长稳可靠的新型数据中心网络解决方案。该方案凭借独家网络级负载均衡NSLB算法将训练效率提高20%充分释放AI算力。不同NSLB技术的对比NSLBNetwork Scale Load Balance网络级负载均衡技术在不同技术场景下又可以细分为NSLB-S、NSLB-DP、NSLB-gAR、NSLB-S等。NSLB-SStatic NSLBNSLB-S是一种静态全网负载均衡技术指通过Rail Group配置实现交换机本地负载均衡解决本地冲突。NSLB-S适用于昇腾AI场景和英伟达AI场景。NSLB-DPData Plane NSLBNSLB-DP是一种基于数据平面的动态全网负载均衡技术无需依赖AI调度器。在无AI调度平台的裸算力出租场景交换机在转发过程中对通信域级流量建模和解析还原AI流量通信关系之后通过NCE统一算路并下发网络实现全局链路无冲突。NSLB-DP仅适用于昇腾AI场景能够通过流量建模和解析还原AI流量通信关系实现全局链路无冲突。NSLB-gARGraceful Adaptive RoutingNSLB-gAR是一种英伟达场景下的动态全网负载均衡技术全称为“优雅自适应路由”。NSLB-gAR无需依赖NCE控制器交换机基于Packet Event超时延感知功能识别拥塞流并通告远端进行路径切换。NSLB-gAR仅适用于英伟达Ring AllReduce场景能够通过感知网络拥塞点逐步调整网络路径避免网络拥塞和性能下降。NSLB-SEnhanced Static NSLBNSLB-S是在NSLB-S基础上通过精准路由控制同号卡流量汇聚到相同的SpineSpine数8实现全局负载均衡。NSLB-S适用于昇腾AI场景和英伟达AI场景。表1-1 不同NSLB技术的对比NSLB技术通过不同的实现方式和优化机制解决了AI训练和推理场景中的网络负载不均衡问题。NSLB-S适用于静态场景NSLB-DP适用于昇腾AI训练场景而NSLB-gAR则专注于英伟达AI场景。NSLB-S在NSLB-S的基础上进行了增强进一步提升了网络性能。通过选择合适的NSLB技术可以显著提升AI集群的训练性能和网络资源利用率。