阿里云网站备案登陆无锡开发公司

阿里云网站备案登陆,无锡开发公司,wordpress远程图片发布模块,网络营销推广论文转自微信号#xff1a;AI Long Cloud 一、什么是RoCE网络#xff1f; RoCE#xff08;英文#xff1a;RDMA over Converged Ethernet#xff09;是一种基于以太网的远程直接内存访问#xff08;RDMA#xff09;技术#xff0c;旨在通过无损以太网实现低延迟和高吞吐量…转自微信号AI Long Cloud一、什么是RoCE网络RoCE英文RDMA over Converged Ethernet是一种基于以太网的远程直接内存访问RDMA技术旨在通过无损以太网实现低延迟和高吞吐量的数据传输。RoCE技术通过将高性能计算和网络中的RDMA技术引入到标准的以太网基础设施中使得传统的以太网具备了RDMA功能和高性能计算属性。因此RoCE技术同时具备了以太网和RDMA的强大优势。RoCE技术允许在现有的以太网网络上实现类似于InfiniBand的高性能它通过优化以太网协议来减少延迟和提高带宽。与传统以太网相比RoCE提供了更低的延迟和更高的吞吐量同时保持了与现有以太网设备间紧密的兼容性。RoCE的优势RoCE的主要优势在于它的成本效益和兼容性。由于它是基于以太网的标准因此可以很好的使用市面上成熟的网络设备和线缆不受控于单一品牌和地域限制且具有较好的供货周期及售后服务。关键与以太网及其设备还具备极好的兼容性极大的提升了灵活性和降低了成本。因此RoCE技术越来越被广泛应用到数据中心、HPC高性能存储和人工智能等领域成为GPU服务器互联中极具性价比的互连技术。特别的如果智算业务未来要上云即智算云要部署到基于以太网的公有云或私有云上那么RoCE网络无疑是个最优的选择。二、RoCE的发展及类型1、RoCE v12010年4月IBTA发布了RoCE此标准是作为Infiniband Architecture Specification的附加件发布的所以也称为IBoEInfiniBand over Ethernet。这时的RoCE标准是在以太链路层之上用IB网络层代替了TCP/IP网络层所以不支持IP路由功能因此被称为RoCE v1。RoCE v1(Layer 2)运作在Ehternet Link Layer(Layer 2)所以RoCE v1协议在以太层的typeID是0x8915因此正常的Frame大小为1500 bytes而Jumbo Frame则是9000 bytes。RoCE v1是基于以太网链路层实现的RDMA协议(交换机需要支持PFC等流控技术在物理层保证可靠传输)允许在同一个VLAN中的两台主机进行通信。2、RoCE v2由于RoCE v1的数据帧不带IP头部所以只能在L2子网内通信。为了解决此问题IBTA于2014年提出了RoCE V2RoCE v2在RoCE v1基础上进行了扩展将GRH(Global Routing Header)换成UDP headerIP header。RoCE v2克服了RoCE v1绑定到单个VLAN的限制通过改变数据包封装包括IP和UDP标头RoCE v2可以跨L2和L3网络使用扩展后的帧结构如下图所示。RoCE v1与RoCE v2数据包格式RoCE v2(Layer 3)运作在UDP/IPv4或UDP/IPv6之上(Layer 3)采用UDP Port 4791进行传输。因为 RoCE v2的封包是在 Layer 3上可进行路由所以 RoCE v2也可称为Routable RoCE或简称RRoCE。RoCE v2是在前一代RoCE v1的基础上演进和改良而来的通过引入一系列改进措施有效解决了原有局限性问题并全面提升了性能表现。第二代版本RoCE v2凭借显著的性能提升与更强的灵活性脱颖而出因此成为了目前市面应用的主流。RoCE v2典型组网图三、RoCE的实现为了实现RoCE互联网卡设备必须安装支持RoCE的驱动程序所有以太网NICNetwork Interface Card需支持RoCE的网络适配器卡即RoCE网卡。RoCE驱动程序在Red Hat、Linux、Windows和其他常见的操作系统中都可使用。因此对于实现RoCE网络需要三种方式1对于服务器或主机设备需要使用RoCE网卡连接。2对于网络交换机选择使用支持PFC操作系统的交换机PFC即优先级流量控制是构建无损以太网的必选手段之一能够逐跳提供基于优先级的流量控制这种个别流量控制方式允许网络在某些流量拥塞时保持流畅同时防止对其他流量造成干扰因此确保了大带宽和低延时这里就不展开了感兴趣的可以去专题学习。3构建智能无损的以太网架构。1、RoCE网卡RoCE网卡即一种支持RoCE协议的网卡采用了RDMA技术集成了必要的硬件特性能够将CPU从繁重的任务中解脱出来从而显著降低数据传输的延迟性并有力提升整个系统的运行性能和带宽可学习前2节文章什么是RDMA技术及其三个协议。市面上支持RoCE协议的网卡并不多用得最多、性能最好的还是英伟达的ConnectX系列网卡其中ConnectX-8超级网卡已出来带宽达到了史上最强800Gb/s。英伟达ConnectX系列网卡采用RDMA技术同时兼容InfiniBand和RoCE协议例如Intel也有支持RoCE协议的网卡但是带宽太拉胯目前市面最高的也就支持100Gb/s因此在智算领域使用的不是很多。Intel E810系列网卡2、具有高性能、大带宽交换机RoCE因大带宽的需求因此往往需要高性能、大带宽的交换机支持而构建高性能、大带宽网络交换机的核心基础在于交换机的转发芯片技术。当前布局高带宽交换芯片的企业主要为博通Broadcom、美满、思科、英伟达。而在智能计算交换芯片企业排名靠前的主要就是博通、英伟达、美满、英特尔、思科。英伟达的交换芯片主要是InfiniBand协议比较封闭常用在IB网络中。而博通的交换芯片主要是开源的以太网协议因此在高带宽的交换芯片市场稳居全球龙头。博通的Tomahawk系列芯片因强大的性能和高带宽转发能力已广泛应用于各类交换机产品之中被普遍用于高速、大容量的数据包转发处理。博通的Tomahawk系列芯片从2010年的Trident到2022年的Tomahawk5的推出12年的技术革新使得转发芯片的带宽提升80倍效率提高95%。交换机方面英伟达在以太网方面也有着支持RoCE协议的交换机。Mellanox以太网交换机有SN3000系列的200G以太网交换机、SN4000系列的400G以太网交换机以及最新的SN5000系列以太网交换机传输速率更是达到了800G。3、智能无损网络的技术架构除了以上的硬件资源外在RoCE网络中我们还需要构建智能无损以太网架构用于保证网络传输过程中不丢包。智能无损网络一方面通过流量控制技术和拥塞控制技术来提升网络整体的吞吐量降低网络时延另一方面通过智能无损存储网络等技术实现网络和应用系统融合优化。根据智能无损网络技术和TCP/IP协议栈的对应关系如下就是智能无损网络的技术架构图智能无损网络的技术架构四、IB与RoCE v2网络的对比1、技术角度对比从技术角度看InfiniBand 使用了较多的技术来提升网络转发性能降低故障恢复时间提升扩展能力降低运维复杂度。2、业务场景对比具体到实际业务场景上看RoCEv2 是足够好的方案而 InfiniBand 是特别好的方案。IB和RoCE v2的三维对比图业务性能方面由于InfiniBand的端到端时延小于RoCE v2所以基于 InfiniBand构建的网络在应用层业务性能方面占优。但 RoCE v2的性能也能满足绝大部分智算场景的业务性能要求。业务规模方面InfiniBand能支持单集群万卡 GPU 规模且保证整体性能不下降并且在业界有比较多的商用实践案例。RoCE v2网络能在单集群支持千卡规模且整体网络性能也无太大的降低。业务运维方面InfiniBand较RoCE v2更成熟包括多租户隔离能力运维诊断能力等。业务成本方面InfiniBand 的成本要高于RoCE v2主要是InfiniBand 交换机及模块的成本要比以太交换机高一些。业务供应商方面InfiniBand 的供应商主要是NVIDIARoCEv2 的供应商较多但是性能较好的还是NVIDIA。综上要选择哪个网络技术方案需要结合公司的具体情况去选择。个人建议对于初创型、规模不大、各方面经验不是很成熟的智算中心IB网络无疑是最好选择。而对于这种成熟的大型企业、算力规模较大、网络经验成熟的智算中心RoCE则是比较好的方向。