数据中心从10G/40G升级到25G/100G 时的几个注意点

作者简介：郑敏先，任职于诺云信息系统（上海）有限公司，担任售前工程师。从事SDN、白盒交换机等开放网络关产品的推广工作。

服务器接口从10G升级为25G接口带来很多好处，比如：

• 以太网性能是10G接口的2.5倍；
• 能为服务器的提供更高的端口密度；
• 更低的每GB数据传输功耗（更省电费）；
  ……

虽然这些好处很诱人，但是仍然有几个方面需要注意：

一、确保理解 25G/100G的含义

以太网接口的传输速率在过去几十年来大体呈线性增长(每10年增长10倍)。大家的台式电脑或笔记本电脑的有线网卡基本是千兆网卡。而在当前的许多数据中心中，服务器的接口是10Gbps（万兆）, 交换机间的接口是40Gbps（四万兆），它们中的大多数都在考虑（或者正在）将网络升级到下一代的25G/100G网络（服务器的接口是25Gbps, 交换机间互联的接口是100Gbps）。

一个100Gbps连接可被分接线缆（Break-out Cable）分解为四个通道（每个通道25Gbps），所以100G网络有时被称为25G/100G网络。同理,10G网络有时也被称为10G/40G网络。

10G/40G网络：

• Spine交换机和Leaf (TOR)交换机之间链路为40Gbps，
• 服务器接口为10Gbps，

  不同的Leaf交换机提供10G接口的方式及端口密度可能并不一样，

  1. 1）以某Leaf交换机为例，该交换机端口规格为：4810Gbps+640Gbps ，此时Leaf 交换机提供的10G接口是Leaf交换机的原生10G接口：

     

  2. 2）以某Leaf交换机为例，该交换机端口规格为：3240Gbps，此时该Leaf 交换机提供的10G接口是其原生的40G接口经一分四Break-out cable分接出来的（在6个端口用于上连Spine交换机的场景下，能提供（32-6）4=104个10G端口）：

     
     

25G/100G网络：

• Spine交换机和Leaf 交换机之间链路为100Gbps
• 服务器接口为25Gbps

  不同的Leaf交换机提供25G接口的方式及端口密度可能并不一样：

  1. 1）以某Leaf交换机为例，该交换机端口规格为：4825Gbps+6100Gbps ，此时Leaf 交换机提供的25G接口是Leaf交换机的原生25G接口：

     

  2. 2）以某Leaf交换机为例，该交换机端口规格为：32100Gbps，此时该Leaf 交换机提供的25G接口是其原生的100G接口经一分四Break-out cable分接出来的（在6个端口用于上连Spine交换机的场景下，能提供（32-6）4=104个25G端口）：

     
     
     

二. 基于业务扩张规模，综合考虑是否需要升级

对于一些处于领先地位的企业而言，从当前10/40G网络升级到25/100G是最快速的方法。毕竟从规划、新建到上线一个数据中心所花时间可能要花费好几年。（花费时间过长意味着自身有被竞争对手追上的风险）。世界几大公有云巨头基本都是美国企业，特别注意的是部分领先者为了保持（甚至为了扩大领先优势），即使当时的25G/100G设备、光模块等比今天要贵不少，但它们仍然在几前就逐渐将既有数据中心网络从10/40G升级到25/100G（当然它们同期也新建了一些数据中心）。

放眼整个光模块市场的出货量，会发现每一种新的光模块刚出现的一两年都不被广泛使用。想想也是，毕竟刚推出的那段时间价格很贵。过去几年，国内25G/100G的应用晚于美国几大OTT的脚步，而且国内25G/100G大多用在新建的数据中心。如今（2018年），国内存量的10G数据中心有不少即将面临网络瓶颈或着IT设备设计寿命, 25G/100G光模块价格比前两年低不少，切换到到25G是个不错的选择（经济+性能提升）。

三、不一定每台服务器都需要升级

如果您数据中心的一部分服务器的10G网络（或未来一段时间）没有瓶颈，那么将它们网络也升级到25G并不会带来性能提升。这种情况下可以让这些服务器继续使用10G网络，等网络即将成为瓶颈的时候再进行升级。。

四、尽量不要采购40Gbps的网卡

过去几年中，40G的服务器网卡出货数量并不多。某电商平台的25G和40G服务器网卡的价格截图如下(不含光模块)，可以看到二者价格很接近。

但40G网卡通常并不能充分利用服务器PCIe总线。因为许多服务器带PCIe 3.0 x 8（Gen3 x8）插槽，能提供56Gbps的带宽。将带2个25G的端口的网卡插到56Gbps PCIe插槽，可以使网络到服务器性能获得更高的效率（相对于插一个40G端口的网卡）。