脊叶式网络交换结构的布线

Mustafa Keskin，康宁光通信公司
出现在布线安装与维护2017年4月

在过去十年中，随着网络规模的增长，我们看到了从经典的3层网络体系结构向更平坦、更宽的脊叶式体系结构的转变。凭借其完全网状的连接方法，spine-and-leaf架构为我们提供了我们渴望的可预测的高速网络性能，以及网络交换机结构的可靠性。

随着其优势，脊叶结构在结构化布线方面提出了挑战。在本文中，我们将研究如何构建和扩展四路脊柱，并逐步扩展到更大的脊柱(例如16路脊柱)，并在增长过程中保持线速交换能力和冗余。我们亦会探讨两种方法在建造我们的结构化电缆主配线区时的优缺点;一种方法是使用传统的光纤插接电缆，另一种方法是使用光网格模块。

自20世纪80年代作为局域网(LAN)协议出现以来，以太网凭借其简单的算法和更便宜的制造成本，一直是数据中心和互联网发展背后的推动力。以太网交换机在交换之前会查看接收到的每个数据包。它只打开外部信封读取第二层地址，而不用担心读取IP地址。这使得以太网交换机能够非常快速地移动数据包。

尽管它的效率很高，但当网络规模增长时，以太网也有一些缺点。在由多台以太网交换机组成的网络中，为了防止广播包(如地址解析协议(ARP)请求)在网络中泛滥和循环，使用了生成树协议(STP)技术。STP可以阻断冗余链路，防止网络中产生环路。运行在STP技术上的网络在主链路发生故障时，使用冗余链路作为故障转移。这为基础设施提供了弹性，但成本是可用带宽利用率的一半。

我们用生成树逻辑构建网络很长一段时间，直到我们遇到新的问题。第一个问题是，我们主要受限于双核心网络，没有发展空间(为了服务越来越多的客户，我们的网络需要相应增长)。第二个问题是延迟。如果我们有一个大的网络，我们通常把它们分成更小的网络，我们称之为虚拟局域网(vlan)。这导致不同类型的数据流量有不同的延迟。在一个VLAN内通过二层网络的流量与通过三层核心的不同VLAN之间的流量具有不同的延迟。

大多数现代电子商务、社交媒体和云应用程序都使用分布式计算来为客户服务。分布式计算意味着服务器与服务器之间的通信和并行工作，以创建动态网页并回答客户的问题;它需要相同的延迟。等待结果可能会让客户不高兴。我们需要一种能够统一增长的网络架构，并且能够为现代应用程序提供统一的延迟。

这些问题的解决方案来自于一种网络架构，也就是今天所说的“脊叶结构”。自1952年查尔斯·克洛斯首次提出多级电路交换网络(也称为克洛斯网络)以来，这个想法就一直存在。这种网络架构的主干称为spine，每个叶子都从这里连接起来，以进一步扩展网络资源。只需添加更多的骨干交换机或叶交换机，网络就可以均匀增长，而不会改变网络性能。

与传统的三层架构相比，网络的骨干部分水平增长，将网络层限制为两层。例如，使用双向脊柱，我们可以构建可以支持多达6000台主机的网络，使用四路脊柱，我们可以构建多达12,000台主机的网络，使用16路脊柱，我们可以连接超过100,000台10GbE主机。

其次，所有叶子开关都连接到fabric中每个可用的脊柱开关。这种完全网状的体系结构允许连接到任何叶子的任何主机仅使用两个跃点连接其他主机，这是交换机到交换机的连接。例如，叶子1到脊椎1，脊椎1到叶子10。由于整个主干层是以冗余的方式构建的(在主干或叶子开关失败的情况下)，因此可以自动利用替代路径和资源。

构建棘叶网络的基本规则如下:

·主要构件为网络叶子交换机和网络脊柱交换机。

·所有主机只能连接到叶式交换机。

·叶子交换机控制服务器之间的流量。

·主干交换机沿着第2层或第3层叶子交换机之间的最佳路径转发流量

·叶子交换机上行端口的数量决定了脊柱交换机的最大数量。

·主交换机端口数决定叶交换机的最大数量。

这些原则影响着开关制造商设计设备的方式。

如果我们观察一个典型的主干交换机，第一眼我们会注意到多个扩展槽，例如四个或八个，它们接受用于连接到叶子交换机上行链路的不同线卡。线路卡可以有不同的风格，如36 x 40Gig QSFP (40Gig)端口或32 x 100G QSFP28 (100Gig)端口。Quad small form pluggable (QSFP)和QSFP28端口是空的，因此必须以单模或多模收发器或有源光缆(AOC)或双轴电缆的形式单独购买必要的收发器。一般规则是，骨干交换机上可用端口的数量决定了可以连接到骨干交换机的叶子交换机的数量，从而决定了可以连接到网络的最大服务器数量。

接下来，我们看到监控和管理整个交换机的操作的管理模块。电源提供冗余电源，在主干交换机的背面，我们通常有fabric模块，以减轻不同线卡之间的流量。将叶交换上行链路均匀分布在主干交换机上的线卡上，可以减少流经fabric模块的流量，从而显著提高交换性能。

如果你有两个叶式交换机连接到不同的线卡，流量必须通过垂直背板。这增加了端到端的包裹交付时间，这意味着延迟，并且需要采购额外的织物卡，这意味着额外的成本。

在接下来的部分中，我们将讨论如何通过布线来解决这些问题。

在讨论叶式交换机时，主要考虑的是上行端口的数量，上行端口的数量定义了一个人可以连接多少台骨干交换机，下行端口的数量定义了多少台主机可以连接到叶式交换机。上行端口可以支持40/100Gig的速度，下行端口可以从10/25/40/50Gig不等，具体取决于您计划使用的型号。

让我们考虑这种情况:每个主干交换机上有四个线卡，每个叶子交换机上只有四个上行链路。是否有可能将这四条上行链路分布在8个线卡中，以保持冗余和线速交换?如果我们使用40Gig SR4收发器，我们知道它们实际上是由4x10Gig SR收发器组成的，一个40Gig SR4端口可以被视为四个单独的10Gig端口。这称为端口断开应用程序。端口突破允许我们向外扩展，并在我们以传统方式无法做到的方式扩展网络时拥有冗余。例如，可以将2 × 40Gig的SR4收发器拆分为8 × 10gig端口，并轻松地将它们分配到8个线卡上。

为了表示这一点，让我们使用康宁EDGE8™解决方案端口分离模块创建10Gig交叉连接。我们可以使用EDGE8解决方案端口breakout模块在spine层断开所有40Gig QSFP端口。我们可以用叶子开关做同样的练习。现在，在各自的叶开关和脊开关之间进行LC补丁连接。通过这样做，我们可以突破所有40 Gig端口并将它们分配到四个不同的线卡上。

冗余是保持的，这意味着如果你丢失了一个线路卡，你只损失了25%的带宽。我们通过确保所有的叶交换机都在所有的线卡上表示来维持线速交换，因此不需要流量通过垂直的fabric模块。每个黄色突出显示的端口代表一个40Gig QSFP端口。

这是最优雅的做事方式吗?不。

这被称为使用旧工具构建新网络。

有更好的方法吗?

让我们考虑一个网格模块。

这个网格模块连接到一侧的脊柱开关和另一侧的叶片开关。脊柱侧端口连接到脊柱开关上的单个线卡。

每次我们连接叶子侧的叶子开关时，它会自动断开该端口并将它们洗牌到网格模块上已经连接到单独线卡的脊柱端口上。

我们不需要做lc到lc的补丁。

我们仍然实现了我们在之前的场景中尝试做的洗牌，我们有完全的冗余，我们可以从我们的交换机中获得充分的性能。

从双向脊柱到四向脊柱是很容易的。我们可以简单地在每个骨干交换机上使用一个mesh模块，并将每个40Gig的上行链路从叶子层分配到每个骨干交换机上的四个线卡上。

使用我们的网格模块，我们将网格模块的脊柱侧连接到其他脊柱交换机。我们失去了线路卡级的冗余和交换效率，但通过将风险分散到16路主干上，我们获得了更多的冗余。在这一点上，我们也应该投资织物模块，因为我们将有一个案例，将有不同的叶开关在不同的线卡在同一机箱。通过最后的扩展，我们可以拥有一个比四路脊柱大四倍的网络。

通过使用网状模块，我们可以将连接成本降低45%。

通过用MTP®跳线取代LC跳线，我们可以减少75%的拥塞。

由于我们不需要所有的外壳来进行LC的突破和修补，我们可以在MDA中实现75%的空间节省。

历史告诉我们，每有新的发展，我们都必须发明新的做事方法。

如今，该行业正朝着脊叶式结构发展，交换机制造商已经为这种新一代数据中心交换结构设计了先进的交换系统。

这种面料的基本要求是建立一个网状结构的布线模块，可以让你从你的面料投资中得到最好的回报。

脊柱和叶片的网格连接可以使用标准的MDA风格的结构化布线来实现，我们可以将其与使用旧工具构建新事物进行比较。使用网状模块作为构建下一代网络的新工具可以大大降低数据中心结构的复杂性和连接成本。

想要保存本文以供以后阅读或参考，请下载本文。