大范围SDN云盘算数据中心组网的架构设计

开辟技能 2019/3/14

本文起首剖析了在大范围SDN数据中心组网中遇到的题目。一方面Underlay底层组网范围受限于设置装备摆设实践的转发才能和端口密度，单一Spine-leaf的Fabric架构无法满意大范围组网的需求;另一方面在SDN技能完成方案上，Openstack和SDN控制器辨别有办理控制才能上的限定。

SDN

本文辨别从多POD大范围数据中心的Underlay组网及路由计划，和跨POD互联互通SDN技能完成方案两方面，深化到技能细节，联合网络商业流量模子的完成，论述了大范围SDN数据中心组网架构。

1. 大范围SDN数据中心组网需办理题目剖析

大范围的SDN数据中心组网需完成几万台办事器作为一个资源池来承载和编排调理。综合思索Underlay组网以及SDN办理方案的完成，次要有以下三个方面的题目必要办理。

(1) 在数据中心Underlay组网层面。固然随着芯片不停的晋级换代，数据中心互换机处置转发才能极大提拔，但基于现在的数据中心互换机端口才能，同时思索到每个机房实践机柜的数量，以及机房间跨机房布线的难易水平，单一的Spine-leaf两层架构组网不克不及满意上万办事器的承载需求。

比方在一个数据中心组网中，选用现在业界主流厂商成熟的16槽的中心互换机设置装备摆设为Spine，100G板卡端口密度是20个/板卡，40G板卡端口密度是30个/板卡;选用设置装备摆设48个万兆6个40G的接入互换机为Leaf。Leaf到Spine全互联，Spine中心数目满配6台，中心互换机各设置装备摆设2块100G板卡用于毗连内部防火墙、专网或专线路由设置装备摆设等。在满意带宽1：1收敛比的状况下，经盘算单一Spine-Leaf架构最多能支持办事器的数目为5760台，不克不及满意几万台办事器的承载需求。

(2) SDN控制器的办理范围和办理范畴。SDN控制器办理VSW大概硬件互换时机启用TCP长毗连，从占用CPU内存资源，数目过多的被纳管设置装备摆设将极大地斲丧SDN控制器的资源，进而低落控制器的功能，这是SDN控制器办理范围次要限定要素。SDN控制器的办理范畴次要受控制器和被纳管设置装备摆设间的网络时延限定，因而SDN控制器发起当地摆设而不发起长间隔异地近程办理。现在主流设置装备摆设厂家在SDN控制器3机集群的状况下，可以办理2000个VSW大概1000个硬件SDN互换机。

(3) 云操纵体系Openstack的办理才能。Openstack是会合式音讯处置机制，一切交互操纵会到指令层面举行拆分，而指令并发处置才能低，次要以单历程行列步队方法举行。好比资源池内同时对100台假造机举行操纵的场景，交互操纵举行指令拆分处置时，因指令并发处置才能差，拆解出的少量指令不得不列队等候实行，Openstack体系此时的交互操纵呼应服从和实时性都市好转，影响用户的实践感知。

Cell技能可以极大地提拔Openstack平台的音讯处置服从，Nova可以扩展为多个Nova处置节点，每个节点有独立的数据库，接纳数据库同步的方法，完成多个nova节点的协同和散布式事情。但，Openstack体系功能是和企业的实践研发才能亲密相干的，现在基于开源Openstack研发的主流厂产业品，办理才能为500台假造化Host(5000个VM)大概3000台裸金属办事器。

2. 大范围SDN数据中心的多POD组网架构

由于单一Spine-Leaf布局的Underaly网络接入承载才能，Openstack平台的办理才能以及SDN控制器的控制范畴、控制范围的限定，因而在大范围SDN数据中心组网时，必要剖析成多个独自的Spine-Leaf模块举行摆设。模块间经过一致的使用层借助于SDN-DCI技能举行协同，完成整个数据中心资源池的一致办理和编排。每个独自的Spine-leaf模块为一个独自的Fabric，也称为一个POD(Point of Delivery)。

POD内组网接纳尺度SDN数据中心架构，每个POD独自的Openstack云操纵体系和SDN控制器。依据主流厂家的Openstack云操纵体系产品功能目标，有限POD内的裸金属办事器场景下支持办事器数目3000台，假造化办事器场景下支持办事器Host主机数目500台。同时依据主流厂商的SDN控制器功能，有限POD内的硬件互换机数目不大于1000台，VSW数目不大于2000台。

多POD的大范围SDN数据中心组网，POD内Underlay组网是尺度的Spine-Leaf架构。POD内SDN-GW可以和Spine合设也可以旁挂Spine摆设，防火墙、负载平衡设置装备摆设旁挂SDN-GW摆设。

现在SDN-GW次要是两台堆叠摆设，以便于SDN控制器的一致办理，因而假如POD范围较大，必要两台以上Spine时，不发起SDN-GW和Spine合设，SDN-GW应独自旁挂摆设。

为完成POD之间的流量互通，设置工具向流量会聚中心互换机Core-Spine用于承载跨POD的工具向流量;为完成POD内到外网的互访，设置南北向流量会聚中心互换机Out-Spine用于承载南北向流量。工具向流量会聚中心互换机和南北向会聚中心互换机的数目可以依据实践的POD范围、POD数目和网络收敛比要求机动盘算。POD内Spine到POD间会聚中心互换机一样平常是跨机房互联，为进步链路使用率，应接纳100G光模块互联。

假如POD间工具向流量计划很大，发起POD内Spine间接上连工具向会聚互换机。此时的流量模子为，POD间互通流量从POD内Spine去到SDN-GW，SDN-GW解开原有VXLAN封装，再将互通流量导入差别的互联VNI后发回给Spine，最初由Spine发送到工具会聚互换机。此流量模子下相反商业流量会穿越POD内Spine两次，因而假如流量计划完全在SDN-GW互换机设置装备摆设的接受范畴内，发起由SDN-GW上连工具向会聚互换机，如许可以增加POD内Spine上的来来回回穿透流量。

大范围SDN数据中心多POD组网架构

图1.大范围SDN数据中心多POD组网架构

POD内的SDN数据中心转发控制技能完成方案，可以是Openflow+Netconf也可以是EVPN+Netconf。假造机场景保举利用表项更大更机动的VSW作为VTEP，从而接纳Openflow+Netconf方案。裸金属办事器场景接纳硬件SDN接入互换机作为VTEP，可以依据详细网络设置装备摆设才能状况机动选择EVPN+Netconf的方案大概Openflow+Netconf的方案。

在Openflow+Netconf和EVPN+Netconf混淆摆设的场景，必要在SDN控制器上举行两种控制技能方案的翻译和买通。SDN控制器和SDN-GW创建EVPN邻人，将EVPN控制面的信息翻译成Openflow发送给VSW，将VSW的相干Openflow信息翻译成EVPN控制信息发送给硬件SDN互换机。从而控制完成在VSW和硬件SDN互换机之间创建VXLAN隧道和转发数据。

POD间互联的方案将完全自创SDN-DCI的相干技能，接纳EVPN+VXLAN的技能。POD内的SDN-GW将同时作为DCI-GW，与差别POD的SDN-GW间创建EVPN邻人，在一致的协同层的控制下完成跨POD流量的互通。

共享散布式块存储、散布式文件存储、散布式工具存储可以独自计划构成存储POD。拜访存储POD的流量在SDN-GW解开VXLAN封装当前走Underaly网络路由转兴旺到存储POD。在POD内设置装备摆设独自的VRF用于断绝拜访存储的流量和其他商业流量。存储POD有拜访外网需求的，存储会聚互换机计划上连南北会聚互换机。FC SAN存储发起间接摆设在各POD内。

存储POD网络计划图

图2.存储POD网络计划图

3. 大范围SDN数据中心Underlay组网及路由计划

多POD的大范围数据中心的Underlay组网，网络内网络设置装备摆设数目浩繁，按每POD内500台网络设置装备摆设数目盘算，10个POD组网网络设置装备摆设将凌驾5000台，因而怎样计划好Underlay层面的路由设置装备摆设，对大范围数据中心网络的高功能转发十分紧张。

平凡数据中心场景IGP路由次要因此OSPF路由为主，OSPF路由技能成熟，网络建立运维职员利用履历丰厚。利用OSPF作为大范围数据中心组网的IGP路由协议，各POD应分别为差别的Area地区，工具会聚互换机作为主干地区Area0，以增加LSA的传达地区和传达数目。各POD内SDN-GW作为OSPF地区界限网络设置装备摆设，将差别接口划入差别的地区，上连工具会聚互换机接口划入Area0，下连POD内Spine接口划入各POD独自Area。南北会聚互换机一样平常事情在二层透传形式，三层闭幕在外网防火墙，因而南北会聚互换机可不运转路由协议。

大范围数据中心组网OSPF路由计划

图3.大范围数据中心组网OSPF路由计划

相比力OSPF，ISIS 支持ISPF(Incremental SPF)，对大范围网络的支持才能和收敛功能更好。ISIS支持机动的TLV编码方法，协议扩展性更好。ISIS因其收敛速率快、布局明晰、实用于较大范围网络，不停比力多使用于城域网场景大概IP专网场景作为IGP路由协议。随着数据中心范围越来越大、设置装备摆设数目越来越多，ISIS也更多的使用于数据中心场景。ISIS的地区界限在链路，每台网络设置装备摆设只能属于一个ISIS地区。为增加LSP的传达地区和传达数目，在大范围数据中心场景ISIS分条理举行计划，主干地区包罗POD间工具会聚互换机和每个POD内的SDN-GW。POD间工具会聚互换机运转ISIS level2，POD内的SDN-GW运转ISIS的level-1-2。每个POD内Spine和Leaf运转ISIS level1。

大范围数据中心组网ISIS路由计划

图4.大范围数据中心组网ISIS路由计划

RFC7938提出了将EBGP路由协议使用于大范围数据中心的发起，并且现在也有大批将EBGP使用于数据中心内作为底层路由协议的实例。有别于OSPF、ISIS等链路形态协议，BGP是一种间隔矢量路由协议，因而BGP的扩展性更好。在中小型的数据中心组网时，利用BGP和利用ISIS、OSPF等链路形态协议功能区别不大，但在超大型数据中心的网络中，使用BGP的功能会更优。OSPF、ISIS等链路形态协议必要在网络内通报少量的LSA，路由信息天生历程是先完成LSA信息同步，再盘算天生路由信息。在网络局部节点产生变化大概网络割接晋级时，会惹起少量LSA的通报。而间隔矢量路由协议BGP不存在如许的题目，BGP节点间间接告示路由，在网络扩展和割接晋级时的网络波动性更好。

现在关于OSPF和ISIS路由协议的LSA优化在IETF曾经有响应的draft，目标都是为了增加LSA的传达数目和传达范畴，已使OSPF和ISIS在超大范围数据中心组网中的功能更优，但现在并没有十分无效的并被实践使用的方案。固然现在将EBGP使用于数据中心使用并不普遍，但将来超大范围数据中心的底层路由协议选择，间隔矢量路由协议BGP很大概会失掉更普遍的使用。

EBGP路由的计划和设置装备摆设绝对于OSPF和ISIS会庞大一些。POD内的多台Spine设置装备摆设计划为统一AS号，多台工具会聚互换机计划为统一AS号，每组堆叠Leaf计划一个独自 AS号。固然每个POD内Leaf只和本POD内Spine创建EBGP邻人，Leaf间不创建EBGP邻人，但Spine上仍旧必要设置装备摆设少量的Leaf邻人信息。计划设置装备摆设庞大，是限定EBGP在数据中心内使用的要素之一。

在利用EBGP作为底层路由协议的大范围数据中心，假如POD内同时以EVPN+Netconf为转发控制方案，POD内EVPN需以IBGP为底子创建，因而必要一台网络设置装备摆设同时设置装备摆设EBGP+IBGP两个差别AS号的BGP历程。现在曾经有主流厂家网络设置装备摆设支持差别AS号的BGP双历程。

惯例BGP报文AS号为16比专长度，取值范畴为0-65535，此中公有AS号范畴64512到65534，因而可用于数据中心内组网计划的公有AS号数目为1023个。依照每组堆叠Leaf一个AS号的准绳，显然无法满意多POD大范围数据中心组网的AS号分派需求。RFC6793发起将BGP的AS号扩展到32比专长度，扩展后AS号数目满意大范围数据中心组网曾经完全没有题目，且现在业界主流设置装备摆设已具有32比特AS号长度的支持才能。

大范围数据中心组网EBGP路由计划

图5.大范围数据中心组网EBGP路由计划

SDN数据中心的办理网除了满意传统的设置装备摆设带外办理功效，还要摆设Openstack云办理平台和SDN控制器，因而相比传统数据中心的办理网愈加紧张。随着数据中心范围的增大，办理网的范围也一定同时增大，因而大范围数据中心的办理网也必要分POD摆设。POD内办理网中心互换机设置装备摆设各网段网关，办理网接入互换机事情在二层VLAN透传形式。办理网POD间设置办理会聚互换机，POD内办理网中心和POD间会聚互换机三层互联，可以运转ISIS大概OSPF路由协议。为了减小POD内办理网播送域使办理网愈加波动，也可以将办理网段的网关设置装备摆设在办理接入互换机上，计划三层到边沿的办理网络，但如许做同时带来的毛病是必要更细致的办理地点计划，过于细分的办理地点计划会在肯定水平上糜费地点资源，因而三层到边沿的办理网计划并不罕见。

4. 大范围SDN数据中心POD间互联互通

大范围SDN数据中心必要将差别POD内资源一致办理和调理，结构大范围数据中心一致资源池。大范围SDN数据中心接纳SDN-DCI技能完成POD间互联互通。

SDN-DCI技能经过EVPN+VXLAN创建跨POD互联通路，办理面接纳EVPN协议，数据面接纳VXLAN隧道承载。POD内的SDN-GW将同时作为DCI-GW，各POD的SDN-GW之间设置装备摆设运转Full mesh的EBGP协议。基于EBGP协议，各POD的SDN-GW之间创建EVPN邻人干系，经过EVPN创建互联互通的控制面，通报租户VPC内(Virtual Private Cloud)的MAC、ARP和IP网段路由信息。

大范围数据中心摆设一致云办理平台，协同编排各POD内SDN控制器完成跨POD网络商业流量互通。思索到实践网络摆设时，POD间很大概为异厂家设置装备摆设，因而云办理平台必要对接差别厂家SDN控制器，为此需界说尺度的SDN控制器到云管平台的北向API开放接口，异厂家SDN控制器据此尺度接口吸收云管平台指令并控制本POD内转发设置装备摆设完成指令的实行。

跨POD互通EVPN+VXLAN技能方案表示图

图6.跨POD互通EVPN+VXLAN技能方案表示图

经过剖析大范围数据中心跨POD商业互联互通需求，可以得出以下游量模子：同行务域同租户跨POD互通，不外内网防火墙;同行务域差别租户跨POD互通，过内网防火墙;差别商业域同租户跨POD互通，过内网防火墙;差别商业域差别租户跨POD互通，过内网防火墙。

将以上彀络流量模子总结剖析，可以归结简化为两种互通流量模子，即跨POD过防火墙互通和跨POD不外防火墙互通。在云管平台跨POD互通商业接口指令模板中，增长防火墙形态使能开关来决议能否过防火墙。别的思索到流量模子的对称，在过墙的场景下要求双侧POD内均过墙。

跨POD互通不外防火墙流量，租户流量在当地接入VTEP封装进当地VXLAN隧道，抵达POD内SDN-GW解开当地VXLAN封装，偏重新封装进互联VXLAN后发往对端POD内SDN-GW。流量到达对端POD内SDN-GW后解开互联VXLAN封装，再封装进响应租户当地VXLAN隧道。差别商业的跨POD互通流量应予以断绝，必要为每组商业互通流量计划一个独自的VNI和VRF，并将VNI和VRF绑定。

跨POD不外防火墙流量模子

图7.跨POD不外防火墙流量模子

跨POD互经过防火墙流量模子，租户流量抵达POD内SDN-GW解开当地VXLAN封装后经过VLAN二层转发送往防火墙，防火墙处置终了后送回SDN-GW，SDN-GW重新封装进互联VXLAN后发往对端POD内SDN-GW。流量到达对端POD内SDN-GW后解开互联VXLAN封装，经过VLAN二层转发送往本POD内防火墙，防火墙处置终了后送回SDN-GW，SDN-GW再将流量封装进响应租户当地VXLAN隧道。

跨POD不外防火墙流量模子

图8.跨POD不外防火墙流量模子

差别商业的跨POD互通流量应予以断绝，必要为每组商业互通流量计划一个独自的VNI和VRF，并将VNI和VRF绑定。关于局部必要颠末负载平衡设置装备摆设处置的商业流量，可以由云管平台一致编排流量颠末响应的负载平衡。

5. 大范围SDN数据中心南北向流量简述

大范围SDN数据中心对南北向流量的处置，在引入多POD组网后，增长了南北会聚互换机。由南北会聚互换机辨别上连互联网防火墙、IP专网和专线路由器。南北会聚互换机在互联网南北商业流量的处置上事情在二层透传形式，三层辨别闭幕在SDN-GW和外网防火墙。在收支IP专网和专线的南北流量处置上可以视详细状况事情在二层透传大概三层形式，事情在三层形式必要设置装备摆设VRF举行差别商业流量的断绝。