下一代数据中心基础设施更注重热管理的重要性

作者 / Joe Dambach Molex公司

摘要：高密度的 QSFP-DD 光端机可以使制造商生产出更具竞争力的网络服务器、交换机和存储产品，为日益提高的数据流量以及更加复杂的数据中心与电信网络提供支持，致力于为制造商带来巨大的价值。

　　围绕着SFP、SFP+、QSFP、QSFP+ 和 zQSFP 等形形色色的小体积可插拔模块而开发的一系列高速度高密度解决方案，在数据中心的交换机和网络设备领域取得了极大的吸引力。随着行业为下一代铜缆和光缆QSFP-DD收发机的发布而准备就绪，热管理策略发挥着关键性的作用。

　　“小”体积可插拔I/O这一名称具有一定的迷惑性。这类体积小巧而又功能强大的连接器在高密度网络上发挥着主要作用，可以处理手机和移动设备、流媒体内容、数字自动化和工业传感器、人工智能、预测分析以及一系列其他数据驱动技术所产生的海量数据。

　　据分析师预测，截至2020年，物联网可能会连接起多达2000亿台设备(来源：IDC、英特尔、联合国)。数据中心的增长速度异常迅猛，而不断上升的需求以及数据量都在使密度与功率接近极限。芯片、交换机、连接器、线缆及光学模块技术都属于网络的核心领域，对每一分支领域都产生着深远的影响，一直延伸到个人与企业，在这类环境下，延迟或停机都会很快导致营收和商业机会上遭受多达数百万美元的损失。

　　如果没有所需的关键性基础设施来为未来的数据速率提供支持，那么现存的瓶颈情况将愈发恶化。以后将需要在存储、服务器和交换机上作出进一步的投入，保存数据并使数据可即时访问。没有对未来的高速及高密度数据准备就绪的数据中心将日益面对延迟问题，最终远远落后于竞争对手。

　　为网络、服务器和存储设备提供无缝可靠的连接，对于确保快速、有效而又安全的数据流动至关重要。数据中心必须能够支持更快的处理速度、更宽的带宽以及更高的密度。为了做到这一点，需要极好地配合并集成I/O连接功能，协调来自不同供应商的 IT设备之间的互操作性。工作量越大或者复杂性越高，使各个组成部分相互平衡、良好指定其用途的重要程度就越高，这样才不会由于疏忽而造成瓶颈，进而影响到性能。

　　可插拔I/O产品的产品组合经过了不断的演进，全部都围绕着各种可插拔的I/O模块形式而发展，每种产品变型都具有不同的带宽、距离以及铜缆或光缆连接功能。每条特定的链路都采用光缆或铜缆接口，以经济节省的方式进行定义。可插拔I/O解决方案的设计在数据中心和电信行业常用的各种距离上都支持最快的数据速率，而延迟和插入损耗更低，具有出色的信号完整性、电磁干扰(EMI)保护功能及热管理性能。

可扩展可互操作的I/O升级路径

　　高速、高密度的可插拔I/O解决方案为高密度应用提供了一种高度可扩展的升级路径。自从SFP的形状系数引入了1Gbps的数据速率以来，行业已经发展了很长的一段时期。QSFP光端机新增了配置选项，将密度和速度推向100Gbps。QSFP+热插拔光端机应用广泛，专为高密度数据通信而设计，集成了四条发射信道及四条接收信道，提高了端口密度并进一步降低了成本，无需再购买更多数量的传统式SFP+产品。zQSFP+系统满足对高密度的要求，在四条通道上的数据速率高达28Gbps，在数据中心的高性能计算、交换机、路由器和存储方面已成为一种普遍的选择，具有较高的价值。

　　满足数量增长迅猛的无线设备对带宽的要求，已经成为服务器农场设计中提高密度的一项催化剂。高度集成的QSFP系统将空间、功率和端口密度有效地结合到一起，通常将包含连接器、电磁干扰屏蔽笼、铜缆和光缆组件、有源光缆(AOC)、光学回路，以及主机连接器。zQSFP+互连解决方案支持下一代100Gbps以太网和100Gbps InfiniBand增强数据速率应用，以每条串行通道25Gbps，的数据速率传输数据，具有出色的信号完整性、电磁干扰防护性能以及热冷却功能。

下一代QSFP-DD形状系数使速度提升四倍

　　网络依靠交换技术来处理及管理数据流量。随着数据使用量的不断上升，处于网络上核心地位的交换机可以保持数据的顺畅流动。高密度解决方案可以在一定程度上缓解核心交换机的压力。连接器不可以构成瓶颈。市场上的硅片已经可以支持256条差分通道。缺失的链路作为一种连接器的形状系数，可以提供充分的密度，在一个机架单元的安装盒中即可支持这一数量的通道，同时对热工及信号完整性进行管理。

　　行业当前正处于下一代QSFP解决方案的开发过程中，与交换技术最近的发展情况保持一致。在 2016年达成了QSFP-DD MSA，解决技术上的挑战，实现双密度的接口，并为不同制造商生产的模块组件确保机械、电气、热工和信号完整性上的互操作性。

　　作为一家QSFP-DD MSA的发起者和推广者，Molex与其他52家公司开展了密切合作，满足业界对高密度高速度网络解决方案的需求。集团最近为这一新的形状系数发布了规范，可以克服之前在指定 QSFP28兼容双密度接口时遇到的技术挑战。

　　四分之一小形状系数可插拔双密度(QSFP-DD)规范定义了一种模块、一种堆叠式的集成箱体/连接器系统，以及一种表面贴装的箱体/连接器系统。这一新的形状系数对标准的QSFP四通道接口进行了拓展，增加了一排触点，从而提供八通道的电气接口，其中每条通道都可在采用非归零码(NRZ)调制的情况下、在高达25Gbps的速率下运行，或者在采用脉冲调幅 (PAM4)的情况下、在高达50Gbps的速率下运行。

　　此次功能适应使得QSFP-DD可以在每个QSFP-DD端口上满足解决方案对200 Gbps速率的要求，或者对400Gbps聚合速率的要求。一个单独的交换机插槽即可支持多达36个QSFP-DD模块。因此，总容量可达到14.4 Tbps。

有效的冷却和热管理为投资提供保护

　　从SFP+(1x10Gbps)到QSFP+(4x10Gbps)、zQSFP+(4x25Gbps)，一直到现在的QSFP-DD(8x25 Gbps NRZ/50 Gbps PAM4)，随着收发机速度的不断增加，用于传输信号的能量也随之增加，产生越来越多的热量。冷却和热管理对于连接器模块以及网络的总功耗、能效、性能与寿命来说，都具有至关重要的作用。

　　散热器技术的发展可以实现高效、可靠而又具有弹性的热管理策略，同时支持更高密度的铜缆与光缆连接。QSFP光学模块设计可在最高70℃的温度下运行。超过这一温度后，光学元件的性能将会降低，而寿命则会缩短。由于价格点已经下调，光纤组件仍然是一种成本相对高昂的投资对象，由于存在着极端温度而承受一定的风险。

　　通道数量少于四条I/O模块通道通常可以通过用于冷却其他组件的气流来进行冷却。采用四条信号通道的 QSFP形状系数需要结合气流与散热器使用。zQSFP形状系数最初并不适用散热器，仅依靠气流来对模块进行冷却。随着数据密度的不断提高，各种散热器被添加到了模块的中心和顶部，以及箱体结构上，从而改善气流及冷却效果。

　　由于zQSFP+的速度超过了100Gbps，而电力负载超过了4W，系统管理及光学模块温度的管理上就面临更多挑战，从而不超过70℃的最高温度。总体设计必须通过整个箱体来操控气流，采用散热器则可以将模块上的能量转移到存在气流的区域。Molex已经开发并演示了创新性的通流和内部自调整式散热器(IRHS)技术，为在高达5W或更高的功率下运行的堆叠式zQSFP+模块提供热管理。

　　Molex进行的测试主要关注于最高环境温度约为 45℃的企业应用，对通流式箱体进行了比较，该箱体针对模块内所产生能量的管理进行了优化。对5W的光学模块进行模拟，采用的风洞包含了两个2x1的箱体——一个是气流增强型箱体，另一个是标准箱体，每一侧都含有两个zQSFP+模块，并且包含了电源，以预定的速度在测试区域中驱动风扇。

　　通过对这四个模块中每一个模块内部的温度进行连续监控，对标准型zQSFP+箱体和气流增强型箱体的相对性能进行了比较。在采用了增强型的箱体设计、散热器及能量传递策略后，与标准箱体相比，增强型箱体实现了显著的改进，将冷却系数降低了9℃。

　　QSFP-DD模块在深度略微大于QSFP的空间内为八条通道提供支持。这意味着模块中有八束激光可以发热，需要冷却与散热。通过有效的使热能翻倍，3.5W的模块可以成为7W的模块，而5W的模块则可成为10W的模块，诸如此类。

　　在这类极端的高热下对热性能进行管理，将成为前进中至关重要的一步。模块和箱体设计中采用的先进热管理技术使QSFP-DD能够支持至少7W的功率水平，而目标范围则拓展至10W。Molex与其他MSA合作伙伴以及赞助的成员企业正在开发QSFP-DD产品，其箱体和模块现可供货，在客户环境下进行热测试。附加工作也已在进行中，为在高达12W或更高功率下运行的QSFP-DD模块的冷却开发各种解决方案。

延长现有平台的寿命

　　对更高密度以及更好的功率管理和热管理的需求，将继续推动改进型I/O模块的开发工作。新型网络技术的普及率在逐步提升。产业投资和多厂商的投资有助于确保每一代可插拔I/O之间的互操作性。

　　向下的兼容性可以延长现有平台的寿命，进一步提高了面向未来的准备程度。例如QSFP和zQSFP+ 共享了相同的配对接口。尽管是一种全新的接口，QSFP-DD还是构建在这些原先的技术基础之上。双倍密度指与标准的QSFP28模块相比，QSFP-DD模块所支持的高速电气接口的数量增加了一倍。为了承受额外的一排触点，主机板上QSFP-DD的机械接口深度略微大于标准型的QSFP28接口。

　　QSFP-DD的每个端口都有76个电气触点，随着数据中心容量的扩展，可以为更高密度应用中的下一代交换芯片提供支持。QSFP-DD已经为支持50Gbps 的新型PAM4电调制格式准备就绪，可以进一步使速度翻倍，从而使速度达到QSFP28模块的四倍。在初次使用QSFP-DD模块时，大部分情况都将支持NRZ 调制的数据速率。PAM4允许在给定的带宽上传输更多的信息，但是需要更高的处理能力来为数据编码和解码，这就容易造成延迟及相应的性能下降问题。

　　采用QSFP-DD模块设计的系统将向下兼容现有的QSFP形状系数，为最终用户、网络平台的设计方以及集成商提供最大的灵活性。除了QSFP-DD规范可以在给定的面板空间内多容纳四条通道并使QSFP28 的聚合带宽提升一倍外，端口的密度是完全一致的。QSFP28模块可以插入到QSFP-DD中八条电气通道的四条之中，以便逐步逐量地对线缆和模块升级。

结论

　　高密度的QSFP-DD光端机可以使制造商生产出更具竞争力的网络服务器、交换机和存储产品，为日益提高的数据流量以及更加复杂的数据中心与电信网络提供支持，致力于为制造商带来巨大的价值。

　　本文来源于《电子产品世界》2017年第11期第28页，欢迎您写论文时引用，并注明出处。