高性能、超低延迟的进化之路

时间：2022-04-15 19:06:01 | 来源：行业动态

时间：2022-04-15 19:06:01 来源：行业动态

众所周知，超融合带来的敏捷性、便捷性、易用性、可运维是被广泛认可的情况，很多行业客户开始大规模采购超融合系统，这已经证明超融合相比传统架构具有很大的优势。

但是问题也来了，相比裸金属服务器和中高端存储设备，在性能上，尤其在延迟上超融合是不是可以和传统架构一决高下，很多客户是有担心。基于英特尔的全新存储硬件产品，我们从硬件到软件对整个系统进行了升级，充分发挥软件和硬件结合的优势，从而让超融合在性能上已经达到甚至是超越传统中高端存储所达到的性能。张凯说。

为了充分发挥傲腾持久内存的能力，Sailfish项目对计算虚拟化到存储网络以及存储介质进行了端到端优化。而由于超融合架构的部署特点，以上的性能都必须在有限的计算资源实现，这一限制条件为Sailfish项目带来诸多的挑战。

张凯表示，在现有SMTX OS软件栈中，一个IO请求会经过：计算虚拟化层、网络层和存储层。IO请求在经过每一层系统时，都会带来额外的性能开销，这些性能开销来自于上下文切换，系统中断以及内存拷贝等等。为了充分发挥傲腾持久内存的性能，解决方案对这三个层次分别进行优化，以做到端到端的IO加速。

基于此，SmartX研发团队对系统进行了如下重大改进，SMTX ZBS分布式块存储专门开发了以DAX（Direct Access）模式访问持久内存设备的适配程序，缩短了IO堆栈以获得更佳的性能和更低的延时。

为了保证在有限的CPU资源下提升持久内存的带宽性能，SmartX技术团队创新地引入了IO/AT DMA引擎实现了异步写入持久内存的机制，使得单个CPU内核的最大写入带宽提升至10GB/s。

在存储层，Sailfish项目充分发挥英特尔傲腾持久内存App Direct模式低延迟和持久化存储的能力，保存集群中最经常被访问的数据。同时为了保证数据的可靠性和高可用特性，缓存的数据也会以副本的形式保存到其他的节点中。不仅如此，SMTX OS充分利用持久内存的字节访问特性重新设计了日志，有效解决日志写放大问题。并通过DMA方式，将内存与持久内存之间的数据拷贝任务，下放到硬件中完成，极大地提高了内存拷贝的效率，在提升存储性能的同时，不产生额外的CPU资源需求。

在计算虚拟化层，通过SMTX ELF Boost模式将存储虚拟化功能，从虚拟机中下放到存储软件栈中，避免了因IO请求经过虚拟机而产生额外的性能开销。同时通过VM与存储系统共享内存的方式，避免在IO路径上发生内存拷贝，直接通过vHost技术将虚拟机内存中的IO数据直接共享到ZBS上的vHost Target。

在存储网络层，通过使用RDMA over Converged Ethernet（RoCE ）进行网络IO加速，并将网络协议的实现部分，下放到网卡硬件上完成，充分利用网卡硬件的加速功能，极大地降低分布式存储在网络通信时的性能开销。



经过以上优化，我们在IO性能提升了3.2倍基础上，在延迟上有85%的降低。这是我们Sailfish项目带来的价值，使用该方案，SmartX超融合一体机三个节点的最小系统即可达到120万IOPS，而且虚拟机端的IO延时可从ms级别降低至us级别。张凯说。

目前，Sailfish项目中使用到的技术已经集成到了最新的SmartX Halo P系列一体机中。SmartX Halo P系列一体机不仅能够胜任交易类数据库、机器学习等对IO性能要求苛刻的核心应用场景，并且能够以更高性能提升虚拟机密度，进一步简化IT部署，降低整体拥有成本。SmartX Halo P系列一体机已经在金融行业进行了测试和部署。



与市场某主流中高端全闪阵列相比，三节点的SmartX Halo P系列一体机的8KB随机读性能为120万IOPS，达到全闪阵列的1.4倍，顺序读带宽达到25GB，是全闪阵列的2.1倍，同时应用端延迟只有100us，而全闪阵列仅控制器端延迟就达到了500us。不仅如此，P系列一体机依旧保持超融合架构简单、弹性的特点，并提供相比于中高端阵列，极具竞争力的总拥有成本。



张凯表示，得益于性能优化，该超融合解决方案可以应用在三个场景中：高性能、低延迟的核心数据库，比如Oracle数据库或者微软SQL Server；高性能高密度服务器的数据中心整合；AI机器学习。仅占用少量计算资源，最小系统三节点即可达到甚至超过中高端全闪阵列指标，而应用端延迟远低于中高端全闪磁盘阵列。而相比中高端磁盘阵列，SmarX超融合产品的总拥有成本、系统弹性和易维护性具有巨大优势。