NVMe over TCP：它如何通过IP网络增强SSD存储

在数据中心开始从硬盘驱动器过渡到固态驱动器 (SSD) 后不久，NVMe协议就开始支持高性能、直接连接的 PCIe SSD。NVMe 之后是 NVMe over Fabrics ( NVMe-oF )，它旨在有效地支持超大规模远程 SSD 池，有效地取代直连存储 (DAS)，成为云基础架构中分解存储的默认协议。

最近，NVMe over TCP 已经到来，以提供更强大的 NVMe-oF 技术，承诺以更低的部署成本和更低的设计复杂性实现高性能。从本质上讲，NVMe over TCP 使用简单高效的 TCP/IP 结构将 NVMe 扩展到整个数据中心。

“能够以低延迟进行高带宽通信，同时获得存储阵列之间的物理分离，然后添加一个包含 TCP 协议的普通交换网络进行传输，这将改变游戏规则，”业务和 IT 总监 Eric Killinger 说。技术咨询公司Capgemini North America。“云超大规模企业已经在采用这项技术，取代以前使用了两年和三年的新 SSD 技术，以实现对数据分析和物联网的更大查询访问，”他说。

背景：NVMe 和 NVMe-oF 的出现

当使用 NVMe SSD 构建的第一批阵列问世时，存储获得了巨大的速度提升，但这些设备仍然通过基于 SCSI 的主机连接与服务器通信。NVMe-oF 部署可以支持跨交换结构的基于 NVMe 的块存储设备的远程直接内存访问 (RDMA)。Modbus Rtu

技术研究基础设施系统研究副总裁 Eric Burgener 表示：“这是一种高性能存储网络协议，专门针对固态存储进行了优化……并提供更低的延迟、更高的带宽、并行性和更高的效率。”坚定的IDC。

NVMe-oF 可用于不同类型的网络传输，包括光纤通道 (FC)、以太网和 InfiniBand。在以太网中，有不同的传输选项，包括 RDMA over Converged Ethernet (RoCE)、iWARP 以及 TCP。

缺点是 FC、InfiniBand、RoCE 和 iWARP 选项都需要自定义主机总线适配器和驱动程序，这使得它们的实施和维护具有挑战性且成本高昂。“基于 TCP 的 NVMe 是真正的行业标准，可与几乎每台企业服务器上的标准融合以太网适配器配合使用，”Burgener 解释说。此外，大多数主要的 Linux 变体现在都在其标准分发中包含 NVMe-over-TCP 驱动程序。

“这是一个已发布并被接受的标准，这意味着从长远来看它将主导 NVMe-oF 部署，”Burgener 说。“它的实施成本也更低，并且不需要标准 Linux 或以太网适配器之外的升级计划，但与 RoCE（迄今为止已广泛部署的另一种以太网选项）相比，它的延迟要高一些。”

RoCE 和 iWARP 都支持 RDMA，而 FC 和 TCP 不支持。这种支持 RDMA 的能力允许稍低的延迟，但所有方法都设法比基于 SCSI 的普通存储网络技术（如光纤通道 (FC) 和 iSCSI）提供显着的性能改进。 

NVMe/TCP部署和使用

采用 NVMe/TCP 的一个主要原因是提供低延迟的共享存储解决方案。

“如果你有一个基于 NVMe 的全闪存阵列，但仍然通过基于 SCSI 的存储网络连接到服务器，那么你可能会在桌面上留下很多性能并且你没有使用你的固态存储资源几乎同样有效，”Burgener 说。“如果您希望将基于 NVMe 的全闪存阵列的性能一直交付给您的应用程序，您需要一个 NVMe-oF 存储网络。”

对于大多数组织而言，最终的传输选择将由已部署的任何技术或大规模性能要求驱动。

“FC 是满足后一种要求的最佳传输方式，但随着更高带宽以太网网络的每个新版本的推出，差异化变得越来越小，因为以太网能够以更高的带宽处理更多……存储工作负载，”Burgener 说。“有一些对性能非常敏感的应用程序在使用 FC 作为 NVMe-oF 的传输层时会做得更好，但随着时间的推移，它们会越来越少，”他补充道。

如果企业已经拥有 FC 网络，则在其上安装 NVMe-oF 相对容易，许多组织已经这样做了。Burgener 说，大多数商业新建部署将选择使用以太网，而 TCP 最终将在那里获胜。

在应用方面，“我们可能会及时看到大量基于 TCP 的 NVMe 用于 AI/ML 驱动的大数据分析工作负载，特别是如果它们本质上是实时的，”Burgener 说。“[采用] 有意义的另一个地方是在已将大量工作负载整合到单个存储阵列上并且需要能够以高工作负载密度大规模提供性能的环境中。”

虽然 AI/ML 驱动的大数据分析采用率正在增长，但该领域仍处于相对初期的阶段。更直接的是，NVMe/TCP 在基于闪存的超大型存储部署环境中获得了吸引力，特别是当必须通过现有的高带宽交换网络投资快速访问大量低延迟数据时。

“超大规模是这项技术的自然消费者，因为它支持闪电般快速的数据访问，并允许将数据分布在多个数据中心 pod 中，提供电网、冷却和本地化高可用性架构优势，而不会增加正常情况下产生的成本光纤网络扩建，”Killinger 说。

NVMe/TCP 还可以让采用者利用现有的对交换网络技术的投资，这些技术已经商品化并且可以从许多 OEM 获得。“与单独的 Infiniband 或光纤通道相比，连接多个绑定 10G 交换以太网端口的每端口成本使得可以利用 NVMe 的 TCP 堆栈实现，”Killinger 说。

 Burgener 指出，许多高端存储采用者已经致力于 FC 存储网络，并且已经升级或目前正计划升级到 RoCE 。然而，这种情况可能会在未来几年内发生变化。

Burgener 说，随着存储基础设施越来越多地转向固态存储，并且客户越来越关心基础设施效率，NVMe over TCP 将明显胜过 SCSI，而且成本低廉且易于实施。

NVMe-over-TCP 可用性

NVMe 及其规范由网络、存储和其他 IT 相关公司组成的联盟 NVM Express, Inc. 拥有和维护。NVMe 规范于 2011 年发布，定义了主机软件如何通过 PCI Express (PCIe) 总线与非易失性内存通信，现在已成为所有外形规格的 PCIe SSD 的行业标准。NVMe/TCP 于 2018 年获得 NVM Express 联盟的批准。

按照目前的情况，NVMe/TCP 支持主要来自网络供应商，例如 Mellanox Technologies（现在归NVIDIA所有）以及少数存储初创公司，包括 Lightbits Labs、  Excelero、Pavilion Data和Infinidat。SSD 芯片制造商Kioxia（以前是东芝的一部分）也支持 NVMe over TCP。

NVMe/TCP 的可用性预计将在未来几年快速增长。“大多数主要的企业存储供应商还没有推出它，但可能会在未来 12 到 18 个月内推出，”Burgener 预测。

目前短期、大规模 NVMe-over-TCP 采用的一个障碍也是它可能取得长期成功的一个原因。

“大多数 IT 组织至少都在试验公共云服务，估计超过 90% 的企业在一个或多个公共云中有一些存在，”Killinger 说。与此同时，IT 更新率呈下降趋势，许多组织没有预算足够的资金来使用高端 NVMe 技术更新其老化的存储基础架构。“然而，其中一些公司正在寻找公共云服务提供商来取代他们的企业 IT 服务，而这正是 NVMe over TCP 将蓬勃发展的地方，其增长速度比企业 IT 购买力的增长速度要高出许多倍，”他指出。

展望未来，Burgener 看到了 NVMe/TCP 的光明前景。“但 [采用率] 可能要到 2022 年底或 2023 年底才会真正开始增加，”他预测道。

Killinger 也乐观地认为 NVMe/TCP 最终将成为主流技术。“我认为 NVMe over TCP 没有理由不蓬勃发展，甚至在未来几年加速 SSD 部署，”他说。

Killinger 预计 SSD 存储 OEM 将很快进行大规模营销，渴望展示他们的产品在 NVMe over TCP 上的性能。“对于合适的企业 IT 副总裁来说，这足以影响他们的采购决策，”他说。