为什么Hitachi Vantara的高性能文件存储HCSF火了?

为什么Hitachi Vantara的高性能文件存储HCSF火了?-存储在线

在日前的采访中，Hitachi Vantara中国区技术销售总监谢勇、Hitachi Vantara中国区资深解决方案顾问蔡慧阳透露：Hitachi Vantara高性能文件存储HCSF深受市场欢迎，取得了不错的销售业绩。一直到这个时候，我还不知道HCSF (Hitachi Content Software for File) 是怎样的一款产品，也就根本不知道为什么HCSF会受欢迎。

从“日立文件内容软件”的字面意思来看，HCSF很像是一款分布式NAS产品，市场上这样的产品很多，为什么HCSF会受欢迎，就因为Hitachi Vantara的品牌光环吗?

Hitachi Vantara的前身是HDS，与EMC、NetApp并称为专业存储厂商的前三名，是外部存储市场的领导者，是集中式存储的代表。在分布式存储方面，此前只有HCP (Hitachi Content Platform)，一款分布式对象存储产品。

从技术上说，HCSF是一款分布式文件存储，那么和分布式NAS存储有什么分别呢？

显然，HCSF不是分布式NAS存储，产品定位更多的不是面向通用的文件存储市场，HCSF面向的是HPC (高性能计算)、HPDA（高性能数据分析）、AI（人工智能）这样的典型的新型应用场景，其市场特点是对高IOPS、高带宽、以及低延迟有着苛刻的需求，是普通分布式NAS没有办法满足的市场领域。

对HPC高性能计算稍有了解的朋友都知道这是一个特别的专门领域。一开始的时候，计算和存储紧密结合，并没有一个“高性能计算存储”的市场存在，但是随着应用的发展，计算、存储分离的需求日益突出。原因也很简单，一方面数据量急剧增加，使用多套存储的方式管理起来非常麻烦；其次，后端存储的性能已经跟不上前端算力的步伐，前端的CPU+GPU异构计算、混合负载、混合文件大小对后端存储提出了更高性能需求。

为了大幅提升文件存储的性能，除了使用常见的POSIX协议，HCSF还支持英伟达的GPU Direct Storage (GDS)协议，这样性能还可以进一步得以提升。

英伟达公司 (NVIDIA) 为了避免出现性能瓶颈，针对后端存储开发了一种新的访问协议——NVIDIA GPU Direct Storage (GDS)，通过在NVMe存储系统和GPU内存之间启用DMA (直接内存存取)，提升存储的效率。

GDS在存储和GPU之间提升2～8倍的数据传输带宽；延迟大为降低，例如在某些场景下端到端传输的延迟能够实现3.8x的降低；当GPU并发度增加时，GDS仍然保持稳定的低延迟输出。GPU不仅作为实现最高带宽的计算引擎，同时也作为实现最高IOPS的计算引擎。在某些场景的实测数据表明，如果单纯使用CPU，吞吐率仅能达到50 GB/s；而使用GPU之后，吞吐率可达到215 GB/s。因此，能支持GDS的存储系统更能充分匹配前端的异构计算能力。

类似GDS这样新技术的出现，进一步推动了高性能计算存储的需求，HCSF瞄准的就是这一块市场领域。现有开源高性能文件存储方面主要是基于Lustre或BeeGFS，此外部分传统分布式NAS通过配置闪存盘也能覆盖一些较低的性能需求。相比之下，HCSF的设计初衷就是要解决传统的分布式NAS和其他分布式文件系统遇到的各种性能瓶颈和扩展问题。

HCSF非常适用于自动驾驶训练、基因测序、AI、ML等应用对极致性能和超大容量的需求。在人工智能驱动的高性能数据分析领域，在数据处理的不同阶段，对存储有不同的性能需求。例如，某些阶段要求超高带宽，某些阶段要求超高IOPS+超低延时，还有一些阶段同时要求超高带宽+超高IOPS。同时，在文件的大小方面，以往以处理大文件为主，小文件性能往往不佳。这就要求新一代的文件存储产品能够通过某些技术优化，例如小I/O聚合等技术，兼顾大I/O和小I/O处理的性能需求。HCSF作为新一代的高性能文件存储产品，可以直接将数据在客户端进行切片，小文件打包处理，同时写入到所有节点的硬盘上，通过并行方式提高了读写效率。完美地解决了这些问题。另外，如何存储超大规模的数据也是一个现实的问题。以自动驾驶训练场景为例，当下主流的L2-L3级别自动驾驶训练阶段，每辆车每天产生的数据量已经达到几TB到10TB不等；随着汽车行驶里程的增加，以及将来逐步进入高级别自动驾驶阶段（L4-L5），产生的数据总量能达到几百PB甚至EB级的规模，所以AI训练需要处理的数据规模相当大，也就是说后端文件存储的容量扩展性要足够大。HCSF近乎无限的扩展能力可以轻松地满足超大数据量的存储需求。

不仅如此，高性能数据分析除了需要兼顾高带宽、高IOPS和低时延的性能要求，还需要确保海量数据之间跨系统的协同交互与共享。如此一来，多协议互通就成为必然的选择。从目前了解到的情况来看，HCSF支持的协议种类可以说在所有高性能文件存储中是最全的。强大的多协议支持能力能更方便的接入不同种类的应用服务器，这样才能有效避免数据在不同的服务器与存储之间来回移动，在减少采购多套存储的同时，也缩短了数据处理时间。

正是因为准确把握了技术和市场应用的需求，在Hitachi Vantara品牌的加持下，HCSF的市场成功，也是水到渠成的事情！对吗?