10

川源全闪存存储三部曲

 2 years ago
source link: http://www.dostor.com/p/77072.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

川源全闪存存储三部曲

2021-08-18 分类:技术

2021年全球闪存峰会期间,Dostor总编宋家雨特邀上海川源信息科技有限公司全闪存储产品副总裁蒋焱华进行了专访,谈到了川源对全闪存储发展变化的判断。

2021081806294512.png?x-oss-process=image%2Fquality,q_50%2Fresize,m_fill,w_1024,h_630Dostor总编宋家雨(左)特邀上海川源全闪存储产品副总裁蒋焱华(右)进行了专访

宋家雨:请蒋总介绍川源?

蒋焱华:川源总部位于上海临港,是一家创新公司,存储界新秀,但在全闪存存储领域,川源却是IT业界的老兵,因为它有多年积淀。公司有很多科学家、研发工程师在存储软件研发有多年技术积累,也因为如此,川源选择了全闪存领域,不仅有产品,也有很多解决方案,其中全闪存阵列是比较核心的业务。

宋家雨:与竞品相比,川源有哪些竞争优势?

蒋焱华:川源的核心在于存储软件,我们核心存储软件叫FlexiRemap,是100%自主研发,没有使用开源软件,不涉及国外任何知识产权,在国内外拥有700余项专利权项,这是川源最有竞争力,也是最有核心的一块。

FlexiRemap完全基于闪存的特性开发,因此可以更好地利用新的NVMe协议,利用全新NVMe-oF架构去释放闪存的极致性能。

从技术上说,FlexiRemap核心技术有几部分:

第一,它打破了传统RAID技术。闪存盘速度更快,处理能力更高,但是闪存盘的闪存颗粒也有它的问题,比如写放大、垃圾回收、缓存读进/读出等问题。FlexiRemap完全打破了传统RAID对于机械盘的支持模式,通过地址映射表、纠错码,从介质操作层面对数据进行保护,从而避免了传统RAID对闪存颗粒写寿命的伤害。

第二点,类似服务器分布式存储通过大量缓存把性能打上去,这样的代价是比较昂贵的。所以FlexiRemap核心的一个地方在于它是无缓存技术,它是通过底层顺序写入,它把底层数据块打散以后,顺序写入以后,保证确保它的I/O可以直接落盘。

宋家雨:您讲到了直接落盘,这是怎么实现的?我还是没有听得太懂,您给介绍一下。

蒋焱华:主要是在FlexiRemap底层的一些地址,它对每一个I/O,它都会在不同的打散的每个SSD上标记它的位置,然后它做到顺序地写入。原来的缓存技术是对I/O做一些批量的处理,它把一些I/O放在缓存里面,然后通过内部的算法,从缓存统一去落盘。而这种方式,如果是用机械硬盘的这种思维是OK的。

其实川源在设计上,坚持在容量、功能、性能和性价比等方面达到一种平衡,不要为了性能去损失容量的需求,也不会因为性能在性价比方面让成本不断增高,我们认为缓存对于机械硬盘来说,可能是一个比较成熟,也是一种比较习惯的使用方式。但是闪存有更快的处理能力,尤其是在NVMe over Fabrics(NVMe-oF)架构,I/O通道已经不会成为瓶颈,有强大带宽保证,落盘是完全可以做到的,保证它写入的性能。

还有很重要的一点,闪存颗粒是一种耗材,它是有磨损的。保证它的顺序、平均写入,就可以确保SSD磨损均衡,带来一个极致的性能。

宋家雨:请介绍一下川源NVMe-oF方案?

蒋焱华:NVMe-oF是我们打破原有的机械硬盘思维,跨越到新的固态盘。但是现在很多厂商基本上都在推NVMe盘,新的存储阵列。

NVMe盘相对于原来的SATA/SAS SSD盘,无论是队列深度还是并发量以及对CPU的开销,它确实是一个很大的提升。但是NVMe需要一个强大的架构和一个很出色的存储软件,来发挥它的极致的性能。并不是把现有机械盘换成NVMe盘,就能够做一个NVMe全闪存阵列。

从川源的观点看,NVMe-oF是真正可以去发挥NVMe盘极致性能的架构。因为从架构上,它借助了新一代RDMA网络的特性,把计算和存储做了完全的解耦,让计算去做计算应该做的事情。NVMe-oF解决的就是这种解耦,如果客户需要增加计算,只要增加服务器就OK了;需要增加存储的性能,同步增加存储网关就可以了。

为什么存储相比计算、网络,其迭代速度很慢,或者按部就班?原因在于只能在传统架构上做加法:2控变成4控,变成8控;磁盘柜由4个磁盘柜变成8个,直至塞满客户的机柜,这仍然抵挡不住客户数据指数级增长,我们会再去买一个磁盘柜去做级联、镜像、数据复制。

川源要做的不是这样,它是通过存储网关,你可以把它当做一个控制器,在RDMA的基础上,它可以直接落盘了。所以在客户需要存储性能的时候,只要平行增加网关就可以了。当客户需要容量的时候,只要在下面增加放置SSD盘的闪存柜就可以了。

宋家雨:NVMe-oF这样的方案,对我们前端的应用有什么样的要求?

蒋焱华:在过去几年应用软件和存储是在做一个互相迁就的过程。谁跑得更快,谁就会去追赶、去适应它。原来机械硬盘就是这样一个局面,应用软件、数据库去做很多调优,实质就是往下去迁就。为了不把压力全部压在存储端口、通道上面,就在计算、处理进行分散,通过数据切片分散到网络层面,这是应用原来去做的这些事情。

未来,存储管道一下子粗了,存储资源池容量一下子大了,相信应用会很快做出调整,而且目前新经济数据应用,非常渴望有这样的大管道、大通道、高吞吐; AI、自动驾驶都需要极大数据量处理,比原来要复杂得很多。所以我认为一旦NVMe-oF成为主流,各个业界都在去搭建应用软件,会很快做出响应,这是不用担心的。

从目前来说,主流数据库、应用软件、中间件跑在NVMe-oF是没有问题的,首先我们还是一个底层的协议,它不会去改变应用的模式或者它的设计的逻辑。真正的课题是在于通道大了以后,应用软件怎么更好地去部署,就是你的算力,原来服务器的算力怎么更好的去做一些匹配,这是可能整个架构接下来要去考虑的问题。

宋家雨:请您预测一下NVMe-oF这样的方案,未来市场上的占比?

蒋焱华:先看全闪存,最新IDC报告显示:2020年中国整个企业级外部存储市场大概在300亿元规模,全闪存阵列占比20%都不到,就是60亿元左右的水准。从空间来说,这一块至少有200亿元的成长空间,这个市场足够巨大。

从去年的Gartner 成熟曲线来说,NVMe-oF已经进入了第二阶段,市场对这个技术的期待到达了颠峰。从IDC的建议来说,包括很多数据中心的决策者来说,他们都是希望未来5~10年能够把全闪存、NVMe-oF架构引入到数据中心。所以,我觉得未来市场规模是很大,时间应该就是在5~10年,甚至于可能更快。

宋家雨:我们知道川源有一个三部曲:集中式全闪存阵列、扩展式低时延的架构和分布式全能存储解决方案,能不能介绍一下?

蒋焱华:这可能也是川源的一个愿景,未来发展是实现全闪存不分行业与应用的全面覆盖。

第一部曲就是川源的新蓝宝,叫NeoSapphire,已经在市场上有一定的接受度。我们在金融、医疗、制造业和教育行业都有这样的产品被使用。它还是一个集中式全闪阵列,有控制器,有全闪存盘,基于FlexiRemap的算法,可以说是1.0。

我们的2.0就是基于NVMe-oF,川源的存储网关,把存储性能和存储容量的扩展做解耦,通过RDMA网络实现性能的极致性能和性价比。在1.0的时候已经达到了1个节点、2U24盘、120万IOPS的4KB随机读和70万IOPS的4KB随机写入的性能,在我们的展台有现场性能演示。2.0目前在我们的测评中,在10~12个网关的范围内,扩展柜内包含闪存盘总数少于150块的数量,就能够做到2000万IOPS的4KB随机访问性能。

3.0是一个更远大的目标,如今分布式存储非常热,但没有解决好的一个问题容量扩展后的性能问题,其性能较之集中式全闪存是有差距的。川源会做一个高性能分布式存储解决方案,基于NVMe-oF架构去实现它的高性能,它可以提供一个极致的性能和性价比。

宋家雨:谢谢蒋总的分享。

蒋焱华:谢谢宋老师。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK