0

当“数据为中心”时代来临

 2 years ago
source link: http://www.dostor.com/p/76757.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
当“数据为中心”时代来临-存储在线
当前位置:存储在线 > 技术 > 正文

熟悉存储发展趋势就会知道:如今冯·诺依曼架构备受挑战,简单说,当数据为中心时代到来,要求计算围着数据转,以减小数据搬移带来的性能瓶颈以及功耗,所谓解决“存储墙”问题,而冯·诺依曼架构是一个以计算为中心的架构,新的时代要求创新的架构

可组合架构与NVMe-oF

如今,可组合架构应运而生,在新的架构中,CPU、DPU、FPGA、DRAM(内存)、FLASH(闪存)、HDD(硬盘)之间没有既定的层次结构,而是通过Fabric网络资源按照对等身份进行连接,不需要CPU作为绝对核心,事必亲躬。如今在AI应用实践中,GPU就是通过RDMA等技术从Flash、HDD直接调取数据;此外,在存算一体应用中,很多计算可以在存储本地完成,不需要搬迁数据。

89bf34d651094bd98cbebcd3d0708bbd~tplv-tt-shrink:640:0.jpg

可组合架构依然沿用分层存储的思想,因为没有单一一种存储介质能够同时满足大容量、快速访问、低成本和低功耗的数据应用需求,现实情况是:FLASH性能很好,但$/GB成本比不上HDD;相反,HDD $/GB成本有优势,但性能不足,这就是市场上为什么FLASH、HDD同时保持增长的原因,因为二者相辅相成。

0a2a5f1bb0754e75aecf32d3c60cfd33~tplv-tt-shrink:640:0.jpg

从满足性能需求的角度,要求存储系统设计充分发挥不同存储设备的优势。其中,NVMe-oF存储平台颇具代表性。在近日北京举办的OCP China Day 2021开放计算中国社区技术峰会上,西部数据公司副总裁兼中国区业务总经理刘钢对此进行了详细介绍。

1f6c876a687a4f18b5ca3ebf8321c8ab~tplv-tt-shrink:640:0.jpg西部数据公司副总裁兼中国区业务总经理刘钢

以西部数据OpenFlex Data24为例,基于西部数据RapidFlex RDMA的NVMe-oF控制器,在无需外部交换机的情况下,可以通过100Gb以太网端口直接连接多达6台主机,可以提供低于500 ns延迟,以及高达13M IOPS/70GB/s带宽的性能预期。

7bf6419fa559486899411d037b76b165~tplv-tt-shrink:640:0.jpg

OpenFlex Data24可在2U机箱中紧凑配置24个热插拔Ultrastar DC SN840 NVMe SSD,提供高达368TB共享存储容量,是服务器存储扩展及横向扩展软件定义存储(SDS)环境的理想选择。

有了NVMe-oF存储平台的加持,就可以构建端到端NVMe整体解决方案,就像本地连接到x86服务器中的PCIe总线一样,硬件、软件双管齐下,满足数据应用的需求。可以说,西部数据新的NVMe-oF存储平台充分发挥SSD、HDD的优势,为产业生态做了好的示范,也为生态合作伙伴提供了丰富硬件基础设施的选择。

类似NVMe-oF,西部数据还提供了以HDD为核心的Ultrastar Data60和Data102 JBOD以及Serv60+8存储服务器。

大容量盘和分区存储

与数据分层存储的思考不同,SSD、HDD并没有在所谓擅长的方向一味加持,相反,SSD、HDD都在努力补足各自的短板

以SSD技术为例,西部数据与铠侠联合研发的第六代162层3D闪存技术,没有按照传统八层交错式存储孔阵列设计提升容量密度,而是通过第六代创新架构将横向单元阵列密度提高了约10%,然后结合162层堆叠式垂直设计,将晶圆尺寸减小约40%,从而优化了成本,使每个晶圆的制造位增加了70%。通过阵列CMOS电路布局和四路同时操作,其程序性能可提高近2.4倍,读取延迟减少约10%,I/O性能也提高了约66%。简单说,SSD尽一切可能在降低$/GB成本。

96fec59789da46d5a3b3e8c51f58c06a~tplv-tt-shrink:640:0.jpg

在SSD盘的设计上,依托第六代NAND闪存颗粒的优势,西部数据在SSD盘控制器、固件技术上协同发力,在性能、生命周期I/O一致性等指标上,西部数据SSD一骑绝尘,不仅如此,从适合主流工作负载的Ultrastar DC SN640 NVMe SSD,到适合服务器和云、以及关键业务应用运行需要的Ultrastar DC SN840 NVMe SSD,西部数据为用户提供了丰富的产品组合,其中,Ultrastar DC SN640 NVMe SSD适用于70%读30%写混合工作负载;Ultrastar DC SN840 NVMe SSD适用于50%读50%写的工作负载,其计算性能高达780K IOPS。

6082a9bcb39e4015890ac27db4375d39~tplv-tt-shrink:640:0.jpg<从左到右依次为:西部数据Ultrastar DC SN640 NVMe SSD以及Ultrastar DC SN840 NVMe SSD>

在HDD方面,在HelioSeal氦气硬盘、EAMR(能量辅助磁记录)、TSA(三阶寻轨定位系统)、SMR叠瓦式磁盘等技术支持下,HDD容量从14TB提高到18TB、20TB,容量密度提高29%,每TB功耗就会降低21%,部署成本降低了11%,总体拥有成本降低了17%。自今年3月份开始,新款16TB和18TB Ultrastar DC HC550 CMR HDD已经向部分超大规模数据中心和企业级OEM客户发货。

fc226eab33eb425ea05e5fb38c99df58~tplv-tt-shrink:640:0.jpg<从左到右依次为:西部数据Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB >

在软件层面,针对SMR HDD、QLC SSD的技术特点,扬长避短,分区存储计划和ZoneStorage.io应运而生,为NVMe工作组ZNS规范和Linux开源社区做出贡献。日前,西部数据宣布向部分用户提供新款Ultrastar DC ZN540 ZNS NVMe SSD的样品,它包括一个垂直集成的双端口、高可用性NVMe控制器,以标准U.2尺寸提供了8TB存储容量。

针对风扇震动、噪音对HDD性能的影响,西部数据有针对性提供了专为声学环境开发的Vibro-Acoustic工具,为存储系统设计、运维提供了强有力的支撑。

7bba0042390b4e169893a40fefd08044~tplv-tt-shrink:640:0.jpg

携手合作伙伴遍地开花

截止目前,西部数据的技术和方案,深受生态合作伙伴的青睐,遍地开花。

· 腾讯云

结合西部数据企业级硬盘以及面向腾讯应用场景进行优化的高密存储服务器,腾讯推出了无目录层次结构、无数据格式限制,可容纳海量数据的分布式存储服务Tencent COS,实现了存储桶空间无容量上限扩展,可以满足多种场景需求。西部数据的16TB/18TB硬盘为COS存储奠定了坚实的硬件基础。

· 星辰天合、浪潮、西部数据联合解决方案

星辰天合、浪潮、西部数据三方合作,推出了针对分布式存储优化的解决方案。该方案包括西部数据18TB Ultrastar DC HC550 CMR HDD,不仅实现了快速部署、便捷运维,还有助于减少业务异常情况带来的损失,大幅提升业务收益。与4U36服务器+14TB HDD的方案相比,4U36服务器+18TB HDD方案能够节省22%的机柜占用空间及20%的电源功耗。

· 助力IHME新冠肺炎分析与疫苗推广

健康指标与评估研究所 (IHME) 通过与混合云文件数据管理领域的领导者Qumulo公司达成合作,将部署西部数据Ultrastar DC HC550 18TB HDD和Ultrastar DC SN640 NVMe SSD,持续推进新冠肺炎的研究和疫苗推广。借助西部数据公司垂直集成的存储设备,Qumulo的C-432T在2U配置中能够提供432TB的原始存储容量。

· UCloud新一代归档存储产品

2020年8月,UCloud针对冷数据正式发布了新一代归档存储产品。与36盘传统机型相比,新一代归档存储产品采用西部数据高密机型SMR盘后,单位机架的存储容量提升5.375倍,硬盘数量增加59%,单块硬盘存储空间提升150%。

· Dropbox超大容量企业级HDD全球应用

Dropbox与西部数据携手,为确保流畅无缝地实现向SMR的迁移,Dropbox针对其特定机箱配置进行内部测试,采用SMR技术替换原有CMR技术后存储密度增加了10%~20%,节约了20%的TCO。

· 紫光集团H3C UniServer R4900 G3服务器

该服务器支持高达32个Western Digital Ultrastar NVMe SSD,面向不同业务的工作负载,平衡性能、扩展力及安全可靠等特性,在核心应用平台堪当重任。

· 网宿云分发CDN

网宿专有云,为客户提供私有部署的一站式上云解决方案,提供计算、存储、网络、数据库、中间件、安全等全栈云服务,更好满足安全合规、按需使用、业务自主可控等需求,助力企业数字化转型升级。应用Western Digital Ultrastar DC HC650 HelioSeal SMR HDD,SN840/SN640 NVMe SSD及JBOD存储平台。日均处理万亿级的服务请求,分发超过123亿个流媒体文件。

西部数据非常重视在中国市场上的投入。2021年7月23日,作为西部数据公司下属全资子公司,晟碟半导体(上海)有限公司上海工厂三期厂房扩建项目正式竣工,扩建规模约为11800平方米,扩充了先进的产品制造设施和以产品为中心的技术研发设施。

小结

在正确的时间、地点做正确的事情,在数据为中心的时代,从存储介质、SSD/HDD到NVMe端到端存储系统设计,分层存储各个环节都在发生变化,惟有抓住这种变化,才能够在激烈的市场竞争中最终胜出,一击制胜!时不我待!


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK