SDS之Object Storage: 对象存储 - 生于时代，长于场景

【编者Peter Ye按】

十年了，我还是喜欢下面这张图，它表明了存储发展的趋势。

在这漫长的发展中，对象存储将随之茁壮成长。还记得第一次见这张图的时候，是我2008年从EMC刚跳槽到Compellent（2011年被戴尔收购），从雷涛（现任天云大数据CEO）那看到的，彼时很欣喜的发现Compellent的流动数据架构的精髓，Dynamic Block Architecture，已经有了对象存储的影子。

Compellent前端接口采用主流的SAN存储之FC，是非常明智的选择，使其不会成为先烈（EMC Centera不错，但太早诞生，不幸夭折），而成为了先进，它在2003或2004年推出的自动分级存储技术，足足领先EMC整整5～6年！而这只是它Dynamic Block Architecture的体现之一，另外其Data Instant Replay（近CDP效果）是其另外一个体现，基于这个架构还有非常大的潜力。

关于EMC Centera的更多详情可参见：

SDS之Object Storage: 对象存储，老树开新花

综上所述，您可以发现对象存储能够给带来无以伦比的灵活性和功能的丰富性。

随着，云计算、大数据、软件定义存储的普及，是时候了，对象存储恰逢其时。我们了解一下，从备份软件厂商的视角，如何看待对象存储的。

---Begin---

越来越多的人开始承认，他们低估了对象存储。这当然不必过于苛责，毕竟大多数人都不具备从青萍之末，预测到狂风骤雨的能力。

 

在Gartne发布的“2017年存储技术成熟度曲线”上，作为破坏性创新典型代表的对象存储滑落到了“泡沫化的底谷期”。

—2017年存储技术成熟度曲线—

 

不过不用担心，这仅仅是从技术层面而言，在业务层面，越发成熟的对象存储在2-5年内将迎来他的发展高峰，不管是开源还是闭源，不管是软件定义还是硬件定义，不管是IT巨头还是创业公司。

 

不过如果深究爆红的原因，则并不是因为对象存储在一次意外掉下悬崖被一棵大树接住捡回一条小命还顺便捡到一本武功秘籍没怎么苦练就打通了任督二脉而成为绝世高手。而是它赶上了一个好时候。就像郭靖原本只是四川嘉陵江地区一个地方土豪的护卫队首领却在金庸笔下的那个乱世成为了郭大侠。

 

对象存储这个概念最早可以追溯到20世纪90年代中期，但商业产品却直到2003年的时候才出现。那个时候的纯粹还是主要以追求性能为第一要务。而随着大数据、移动互联网时代的到来，非结构化数据量呈现出爆发的态势，以证券行业为例，随着电子化、无纸化进程的深入，非结构的文件数量呈现出爆发的态势，数据的传输、查询、备份、归档等日常业务开展都面临不同程度的影响。

 

这个时候对象存储的优势便得以凸显。对象存储是把存储层与应用层进行分离，将数据看作“对象“来处理。具体表现为，首先是它的协议支持，对象存储先是基于HTTP(S)协议，采用基于REST的API调用存储和检索数据，专为使用API 在应用级别（而非用户级别）进行访问而设计。随后增加了NFS和SMB。这就好比孙悟空先是学了七十二变，然后又学了筋斗云。

 

其次，对象存储具有更高的可扩展性。块和文件存储是将数据放置在目录层次结构中，而对象存储则是将数据存在于平面地址空间内。举个例子，块和文件存储住的是一栋一栋的楼房，而对象存储住的则是一片一片的平房。因此在横向扩展中可以有更好的表现。

 

如果问一款产品的爆红有什么不二法门的话，那么就是如何更好的满足需求。这种需求在很多时候可以理解为一种具体使用场景。

 

如果我们对三种类型的存储做简单对比的话，大致可以得出如下这张表格：

块存储

文件存储

对象存储

性能

高

高

中

并发

低

中

高

容量

低

中

高

访问方式

光纤网络

以太网

REST

兼容性

中

高

高

系统举例

交易系统

计费系统

CRM系统／SCM系统／OA系统／邮件系统

网盘／媒体娱乐／医疗PACS

这个表你已经可以忽视它了。因为脱离了场景的对比其实并没有什么意义，这就好比讨论孙悟空和超人谁更厉害一样毫无意义。

 

相比于传统的块存储、文件存储等，对象存储已经在特定场景中找到了自己的用武之地。此前，Gartner发布了2018对象存储关键能力评估（参考1），其中对几个主要应用场景做了能力对比，本文则主要讨论在这些场景中为什么是对象存储？

 

1、归档场景

 

最主要的催生因数当然是另一个重要原因当属GDPR等数据保护法规的不断推出。也就是说数据需要更长的生命周期。

 

通过与归档软件、分级存储软件结合，将在线系统中的数据无缝归档/分级存储到对象存储，释放在线系统存储资源。越来愈多的厂家对象存储提供几乎可无限扩展的容量，智能管理能力，帮助用户降低海量数据归档的TCO；对象归档采用主动归档模式使得归档数据能够被按需访问，而无需长时间的等待和延迟。

 

本文我们曾经讨论了对象存储的扁平化的数据结构，这种架构的好处就是允许存储容量从TB级扩展到PB乃至EB级，同时解决了文件系统复杂的索引节点带来的扩展性瓶颈。比如英方的对象存储管理产品i2DTO，就可以应用于Windows和Linux操作系统上，将数据迁移、数据准实时和定时备份到对象存储上，降低了存储成本及维护成本；

 

 

2、备份场景

如果说归档的数据是一种“冻”状态的话，那么在备份场景中，数据更多的是作为一种“冷”状态存在，不过随着“等保2.0“的提出，这种“冷”状态将会有所改变。知名市场分析机构MT认为，数据备份和恢复市场快速增长的主要驱动因素除了快速增长的数据量之外，还包括企业对卓越运营和数据质量管理的关注日益提升，此外，云端数据备份解决方案的日益普及也是关键因素。

 

对象存储可以说是为备份而量身打造的。其安全、经济、可扩展等特点是备份场景中都需要的，比如Amazon的S3（SimpleStorage Service）以及Azure的Blob。Azure表示，2014年它存储的对象就有大约20万亿个。随着相关技术的推进，对象存储也使得云服务商的云备份服务在灾备环节中表现得更为出色。

 

3、网盘场景

 

在海量存储资源池基础上，使用图形用户界面(GUI)实现对象存储资源的封装，向用户提供网盘产品成为对象存储重要的应用之一。放眼目前市面上的SaaS类的网盘产品很多都是基于对象存储进行搭建。只需在公有云平台上购买LVS、业务服务器、RDS，辅之以先使用后付费的对象存储，那么一套网盘产品的基础架构即可搭建完成。

 

当然，在这个红海市场中，差异化将至关重要，以英方的i2Share为例，依靠英方在字节级实时数据复制和真正CDP数据保护技术，i2Share主打备份与分享合二为一的理念，满足企业用户数据保护与办公场景的具体需求。

 

4、分析场景

 

大数据分析越来越成为一种必需品在，舆情分析、互联网金融风控、BI报表、3D建模……而要做到数据分析首先要解决数据存储调用的问题。

 

对象存储对外提供更抽象的对象接口，而不是SCSI或文件接口。与SAN存储以逻辑扇区为单位的较细粒度的固定IO(512B~4KB)不同，对象存储IO粒度更具弹性，可以支持B（字节）级到TB级范围内的任意大小，使得数据可以灵活分割以供不同业务的使用。

 

未来伴随着产品和市场需求的相互影响，对象存储业务的数据层面与控制平面都还有更为广阔的发展空间，而在产品和需求对应匹配的过程中，对象存储需要更多的前瞻性。最后，祝福每一位从业者，尽快找到你的产品切入点，在起风的时候就做好准备。

 

 

参考内容：

CriticalCapabilities for Object Storage：

https://www.gartner.com/doc/reprints?id=1-4PTQGGY&ct=180129&st=sb

---End---

【编者Peter Ye按】

欢迎SDS、区块链方面的投稿。

下面列出微信公众号-乐生活与爱IT 曾经发表过的，和存储研发相关的文章：

SDS之HCI系列：分布式块存储的研发如何设计元数据服务？

谈谈存储系统开发

一个投资顾问兼研发老兵（RAID调度算法博士）的存储手记

【原创】Linda存储手记之二

【原创】Linda存储手记之三

【原创】Linda存储手记之四：剖析存储性能之延迟

【原创】Linda存储手记之五：说说support那些事

中国HCI市场38家列表 & 【原创】Linda存储手记之六

另外我已经建立了存储研发大拿群，人不要求多，但希望讨论能够深入。要求必须在一线存储研发至少5年以上。可以通过我的QQ号 9269216 来加入到这个微信群里，在QQ里加我为好友时，请告知您的中文姓名，目前所在的公司名称，担任的角色，从哪年到哪年的存储研发经验。越详细越好，越有机会被邀请进入，您将有机会和国内外各路存储研发大拿进行讨论。该微信群从第100人开始，除非我主动邀请，否则新加入的成员按照序号，在微信群里发不少于序号两倍的红包。例如第100个人，需要发200元的红包。这个微信群我会亲自管理，所有人员均由我来邀请，如果群内朋友有其他符合要求的需要推荐，请先和他/她沟通清楚，再将其介绍，以及微信名片发给我。

点击左下角“阅读原文”，可以跳转到一位存储研发老司机分享的文章《SDS之HCI系列：分布式块存储的研发如何设计元数据服务？》