28

偶数科技构建新一代数据仓库,与AI应用场景更契合

 5 years ago
source link: http://ai.51cto.com/art/201807/578373.htm?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

【51CTO.com原创稿件】现如今的信息化社会,已经被各类信息资源所充斥,如何有效地管理和利用各类信息资源,是进行科学研究和决策管理的前提条件,数据处理是管理信息系统必不可少的核心部分。从人工管理阶段到文件系统阶段再到现在的数据库系统阶段,数据处理在近几十年经历了质的飞跃。

偶数科技CEO常雷近日接受51CTO的专访时表示,新一代的数据库应该与AI大脑层面相对应,更契合人工智能应用场景。所以,偶数科技抓住了这个契机,开始研发基于HAWQ的第四代数据仓库,并且拿到了由红点和红杉领投的天使轮和A轮两轮融资。

数据库的演变

谈新一代数据库之前,我们先来看看数据库的演变。从数据库系统的研究、开发到现在,历经了几十年的时间,从最开始的第一代共享存储型数据库,第二代MPP型数据库,再到第三代采用存储与计算分离架构的数据库共经历了三次演变。

·共享存储型数据库,为节省资源、降低开发者成本,出现了共享存储型数据库,数据存储在高端共享存储中。传统的Oracle数据库等属于共享存储型数据库,也是最早的交易型数据库。这种类型的数据库在节点数多时存储会成为瓶颈。

·MPP型数据库,是目前大量公司在使用的数据库,包括Teradata和Vertica等。因为操作系统和文件系统等底层基础不是很成熟,Teradata使用的是专有硬件,主攻软硬件一体机,并且更改了大量的操作系统以及文件系统代码。2000年左右出现了基于x86架构的MPP型数据库,包括Vertica,Greenplum等。这些基于x86架构的MPP型数据库使用的是普通服务器,没有专有硬件做支持,软件架构方面还是和Teradata类似。

·存储与计算分离架构数据库,这类数据库典型的代表有HAWQ和Hive等。第三代数据仓库的优点是可扩展性好,但是大部分引擎比如Hive等性能较差,兼容性不是很好,所以客户用起来很困难。

人工智能场景下, 基于HAWQ的新一代分析型数据库

常雷表示,二十世纪九十年代前后,数据处理不仅仅局限于存储和管理数据,而是着眼于用户所需要的各种数据处理方式。分析数据库是面向分析应用的数据库,可以对数据进行在线统计、在线分析、随即查询等发掘信息数据价值的工作,在处理海量数据方面有一定的优势。但在人工智能场景中,大多分析型数据库还是略显吃力,迭代创新迫在眉睫。由偶数科技打造的基于HAWQ的Oushu Database专为人工智能海量数据处理上拥有得天独厚的优势。

V7Nb22N.png!web

新一代分析型数据库解决不同领域数据处理瓶颈

随着大数据和人工智能应用的层出不穷,对新一代数据库的海量数据处理能力以及分析能力提出了更高的要求。金融、安防、制造业等等,各个行业对数据库性能提升都有非常迫切的需求,第四代分析型数据库的诞生解决了这个需求。

在人工智能的应用场景下,如安防领域,新一代数据库可以通过图像识别、人脸识别可以进行更深层面的认知和推理;在人员身份的识别、人类轨迹分析等方面,可对视频、图片、电子车牌等不同种类的数据进行分析、碰撞、发现潜在联系,抽取有价值的信息,对可疑行为发出预警,并且对案件进行关联,协助提高公安部门案件的侦破效率。

针对实时数据等实际案例,如企业内部百万级别到千万级别的实时物联网传感器数据,第四代数据库摒弃了繁琐的Storm等方案,解决了大量编程和不能够完全适应物联网传感器数据的问题。

另外,新一代数据仓库也解决了全球规模部署需求。现如今任何一个核心应用都离不开数据分析和人工智能,比如传统银行的交易系统和信用卡反欺诈系统,在数据仓库实现两地三中心和异地多活方面,对管理PB级数据的数据仓库系统是很大的挑战。

新一代分析型数据库的应用场景

常雷认为,现在的数据库应用需求发生了巨大的变化,这也正好说明了数据库市场将会发生一个巨大的变革契机。偶数科技在这个契机点推出了两款核心产品Oushu Database和LittleBoy,Oushu Database基于Apache HAWQ,LittleBoy是一款人工智能产品,和Oushu Database无缝集成。可以应用到金融领域、税务数据、公检法数据、电网数据等数据庞大的领域。

金融领域涉及到企业到银行贷款的传统业务,银行首先要对企业做尽职调查和审查,然后再通过评委会进行评估,这些审核过程需要全人工操作;如果涉及到个人贷款和小微企业贷款业务,可以对借贷人信息进行自动审核,因为借贷人的信息相对来说比较容易获取;如果涉及到公司业务,那么就会涉及到庞杂的数据,银行需要把所有的内部数据和外部数据集中起来,然后按照主题等对内部数据先进行整合,再集成外部数据集。偶数科技利用数据存储、管理、分析以及人工智能算法建模,可以轻而易举的帮助客户构建模型流程以及模型的管理和上线,不再需要以前繁杂的审核过程,大大缩短了审核时间。

采访的最后,常雷表示:“微软加速器对偶数科技帮助很大。一方面,研发上微软加速器和偶数科技已经达成了一些合作,偶数科技已经将产品移植到微软加速器的Azure公有云上;另一方面,微软加速器引荐了很多不同行业的客户资源,并且在管理、财务、招聘、PR 等方面的培训也对偶数科技进行了指导。”


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK