4
Tapdata 实时数据融合平台解决方案（一）：现代企业数据架构及痛点
source link: https://my.oschina.net/u/5023451/blog/5069721
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
作者介绍： TJ，唐建法，Tapdata 钛铂数据 CTO，MongoDB中文社区主席，原MongoDB大中华区首席架构师，极客时间MongoDB视频课程讲师。
“怎样可以来搭建一个数据中台？” 身处数据处理行业，经常被客户问到这样的问题。
数据中台到底是什么，是产品、技术还是一个架构……，
在关于数据中台的概念铺天盖地的时候，我们来聊一聊数据中台的架构，技术上实现，以及如何在企业落地，实实在在解决问题。
一、现代企业数据架构及痛点
– 数据孤岛：低效率和利用困难的根源
– 应用瓶颈：传统方案数据仓库、数据湖的不足
我们先以航空公司的场景为例：
航空公司的市场部计划推出一个新产品或者是一个客户活动，会希望了解哪一种渠道是某类客户最常用的？当想到这个问题的时候，发现航空公司的客户触点太多了。
PSDP行程订单，投诉、行李系统，常旅客系统，手机App系统等等。这些系统都是航空公司在不同阶段，不同的业务部门建立的应用。这些应用在部署时只会以本业务为目标，而不会考虑到企业其他业务能够很好的对接。如果这些应用中的数据没有做到统一的话，那要花费数天或者数周才能得到结果，甚至都不知道哪里能够拿到数据。有时就算知道，还要协调其他业务部门来正确地给到。
再来看一个保单贷小程序的案例。
当客户通过这个保单贷小程序申请现金贷的时候，如果客户在保险公司中已购买过重疾险、人寿险或财产险，系统可以根据客户的保单额，在一分钟内判断出提供给客户适合类型的现金贷。
在上线的时候发现，这个保单贷小程序很快开发好了，但是数据在人寿、重疾、财险等不同的系统里面，有些还需要推荐系统和标签系统。所以要花很多的时间来做数据的对接，这个时间是数周、甚至数月。因为其中不只是数据问题，还涉及到权限等问题。
以上的情形都是企业中常见的数据孤岛的问题，而且随时 IT 建设的发展，这个问题会原来越常见。
数据孤岛成因，是由于事业部门在建设 IT 服务的时候，分别以各自业务建设为核心，而不是以数据建设为目标而形成的。
其次，常用的数据库如Oracle, SQLServer, DB2, Sybase，这些关系型数据库一直以来存在性能扩展的瓶颈。导致在上大的系统，或者客户量增加时，需要采用分库分表的方式。因为单个库没有办法支撑到太多的业务量。这也形成了大量数据孤岛。
数据孤岛带来的影响严重阻碍了新业务对已有数据的重复利用:
- 需要大量时间对接和同步；
- 用户体验下降，数据不完整不实时；
- 重复建设，复用率低等。
为了解决数据孤岛的问题， 目前的解决方案，有应用层面 ESB 企业总线、MQ等；从存储角度来说，有数仓Teradata，Greenplum，以及数据湖。这些方案都可以在一定层面上解决问题，但是存在局限性：
首先，这些方案都是面向分析场景，对于数据抽取不及时，多数是 T+1 方式，也就是说业务获取的数据，是系统昨天生产出来的。这些数据在数仓及数据湖中处理形成了大量报表及结果数据，通过下载、导出等方式进行交付，形式粗放。所有目前市面上的大数据平台，大部分的场景是偏重于分析，主要用于做BI，做报表、Dashboard，来对企业的运营和客户有所洞察。
而对于企业运营来说，关键的、核心的能力不是后端的分析，而是在前端与客户交互，与业务交互，与流程交互。
基于上述情况，数据中台应运而生。
Tapdata 钛铂数据
新一代实时数据融合平台产品和解决方案提供商
行业领先的同异构数据库实时同步解决方案提供商
联系我们获取企业版 Demo：[email protected]
立即体验线上异构数据库同步服务：cloud.tapdata.net
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK