40

阿里云峰会 | 数据库也能自动驾驶?DAS全天候给你保驾护航!

 3 years ago
source link: http://mp.weixin.qq.com/s?__biz=MzI0NTE4NjA0OQ%3D%3D&%3Bmid=2658365699&%3Bidx=2&%3Bsn=99614db66e8c6301d6135f5124b68a42
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

2020年6月9日,“全速重构”2020阿里云·线上峰会即将隆重召开。

在此次峰会上,阿里云数据库重磅发布云原生分布式数据库 PolarDB-X 、云原生数据仓库AnalyticDB、数据库自治服务DAS、云数据库专属集群、图数据库GDB、云数据库Cassandra版、云数据库ClickHouse 7款跨时代产品,用技术倾情打造新数字时代的基石!


今天小编为大家倾情呈现全球首个数据库自动驾驶云平台DAS产品亮点!

过去10年,数据库上云俨然已成共识,云数据库相较于传统线下数据库,解决了资源、弹性、高可用、备份、监控等基本DB运维负担。但如何用好数据库,如何对数据库进行快速诊断和持续优化,对一般应用开发者而言,依然充满挑战。

阿里云基于阿里巴巴自身数据库规模化运维的专家经验,结合人工智能和机器学习技术,实现自感知、自诊断、自修复和自安全的数据库自动驾驶能力,今天依托于阿里云平台,推出数据库自治服务,正式向云上客户开放。

DAS是业界首次以独立云服务的方式实现数据库自治能力,推出六大核心自治特性,覆盖支持包括OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB)等各类数据库引擎,并支持混合云、SQL审计和风险识别等企业级数据库运维特性,为客户数据库的稳定安全提供全方位保驾护航。


基于数据驱动、专家经验和机器学习,从异常发现、根因分析、执行修复/优化操作、跟踪评估、反馈实现全流程闭环,无需人工干预,实现数据库的自治,保障数据库持续稳定、高效运行。

DAS 具备 6大核心自治特性

7 x 24实时异常检测 :通过机器学习算法,实时对数据库的Workload进行异常检测,相比基于阈值的告警方式,能够更及时的发现数据库的异常,而不是靠故障驱动;

异常自愈 :DAS发现异常后,自动进行根因分析,定位到问题后,自动执行相关止损/修复/优化操作,帮助数据库自动恢复,减少对企业业务的影响;

自动优化 :基于全局workload和真实的业务场景,而不是基于单条SQL,持续的对数据库进行SQL Review和优化,就像有一个不知疲倦的专业DBA一直在守护着您的数据库;

智能调参 :数据库的参数成百上千,用户的业务场景多种多样,靠人肉的方式无法将参数调整为最优的配置,DAS和达摩院合作,通过基于机器学习技术,和智能压测相结合,可以为每个数据库实例的自动推荐最优的参数模版;

AutoScale :基于机器学习,自动对数据库的业务模型、容量水位进行计算和预测,实现先知先觉式的自动扩缩容。

智能压测 :为用户提供个性化的压测服务,DAS可以自动学习业务模型,自动生成无限多的接近真实业务的workload,同时提供给用户更丰富的压测场景,帮助用户解决大促、数据库选型等等问题。

和自动驾驶一样,数据库自治服务,也不是一蹴而就的,我们将数据库的自治能力划分为5层:

  • Level-0:全部靠人肉,没有任何工具/产品辅助

  • Level-1:提供基础监控、告警等信息,不输出任何建议;

  • Level-2:在某些场景下,能够输出诊断或者优化建议,但是建议是否采纳和应用,还是由人来决策,例如SQL诊断引擎

  • Level-3:在某些场景下,实现完全的自治,无需人参与,例如自动SQL限流、自动弹性伸缩

  • Level-4:实现数据库的完全自动驾驶,目前DAS正在努力做到Level-4的过程中。

为了实现数据库自治服务,我们已经实践了6年。

从2014年开始,我们开始尝试如何将DBA的经验转换成产品,为业务开发提供更高效,更智能的数据库服务。我们就构建了基于规则的SQL诊断引擎,即输入一条或者多条SQL后,SQL诊断引擎会直接输出优化建议;

2016年,CloudDBA的web版发布,同时也升级了SQL诊断引擎,在这个阶段用户可以直接在阿里云上通过C loudDBA直观的查看数据库的负载,同时进行SQL诊断和优化。

2018年我们通过在阿里巴巴的业务和场景,开始孵化和锤炼数据库自治能力,

通过Self-driving Database Platform,截止到2020年4月已经自动优化了4200万+的SQL、自动回收了超过4 PB的空间、自动优化了 27 TB的内存。

2019年11月,为了更好的服务客户,我们将混合云数据库管理HDM+ CloudDBA+自治的能力,升级为数据库自治服务DAS。

DAS 在4个方面取得了核心创新和突破:

首个全局综合自治引擎 :基于根因分析以及实例全维度聚合信息,进行集中决策,冲突解决,专项自治场景决策分发,在多自治场景下实现综合自治。

首个外置式Cost-based SQL诊断 :基于代价的诊断引擎,一套独立于数据库之外的优化器,并以自适应的统计信息收集机制,基于执行计划的代价评估,实现SQL精确诊断与优化建议输出。

基于Workload全局SQL优化技术 :以Workload负载为优化单位,综合考虑Workload中影响整体性能的特征,如SQL执行消耗资源占比、读写比等,进行整体优化,实现负载整体性能最大化提升同时,最大化降低空间消耗。

基于机器学习的Workload异常发现与预测:基于机器的Workload异常发现,自动感知引发Workload变化的异常SQL,自动触发全局优化,变被动式优化为即时主动式全局优化。

和达摩院的相关的研究成果,也取得了国际学术界的认可:

  • 2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》

  • 2019年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》

  • 2020年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》

通过DAS,可以帮助企业节省90%的数据库管理成本,降低80%的运维风险,让用户可以更集中在业务创新,让业务持续行驶在快车道上。

M7nAzyj.png!web

 动动小手指 了解更多详情 !

R3Ufaay.gif


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK