0

运维大规模ES集群的思考和实践

 1周前 阅读数 1
以下为 快照 页面,建议前往来源网站查看,会有更好的阅读体验。
原文链接: https://mp.weixin.qq.com/s?__biz=MzU1OTgxMTg2Nw%3D%3D&%3Bmid=2247497698&%3Bidx=1&%3Bsn=8d2fdf2345844065bed69b5cbeac0812

r2yuyuQ.png!mobile

Elasticsearch是 一个分布式、RESTful风格的搜索和数据分析引擎。 在开源搜索领域已经遥遥领先其他产品。随着近年来ES的快速发展,ES已经逐步从单一搜索引擎进化成一个全能型的数据产品。在日志监控,全文检索,数据库加速,大数据分析等很多领域得到广泛应用。

VvUjaqy.png!mobile

▲数据库引擎排名,数据来源:https://db-engines.com/en/ranking▲

京东智联云ES支撑了公有云,私有云和京东集团内部的大量ES集群。京东商城,京东物流,京东金融等各个业务领域都对ES服务有很大量的需求。目前已使用数十万核,上万个节点,数十万亿个文档。

如何利用云厂商的优势,高效,可靠,稳定的运维如此大规模的ES集群是我们需要思考和解决的问题。下面我将从几个维度介绍我们的思考和实践。

fimu2mn.jpg!mobile

京东智联云ES产品能力

qU3mayy.png!mobile

云厂商相较于用户自建最大的优势在于弹性。弹性给用户带来的不仅仅是方便易用,还有降低成本。京东智联云ES依托于云舰的服务编排能力,能够达到快速,灵活的部署集群,支持对集群水平扩缩,垂直变配,存储扩容等弹性能力。另外京东智联云ES还提供了 云硬盘 本地盘 对象存储 多种存储方式,满足不同场景下的用户需求。

另外服务编排还提供了 故障自愈能力 。物理机故障场景,会自动将故障机器上的es节点failover到其他节点;es节点故障场景,会自动尝试重启es节点如果仍然无法恢复则会迁移es节点到其他物理机节点。

MBRjQjU.png!mobile

quiMrq7.jpg!mobile

京东智联云ES运维能力

1

监控警告

如此大规模的集群,需要全局和指标丰富的运维监控系统,来保障系统运维的可视化。通过我们的运维经验积累,京东智联云的运维监控系统,已经能够实时的发现异常集群,并能够通过各个监控指标分析发现问题的原因。

Z3Mbqmv.png!mobile

京东智联云ES运维监控系统

2

多版本支持

ES版本特别多,由于历史原因很多旧系统很难升级,且不同用户上云对版本需求差异较大,所以需要支持很多不同的版本。目前支持的大版本有2.x,5.x,6.x,7.x。多版本的管理复用同一套编排管理系统,能够快速支持新es版本上线。

3

性能优化

ES的特点是开箱即用,但ES可配置项非常多,对于不同的业务场景和需求,集群需要不同的调优配置,非专业用户往往很难使用的非常合理。下面列举一些常见问题:

NZvYNvi.jpg!mobile

4

数据迁移

越来越多用户开始使用云ES,但在上云过程中面临的第一个障碍是:对于用户已经有自建的ES集群或者其他云厂商的托管ES集群的情况下,如何能够将这些原集群数据迁移到京东智联云ES呢?基于此,京东智联云提供了ES迁移上云解决方案,并根据不同场景提供了在线和离线等多种迁移方案。用户可以根据自己的实际场景,选择适合自己的方案进行迁移上云。

6vYrYva.png!mobile

5

索引生命周期管理

索引生命周期管理是用户很常用的一个管理功能。按天或月周期创建索引,保留一定时间后删除过期索引,永久保留指定时间的索引(例如大促期间的索引)。ES从6.6版本在x-pack中开始支持索引生命周期管理功能的测试版本,但低版本不支持该功能。京东智联云ES将该功能拓展到所有ES版本并提供UI化设置,比通过原生kibana配置或者API配置更加简单实用。

NzARV3f.png!mobile

6

探索智能化运维

探索智能化运维, 我们的运维知识和经验产品化提供给用户,根据用户的业务场景,综合各项监控指标,给出集群的健康状况和解决建议。例如节点负载不均,分片设置不合理,堆内存占用太高,GC时间太长,filedata占比太高,集群负载较高,分片数量太大,写入或者查询线程池队列有堆积或者reject,集群的读写流量异常波动等。

VbuaIfa.png!mobile

7

监控指标数据自治系统

自动化运维或者自治运维是终极目标, 随着智能化运维能力的提高,通过监控指标数据自治系统就能够自主得出决策并执行,完全不需要人工介入。

yiQr63a.png!mobile

IRb2Y3.png!mobile

ES的应用场景主要涉及日志检索,数据库加速,监控指标,数据分析等领域。不同的业务场景具有不同的特点,对性能的需求也不尽相同,所以需要针对不同场景有不同的优化方案。

1. 日志检索场景, 并发写入量大,实时性要求不高,存储量大,数据有冷热属性。针对这种场景可以提高索引写入缓存大小来提升写入性能;增加refresh interval时间间隔来减少segment数量;将translog.durability使用HDD来降低存储成本。

2. 数据库加速场景, 对于没有事务性要求,且需要检索海量数据的结构化查询场景,ES是替代关系型数据库的不错选择。京东主要应用的业务有商品,优惠券,订单,对账,物流等。此场景的特点是延迟敏感,需要高性能,高可用。

3. 监控指标, 并发写入量大,时序特性,不需要高可用,数据有冷热属性。

4. 数据分析场景, 数据分析维度较多,聚合查询。写入量大,查询量小,但需要聚合查询。京东主要应用的业务有订单交易分析,用户画像等。

uiI7ZrF.png!mobile

专业的人做专业的事,托管ES产品 第一步解决了用户自己搭建集群, 管理集群的效率和成本问题,但用户仍然需要了解ES的原理知识,调优知识,索引配置,集群配置,分片设置等等和业务无直接关系的知识,使用好ES仍然需要很高的门槛。所以托管ES产品的 第二步就是服务化, 用户只需要提出业务的需求,不用再关心服务后面ES集群的参数。例如用户从自身的业务场景入手,提供写入查询性能指标的期望,另外用户只需要定义索引的mapping,不需要关心索引的settings,分片数量等配置信息。从集群的规格配置到索引的合理设置都由后台自动设置和优化。

VVNvUjM.png!mobile

给用户提供简单可靠的产品是我们的终极目标。所以未来我们会从两个方面提升优化我们的产品,一是从用户的角度对外呈现产品形态,通过产品服务化更贴近用户的使用习惯,降低用户使用门槛,提供更加简单且实用的使用方式。二是从运维的角度增强后台的自治运维能力,包括智能检测和修复能力,故障自愈能力,自动弹性能力,数据配置托管能力等,做到从托管产品变成托管服务。

RjaQ7v7.png!mobile

qQjaEjn.png!mobile

32aiymZ.png!mobile

RRreeiJ.png!mobile

JZ7v63Q.gif!mobile

aeiYvuy.gif!mobile


猜你喜欢

关于极客头条


聚合每日国内外有价值,有趣的链接。

AD