京东618千亿的秘密 | 全球最大规模Kubernetes生产集群

德国输了，巴西平了，媳妇儿的购物车满了，天台都快站不下了！

公元 2018年6月19日凌晨，京东公布交易额，从2018年6月1日0点到6月18日24点，累计下单金额达1592亿元，其中出库订单金额同比增长超过37%，电脑数码品类一分钟销量高达十万件！

近来京东可谓好事连连。据官方消息，京东和 Google 达成战略合作，Google 以5.5亿美元投资京东。

当我们在狂欢时，是什么在背后默默的支撑着我们每一次点击？如此大规模的交易量，这得需要多大的数据中心？多少服务器呀？

或者说，京东是如何撬动数据中心的？

厉害之处在于，京东相关IT系统早就不是基于数据中心的物理服务器啦，而是基于 Docker。更进一步说，是基于 Docker 的 Kubernetes 集群。

而且，是目前全球较大规模的 Kubernetes 集群！（根据 CNCF官方近期统计数据）

那么，京东是如何运营全球较大规模 Kubernetes 集群实践？

小编偷来了京东商城基础架构部技术总监鲍永成老师的PPT，和您一起先睹为快！

京东数据中心集群管理发展历程

早在2014年，京东就率先将 Docker 容器技术大规模应用至生产环境，和大多数刚开始实践容器技术的团队一样，京东也是从 Container as VM 做起。

在2016年初开始实践 Kubernetes，在2017年初基于 Vitess 构建起弹性数据库，并且自研京东“阿基米德”调度系统。

京东商城基础架构团队持续建设“阿基米德”平台，作为支撑京东万亿 GMV 的技术基础设施，阿基米德由大规模容器集群调度、数据库与存储技术平台、组件化微服务平台、商品图片技术平台、异地多活与智能运维、边缘计算平台构成。其中容器技术是所有平台服务的基石。

在此过程中，采用容器较大化资源利用，节省数据中心数亿元采购成本。大促之前加机器的历史一去不复返。

京东的容器生态

2014年，京东基于 OpenStack 深度定制，研发出京东的分布式数据中心操作系统 JDOS 1.0 。后来随着业务和系统的不断增长，开始基于容器技术研发新一代容器引擎平台 JDOS 2.0。JDOS 从基础设施升级为应用平台。

2.0 推进了业务从源码到编译打包构建镜像到上线的全流程，建设了一站式应用运行平台，并研发大量子项目，从而构建起京东的容器生态：阿基米德（撬动数据中心的人）。

京东基础架构团队也开放出很多的容器开源项目：http://github.com/tiglabs/

容器生态架构图

Kubernetes 基于 Google 的 Borg 调度系统进行设计与研发，目前已经成为事实上的开源容器编排标准，但是开源软件要考虑多方面的需求，就必然走向复杂，要在生产环境中应用，必须要化繁为简，进行重构。

运营力量：全球较大规模的 Kubernetes 集群的运营秘密

针对 Kubernetes 集群的日常运维，主要围绕上线过程、巡检、监控预警、事件管理来进行。

除了集群的日常运维以外，对整个 Kubernetes 集群的可视化是运营中非常重要的部分。包括集群的实时状态、各个组件的响应情况等。

达则兼济天下

经过多年的历练和沉淀，2018 年 4 月，京东宣布加入 CNCF 云原生计算基金会 （Cloud Native Computing Foundation CNCF），成为较高等级的白金会员。

同时，京东作为容器技术（Containers）较佳实践者，京东商城首席架构师、基础架构部负责人刘海锋先生受邀进入 CNCF 全球理事会，共同推进该组织及其旗下开源技术的发展与应用。

在到京东交流后，CNCF 基金会官方确认，京东目前运营着全球较大规模的Docker 集群、Kubernetes 集群，以及最复杂的 Vitess 集群之一，基本实现了“All in Containers”，是目前全球容器化最彻底的互联网企业之一。京东也成为 CNCF 开源项目较大的使用者与贡献者之一。

这些内容还不过瘾？京东商城基础架构部技术总监鲍永成同学为您提供了更多内容，详见如下。

识别下图二维码，加数盟社区“”为好友，回复暗号“入群”，加入数盟社区交流群，群内持续有干货分享~~

本周干货内容：Deep Reinforcement Learning What is Next in AI

媒体合作请联系：

邮箱：[email protected]