数据架构选型必读：8月数据库产品技术解析

为方便阅读、重点呈现，本期Newsletter（2019年8月）将对各个板块的内容进行精简。需要阅读全文的同学可点击文末 【阅读原文】 或登录链接：https://pan.baidu.com/s/11xrdCR2dj7J1ADV5oW9J0Q进行下载

DB-Engines数据库排行榜

以下取自2019年8月的数据，具体信息可以参考http://db-engines.com/en/ranking/，数据仅供参考。

DB-Engines排名的数据依据5个不同的因素：

• Google以及Bing搜索引擎的关键字搜索数量

• Google Trends的搜索数量

• Indeed网站中的职位搜索量

• LinkedIn中提到关键字的个人资料数

• Stackoverflow上相关的问题和关注者数

新闻快讯

1、2019年5月1日，IBM公司计划斥资340亿美元收购Red Hat的交易即将尘埃落定，Red Hat摈弃了使用了近20年的颇具传奇性的“影子人”（Shadowman）标识，并推出了新标识（如下图所示），寓意“我们真正走出了阴影”。

2、2019年8月6日，Mesosphere更名为Day2IQ，简称D2IQ，业务重心转向Kubernetes和云原生产品，这两项技术在Mesos崭露头角以来的这些年间发展迅猛。

3、2019年8月6日，惠普企业（HPE）表示，它将收购MapR Technologies Inc.的资产，包括MapR的技术、知识产权以及AI和数据管理方面的专长，收购金额未透露。

4、2019年6月4日，CockroachDB官方博客更新了一篇名为《Why We’re Relicensing CockroachDB》的文章指出：CockroachDB核心代码的授权协议将从Apache License version 2 (APL) 变更为Business Source License（BSL）。BSL许可证应用于CockroachDB的核心版本（即目前在Apache 2.0许可证下的代码），这意味着CockroachDB核心不再开源，但完整的源码仍然可用。

CockroachDB将从19.2版本开始重新授权，企业功能继续沿用Cockroach Community License (CCL)，使用企业功能需要与Cockroach Labs签订许可协议，并且此许可证在三年之后不会转换为开源。而之前的版本不受此许可证更改的影响。

RDBMS家族

MySQL发布8.0.17版本

2019年7月22日，MySQL发布8.0.17 版本，是作为一个维护版本发布的，里面除了修复错误之外，还添加了一些新功能。

在这个版本里的内容包括：

1、通过克隆进行部署

• 克隆使用MySQL Shell执行，其过程完全自动化。可以从一个正在运行的服务器克隆其状态给一个新创建的服务器。之前必须使用mysqldump或backup来创建初始状态。使用该功能，假设要将新服务器添加到正在运行的MySQL InnoDB集群，则只需启动新服务器并告诉它加入集群即可。

• 克隆功能包括克隆本地副本、克隆远程副本、克隆远程配置、克隆复制位置信息以及支持克隆加密数据库。

2、多值索引

• 多值索引可以索引JSON数组。多值索引是多个索引记录可以指向同一数据记录的索引。以下面的JSON文档为例：{user: John, user_id: 1, addr: [ {zip:94582} , {zip:94536} ] }。在这里，如果我们想要搜索所有邮政编码，必须在索引中有两个记录，每个对应文档中的每个邮政编码，两个都指向同一个文档。这样的索引是由语句CREATE INDEX zips ON t1((CAST(data-> '$.addr[*].zip'AS UNSIGNED ARRAY)));创建的。实际上，它是一个函数索引，使用CAST()函数将JSON数组转换为SQL类型的数组。一旦创建了多值索引，优化器就会自动使用它，就像任何单值索引一样。

• 多值索引通常用于涉及MEMBER OF（），JSON_CONTAINS（）和JSON_OVERLAPS（）的查询中。JSON_OVERLAPS（）函数是此版本中新增加的JSON功能。MEMBER OF()函数是新添加的标准SQL语法。

此外，还包含如下的变更内容：

• JSON模式；

• 优化器改进；

• Volcano iterator；

• 字符集；

• 复制功能；

• 群组复制；

• MySQL路由器；

• MTR测试套件。

更多详情：

https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-17.htm

MariaDB发布10.4.6版本

2019年6月18日，MariaDB发布了10.4.6版本，是一个GA稳定版。

1、支持对DROP COLUMN删除字段采用ALGORITHM=INSTANT算法

例：alter table t1 drop column name,ALGORITHM=INSTANT；

目前MySQL 8.0.17版本不支持该算法。

2、支持更改字符集utf8->utf8mb4转换采用ALGORITHM=INSTANT算法

例：alter table t1 change name name varchar(100) CHARSET utf8mb4,ALGORITHM=INSTANT；

目前MySQL 8.0.17版本不支持该算法。

3、增加身份验证插件 - Unix Socket

unix_socket认证插件允许用户通过本地Unix套接字文件连接到MariaDB的时候使用操作系统的凭证。

4、mysqladmin shutdown命令增加--wait-for-all-slaves参数，意思为在关闭mysqld进程之前等待最后一个binlog事件发送到所有连接的Slave从库。

例：MariaDB [(none)]> SHUTDOWN  WAIT  FOR  ALL  SLAVES;

Query OK, 0 rows affected (0.000 sec)

PostgreSQL 12发布Beta 3版本

1、PostgreSQL 12 Beta 3新特性

2019年8月8日，PostgreSQL 12发布Beta 3，预计下个季度正式GA，新特性包括：

• 支持AM接口，通过AM接口可以扩展存储、索引接口。例如：支持undo的ZHEAP表存储引擎，以及ZEDSTORE行列混合存储引擎。

• 分区表性能得到巨大提升，相比12以前的版本，在1024个分区的情况下，查询性能提升469倍。

• Include index功能支持btree与GiST接口，在索引的叶子节点可以存储任意其他字段或表达式的附加信息。使得用户可以在表上创建按任意字段组织的索引组织存储结构。并且没有限制，一个表可以同时存在多种存储组织形式。特别适合高频率查询并返回较多记录的物联网，日志feed等场景。

• CTE语法增强，支持了用户自主选择物化与非物化。非物化情况下，优化器支持查询下推，提高性能。

• 支持审计日志采样。

2、PostgreSQL插件动态

1）分布式插件citus发布8.3.2

citus是PostgreSQL的一款sharding插件，目前国内苏宁、铁总、探探有较大量使用案例。

今年年初citus被微软收购，8.3.2为8.3的小版本，主要为性能增强和bug fix。

https://github.com/citusdata/citus

2）地理信息插件postgis 3.0 alpha4发布

PostGIS是专业的时空数据库插件，在测绘、航天、气象、地震、国土资源、地图等时空专业领域应用广泛。同时在互联网行业也得到了对GIS有性能、功能深度要求的客户青睐，比如共享出行、外卖等客户。

3.0有非常多值得期待的改进：

• St_asmvt 性能提升，在SQL查询地图矢量瓦片的应用场景，可以大幅提升性能。

• PostGIS历经了min(x)到z-order到支持hilber geometry sort排序算法的三个阶段，使得GIS的排序更加贴近现实需求。

官网地址：http://postgis.net/ 

3）时序插件timescale发布1.4.1

timescale是PostgreSQL的一款时序数据库插件，在IoT行业中有非常好的应用。github star数目前有7401，是一个非常火爆的插件。

1.4.1的主要功能增强包括：

• 持续聚合功能，类似物化视图，自动刷新新老物化数据；

• 分析语句性能增强；

• 分区排序优化，支持有序的append。

https://github.com/timescale/timescaledb

DB2发布11.5版本

DB2 11.5版本以满足各种业务需求，提供了一个更高效、更易用及更可靠的数据库。在新的版本中，全面的企业安全性、简化的安装和部署、更好的可用性和采用、简化的升级过程、对大型数据库的增强以及对BLU加速的巨大改进是该技术提供的关键好处。具体亮点如下：

1、4K扇区存储支持 

支持使用4KB扇区的存储。

2、通过启用基于主机的防火墙提高了安全性

3、改进CF恢复时间

缩短CF故障恢复时间。

4、SQL插入和更新语句优化

对基于SQL的列表插入和更新语句通过创建编码字典的方式进行了优化。

5、新的监控指标及接口

• 为了确定SQL语句的失败率，现在可以使用mon_get_pkg_u_cache_stmt_table函数监视SQL语句的失败率。

• 对于服务超类级别的工作负载，现在可以检查监控数据，而无需手动聚合服务超类中所有服务子类的数据。

6、自动重新压缩表格功能

如果使用插入操作来填充表，则一旦将行的阈值计数插入到表中，就会自动创建压缩字典。

7、AI功能

DB2 11.5提供了一个基于机器学习的优化器，以实现最佳性能。DB2还可以使用自适应工作负载管理自动管理资源并为其工作负载计划执行。

OceanBase发布2.2.1版本

NoSQL家族

MongoDB发布4.2版本

MongoDB公司在2019年全球用户大会上宣布推出其核心数据库的最新版本 MongoDB 4.2，主要功能包括分布式事务、字段级加密、更新版 Kubernetes Operator 集成等，进一步提升了 MongoDB 支持各种业务场景的能力。

1、分布式事务

MongoDB 在 MongoDB 4.0 版本中引入了多文档 ACID 事务，从而提供跨副本集的一致数据视图，要么全成功或要么全撤销，以维护数据完整性。结合文档模型及其分布式系统架构的强大功能，开发人员可以轻松实现传统应用程序的现代化，并构建新的事务性服务。   

分布式事务保持了与在 MongoDB 4.0 事务相同的语法。相似的语法和快照隔离，让任何具有先前事务经验的开发人员都会觉得使用起来非常熟悉。无论是在副本集中跨文档、集合和数据库执行事务，还是跨分片集群执行事务，API 和语法都是一样的。分片环境下完整的原子性，意味着，如果事务无法在一个分片上提交，它将在所有参与分片上中止。

2、企业级安全新层级

MongoDB 4.2 实行的字段级加密与传统关系数据库中使用的列加密不同，是一种更全面的加密方法。它与数据库完全分离，对服务器透明，在客户端上的 MongoDB 驱动程序中处理。大多数数据库在服务器端处理加密，这意味着即使数据库实例本身并没有客户端访问权限，管理员仍然可以访问数据。字段级加密则彻底改变了这一现状。

MongoDB 字段级加密的优势包括：

• 自动、透明加密：对于大多数数据库读写操作，无需修改即可运行应用程序代码。其他客户端方法要求开发人员修改查询代码，以使用语言 SDK 中的显式加密函数和方法。

• 职责分离：传统上可以访问操作系统、数据库服务器、日志和备份的系统管理员无法读取加密数据，除非明确给予他们客户端访问权限以及解密数据所需的密钥。

• 法规遵从性：有助于遵从 GDPR 等隐私法规中的“被遗忘权”请求。一旦客户密钥被破坏，相关的个人数据就会变得毫无用处。

3、通过单个 Kubernetes 平面实现完全控制

用户可以从单个 Kubernetes 管理 MongoDB 部署。在自我管理的基础架构上（无论是在本地还是在云中），Kubernetes 用户可以使用 MongoDB Enterprise Operator for Kubernetes 和 MongoDB Ops Manager 来自动部署和管理 MongoDB 集群。开发人员可以将 Operator 用于 Kubernetes，或 Red Hat OpenShift、Pivotal Container Service (PKS) 等其他广受欢迎的平台上。

RocksDB发布V6.2.2版本

发布文档详见：https://github.com/facebook/rocksdb/releases/tag/v6.2.2

发布Blog详见：https://rocksdb.org/blog

ArangoDB发布3.5 RC7版本

2019年8月5日，ArangoDB发布了3.5 RC7。ArangoDB 是一个分布式原生的多模型数据库，具有灵活的文档、图形和键值数据模型。使用方便的 SQL 查询语言或 JavaScript 扩展构建高性能应用程序。

此版本最大亮点是引入流事务 API（streaming transactions API），这是一种更简单的使用 ACID 事务的方法，不需要编写任何 JavaScript 代码。

使用新的流事务 API，可以直接使用喜欢的语言对 ArangoDB 进行 BEGIN、COMMIT 与 ABORT（回滚）操作，与使用 RDBMS 类似。事务可以包含一系列受支持的事务操作，后跟 commit 或 abort 命令。这允许客户端以比基于 JavaScript 的事务更有效的方式构建更大的事务。

目前官方推出了此特性的Golang 驱动，其它语言绑定也会陆续到来。

NewSQL家族

TiDB发布3.0 GA版本