6

三种常用的 Elasticsearch 数据迁移方案

 2 years ago
source link: https://www.51cto.com/article/704537.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

c40f79826d8eca82322850ba715b344a2424fb.jpg

如果准备将自建的 elasticsearch 迁移上云，或者的迁移到其他es集群内，可以根据自己的业务需要选择合适的迁移方案。​​如果业务可以停服或者可以暂停写操作​​，可以使用以下几种方式进行数据迁移：

  • COS 快照,即​​Cloud Object Storage​​
  • logstash
  • elasticsearch-dump

各种迁移方式的对比如下：

COS 快照

​​数据量大​​​的场景（GB、TB、PB 级别）对​​迁移速度要求较高​​的场景

logstash

​​迁移全量​​​或​​增量数据​​，且对实时性要求不高的场景需要对迁移的数据通过 es query 进行简单的过滤的场景需要对迁移的数据进行复杂的过滤或处理的场景版本跨度较大的数据迁移场景，如 5.x 版本迁移到 6.x 版本或 7.x 版本

elasticsearch-dump

​​数据量较小​​的场景

一、COS 快照

基于 COS 快照的迁移方式是使用 ES 的 ​​snapshot api​​ 接口进行迁移，基本原理就是从源 ES 集群创建索引快照，然后在目标 ES 集群中进行恢复。通过 snapshot 方式进行数据迁移时，特别需要注意 ES 的版本问题：

目标 ES 集群的主版本号（如5.6.4中的5为主版本号）要大于等于源 ES 集群的主版本号。
1.x 版本的集群创建的快照不能在 5.x 版本中恢复。

在源 ES 集群中创建 repository

创建快照前必须先创建 repository 仓库，一个 repository 仓库可以包含多份快照文件，repository 主要有以下几种类型。

  • ​​fs​​：共享文件系统，将快照文件存放于文件系统中。
  • ​​url​​：指定文件系统的 URL 路径，支持协议：http、https、ftp、file、jar。
  • ​​s3​​：AWS S3 对象存储,快照存放于 S3 中，以插件形式支持，安装该插件请参考 repository-s3[1]。
  • ​​hdfs​​：快照存放于 hdfs 中，以插件形式支持，安装该插件请参考 repository-hdfs[2]。
  • ​​cos​​：快照存放于腾讯云COS对象存储中，以插件形式支持，安装该插件请参考 cos-repository[3]。

如果需要从自建 ES 集群迁移至腾讯云的 ES 集群，可以直接使用 COS 类型仓库。但需要先在自建 ES 集群上安装 cos-repository 插件（安装插件后需要重启集群才能使用），先把自建 ES 集群中的数据先备份到 COS，然后在腾讯云上的 ES 集群中恢复出来，以完成数据的迁移。

如果自建 ES 的集群不方便安装 cos-repository 插件，但是已经安装 repository-s3 或者 repository-hdfs 插件，则可以先把数据备份到 S3 或者 HDFS 中，然后把 S3 或者 HDFS 中备份好的文件上传到腾讯云 COS 中，之后在腾讯云上的集群中进行恢复。

通过 COS 快照进行数据迁移时，需要先创建 COS 仓库，您可以通过如下命令创建仓库：

PUT _snapshot/my_cos_backup
{
    "type": "cos",
    "settings": {
        "app_id": "xxxxxxx",
        "access_key_id": "xxxxxx",
        "access_key_secret": "xxxxxxx",
        "bucket": "xxxxxx",
        "region": "ap-guangzhou",
        "compress": true,
        "chunk_size": "500mb",
        "base_path": "/"
    }
}
  • app_id：腾讯云账号 APPID。
  • access_key_id：腾讯云 API 密钥 SecretId。
  • access_key_secret：腾讯云 API 密钥 SecretKey。
  • bucket：COS Bucket 名字，不带 appId 后缀的 bucket 名。
  • region：COS Bucket 地域，必须与 ES 集群同地域。
  • base_path：备份目录。

在源 ES 集群中创建 snapshot

调用 snapshot api 创建快照以备份索引数据，创建快照时可以指定只对部分索引进行备份，也可以备份所有的索引，具体的 api 接口参数可以查阅 官方文档。

备份所有索引

将源 ES 集群中的所有索引备份到 ​​my_cos_backup​​​ 仓库下，并命名为 ​​snapshot_1​​：

PUT _snapshot/my_cos_backup/snapshot_1

这个命令会立刻返回，并在后台异步执行直到结束。如果希望创建快照命令阻塞执行，可以添加 ​​wait_for_completion​​ 参数：

PUT _snapshot/my_cos_backup/snapshot_1?wait_for_completion=true

命令执行的时间与索引大小相关。

备份指定索引

您可以在创建快照的时候指定要备份的索引：

PUT _snapshot/my_cos_backup/snapshot_2
{
    "indices": "index_1,index_2"
}

参数 indices 的值为多个索引的时候，需要用​​,​​隔开且不能有空格。

查看快照状态

通过以下命令检查快照是否备份完成，返回结果中的​​state​​​字段为​​SUCCESS​​则说明快照已经备份成功：

GET _snapshot/my_cos_backup/snapshot_1

在目标 ES 集群中创建 repository

在目标 ES 集群中创建仓库和在源 ES 集群中创建仓库完全相同。

从快照恢复

将快照中备份的所有索引都恢复到 ES 集群中：

POST _snapshot/my_cos_backup/snapshot_1/_restore

如果 snapshot_1 包括5个索引，则这5个索引都会被恢复到 ES 集群中。您还可以使用附加的选项对索引进行重命名。该选项允许您通过模式匹配索引名称，并通过恢复进程提供一个新名称。如果您想在不替换现有数据的前提下，恢复旧数据来验证内容或进行其他操作，则可以使用该选项。从快照里恢复单个索引并提供一个替换的名称：

POST /_snapshot/my_cos_backup/snapshot_1/_restore
{
    "indices": "index_1",
    "rename_pattern": "index_(.+)",
    "rename_replacement": "restored_index_$1"
}
  • indices：只恢复 index_1 索引，忽略快照中存在的其他索引。
  • rename_pattern：查找所提供的模式能匹配上的正在恢复的索引。
  • rename_replacement：将匹配的索引重命名成替代的模式。

查看索引恢复状态

您可以通过调用 ​​_recovery​​ API，查看指定索引恢复的进度：

GET index_1/_recovery

另外可以通过调用以下 API，查看指定索引的状态，返回结果中 ​​status​​​ 为 ​​green​​，则说明索引已经完全恢复：

GET _cluster/health/index_1

二、logstash

logstash 支持从一个 ES 集群中读取数据然后写入到另一个 ES 集群，因此可以使用 logstash 进行数据迁移，使用 logstash 进行迁移前，需要注意以下几点：

  • 需要在和腾讯云上的 ES 集群相同的 VPC 下创建 CVM，部署 logstash，同时保证该 CVM 能够访问到源 ES 集群。
  • 用于部署 logstash 的 CVM 最好选择比较高的配置，例如 CPU 为16核，内存为32GB。
  • logstash 应该和目标 ES 集群的主版本号相同，例如目标 ES 集群为6.8.2版本，则 logstash 也需要使用6.8版本。
  • 需要特别注意索引 type 的问题，因为 ES 的不同版本对索引 type 的约束不同，跨大版本迁移 ES 集群时可能出现因为索引的 type 而导致写入目标集群失败等的问题。具体可参考 logstash-output-elasticsearch 插件中对 ​​document_type​​ 参数的说明。

一个常用的使用 logstash 进行跨集群数据迁移的配置文件如下：

input {
    elasticsearch {
        hosts => "1.1.1.1:9200"
        index => "*"
        docinfo => true
        size => 5000
        scroll => "5m"
      }
}

output {
    elasticsearch {
        hosts => ["http://2.2.2.2:9200"]
        user => "elastic"
        password => "your_password"
        index => "%{[@metadata][_index]}"
        document_type => "%{[@metadata][_type]}"
        document_id => "%{[@metadata][_id]}"
    }
}

上述配置文件将源 ES 集群的所有索引同步到目标集群中，同时也可以设置只同步指定的索引，利用 logstash 进行迁移的更多功能可查阅 logstash-input-elasticsearch 和 logstash-output-elasticsearch[4]。

三、elasticsearch-dump

elasticsearch-dump 是一款开源的 ES 数据迁移工具，github 地址[5]。

  1. 安装 elasticsearch-dump

    elasticsearch-dump 使用 node.js 开发，可使用 npm 包管理工具直接安装：

    npm install elasticdump -g

  2. 主要参数说明

    --input: 源地址，可为 ES 集群 URL、文件或 stdin,可指定索引，格式为：{protocol}://{host}:{port}/{index}
--input-index: 源 ES 集群中的索引
--output: 目标地址，可为 ES 集群地址 URL、文件或 stdout，可指定索引，格式为：{protocol}://{host}:{port}/{index}
--output-index: 目标 ES 集群的索引
--type: 迁移类型，默认为 data，表明只迁移数据，可选 settings, analyzer, data, mapping, alias

  3. 如果集群有安全认证，可以参照下面的方法使用 reindex 集群鉴权。在对应的 http 后面，添加 user:password@ 参考样例 ​​elasticsearch-dump --input=http://192.168.1.2:9200/my_index --output=http://user:[email protected]:9200/my_index --type=data​​。

  4. 迁移单个索引

    以下操作通过 elasticdump 命令将集群172.16.0.39中的 companydatabase 索引迁移至集群172.16.0.20。

    第一条命令先将索引的 settings 先迁移，如果直接迁移 mapping 或者 data 将失去原有集群中索引的配置信息如分片数量和副本数量等，当然也可以直接在目标集群中将索引创建完毕后再同步 mapping 与 data。

    elasticdump --input=http://172.16.0.39:9200/companydatabase --output=http://172.16.0.20:9200/companydatabase --type=settings
elasticdump --input=http://172.16.0.39:9200/companydatabase --output=http://172.16.0.20:9200/companydatabase --type=mapping
elasticdump --input=http://172.16.0.39:9200/companydatabase --output=http://172.16.0.20:9200/companydatabase --type=data

  5. 迁移所有索引

    以下操作通过 elasticdump 命令将集群172.16.0.39中的所有索引迁移至集群172.16.0.20。

    此操作并不能迁移索引的配置，例如分片数量和副本数量，必须对每个索引单独进行配置的迁移，或者直接在目标集群中将索引创建完毕后再迁移数据。

    elasticdump --input=http://172.16.0.39:9200 --output=http://172.16.0.20:9200
  1. elasticsearch-dump 和 logstash 做跨集群数据迁移时，都要求用于执行迁移任务的机器可以同时访问到两个集群，因为网络无法连通的情况下就无法实现迁移。而使用 snapshot 的方式则没有这个限制，因为 snapshot 方式是完全离线的。因此 elasticsearch-dump 和 logstash 迁移方式更适合于源 ES 集群和目标 ES 集群处于同一网络的情况下进行迁移。而需要跨云厂商的迁移，可以选择使用 snapshot 的方式进行迁移，例如从阿里云 ES 集群迁移至腾讯云 ES 集群，也可以通过打通网络实现集群互通，但是成本较高。
  2. elasticsearch-dump 工具和 MySQL 数据库用于做数据备份的工具 mysqldump 类似，都是逻辑备份，需要将数据一条一条导出后再执行导入，所以适合数据量小的场景下进行迁移。
  3. snapshot 的方式适合数据量大的场景下进行迁移。

[1]repository-s3: ​​​​https://www.elastic.co/guide/en/elasticsearch/plugins/current/repository-s3.html​​​​

[2]cos-repository: ​​​​https://www.elastic.co/guide/en/elasticsearch/plugins/current/repository-hdfs.html​​​​

[3]cos-repository: ​​​​https://github.com/tencentyun/elasticsearch-repository-cos​​​​

[4]repository-s3: ​​​​https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html​​​​

[5]elasticsearch-dump: ​​​​https://github.com/taskrabbit/elasticsearch-dump​​​​


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK