elastic search 数据复制方案调研

question. 一个原始索引,一个A索引,一个B索引,数据在原始索引,A与B索引采用一个别名,将原始索引数据复制到该别名,A、B索引下是否都有全量数据?

要点1:能否通过别名对应多个索引,将原始数据复制给别名代表的多个索引?
要点2:如何从旧索引复制数据到新索引?

有博客说:不能对有多个索引的别名进行写操作,当有多个索引时alias,不能区分到底操作哪一个。
下面进行验证与尝试

测试环境elastic search2.2

1.创建原始索引

POST /cars/transactions/_bulk 
{ "index": {}} 
{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" } 
{ "index": {}} 
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" } 
{ "index": {}} 
{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" } 
{ "index": {}} 
{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" } 
{ "index": {}} 
{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" } 
{ "index": {}} 
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" } 
{ "index": {}} 
{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" } 
{ "index": {}} 
{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

2.创建两个新索引

PUT test1
PUT test2

3.创建test1、test2的别名

POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "test1",
        "alias": "my_index_alias"
      }
    },
    {
      "add": {
        "index": "test2",
        "alias": "my_index_alias"
      }
    }
  ]
}

4. 重索引 _reindex,将原始索引中数据复制给别名,参考官方文档:ES 5.1 ReindexAPI

POST _reindex
{
  "source": {
    "index": "cars"
  },
  "dest": {
    "index": "my_index_alias"
  }
}

结果

{
   "error": "NullPointerException[null]",
   "status": 500
}
es5.1reindex API提示

结论

首先,可能2.2不支持该操作,其次,此api处于实验阶段可靠性低,下面将尝试用其他方式进行步骤4的重索引工作。


利用bulk操作将原始索引中的数据PUT到别名代表的两个索引中:

POST /my_index_alias/transactions/_bulk 
{ "index": {}} 
{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" } 
{ "index": {}} 
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" } 
{ "index": {}} 
{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" } 
{ "index": {}} 
{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" } 
{ "index": {}} 
{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" } 
{ "index": {}} 
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" } 
{ "index": {}} 
{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" } 
{ "index": {}} 
{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

结果:

{
   "error": "ElasticsearchIllegalArgumentException[Alias [my_index_alias] has more than one indices associated with it [[test1, test2]], can't execute a single index op]",
   "status": 400
}

此外,不采用bulk操作而只单个的进行POST操作,也存在相同的报错。

POST my_index_alias/transactions
  { "index": {}} 
{ "price" : 25001, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

将别名对应一个索引进行上述操作,成功将数据复制到了别名对应的索引。通过报错可知该操作只能针对单个索引进行。


在Elasticsearch所有的API中,对应的是一个或者多个索引。Elasticsearch可以对一个或者多个索引指定别名,通过别名可以查询到一个或者多个索引的内容,在内部,Elasticsearch会自动把别名映射到响应的索引上。可以对别名编写过滤器或者路由,在系统中别名不能重复,也不能和索引名重复。其实在Elasticsearch的别名机制有点像数据库中的视图。


结论:查询操作允许针对多个索引,增删改操作不能对应多索引,无法针对别名进行多索引的增删改。


数据迁移方式:

1. 数据库导入

2.es scorll 批量读取 再bulk API 添加到新的索引(官方建议);Elasticsearch 十二、数据迁移 批量处理(scorll滚动查询,bulk批量索引)

3.官方reindex 目前最新版本支持,2.x版本不支持;ES 5.1 ReindexAPI \ ES 2.x Reindex

4.利用elastictransfor elasticsearch-dump elasticsearch-reindex elasticsearch-knapsack 等reindex工具elasticsearch reindex 工具汇总使用工具迁移索引数据

5.通过ES的备份功能数据迁移

分析:

1方式最为原始,从数据库导入es数据,较慢。如果es中已有数据,最好利用已有数据拷贝到新索引,即方式2。方式3如果可靠性能够保证则用来进行索引键的数据复制自然合适。方式4、5主要用于备份还原、数据的跨节点迁移,不适用于旧索引到新索引的数据迁移。

如果将旧索引数据迁移到新索引,采用方式2、3合适。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,482评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,377评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,762评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,273评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,289评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,046评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,351评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,988评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,476评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,948评论 2 324
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,064评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,712评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,261评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,264评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,486评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,511评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,802评论 2 345

推荐阅读更多精彩内容