Elasticsearch 与mysql数据同步方法

假设已经有db_search的数据库,里面有张msg的表, msg表里面有主键id字段 (可以根据实际情况来)

已经启动 elasticsearch . 地址是 119.215.99.45 端口:9200.

已经安装 logstash, 地址在 /opt/logstash

已经安装 logstash-input-jdbc插件

准备两个文件jdbc.conf、msg.sql,名字不重要随便起

jdbc.conf ,输入下面的内容

input {

jdbc {      # 数据库连接字符串

jdbc_connection_string => "jdbc:mysql://数据库IP地址:3306/db_search?characterEncoding=UTF-8&useSSL=false"      # 数据库用户名和密码

jdbc_user => "root"

jdbc_password => "password"      # 数据库java驱动包目录

jdbc_driver_library => "/opt/logstash/mysql-connector-java-5.1.46-bin.jar"      # the name of the driver class for mysql

jdbc_driver_class => "com.mysql.jdbc.Driver"

jdbc_paging_enabled => "true"

jdbc_page_size => "50000"      # 关联第二个文件

statement_filepath => "msg.sql"      # 开启用户字段追踪判断,缓存最后记录的对应字段,这里缓存的是主键id字段

use_column_value => true

tracking_column => "id"

record_last_run => true      # 缓存文件目录,会把最后操作的记录的id缓存到这个文件中,可以先建好放在合适的位置

last_run_metadata_path => "/opt/logstash/msg-id.last"      # 设定同步周期,当前设置是每分钟一次,更多设置请自己百度

schedule => "* * * * *"      # 索引的分类

type => "msg"    }}filter {

json {

source => "message"

remove_field => ["message"]    }}output {

elasticsearch {        # 地址

hosts => "119.215.99.45:9200"        # 索引的名称,可以随便起,我这边跟数据库起了一样的名字

index => "db_search"        # 索引下面的分类,直接用了上面配置中的值

document_type => "%{type}"    }

stdout {

codec => json_lines    }}

msg.sql 里面输入以下内容

select

id,

msg_title,

msg_link,

publish_timefrom

msgwhere

id > :sql_last_value

这个就不需要多解释了,根据你的实际情况来设置需要存到索引中的字段,其中 :sql_last_value 这个值会自动读取之前设置的缓存文件msg-id.last中的值

很显然我这个配置是不支持数据修改的,因为我用的是主键id字段,如果有数据修改的需求可以指定其他的字段,原理我在文章开头已经讲的很清楚了。

测试运行

启动

sudo bin/logstash -f jdbc.conf

然后你就可以往mysql中插入数据了,等会再到elasticsearch中查看是否已经自动建立相应的索引,索引的文档数是否等于mysql的新增数据数。具体我就不演示了

注意事项,很重要!!!

此方法自动建立的索引有个很重要的问题,就是分词器是用的系统默认的,对中文支持很烂,而且索引一旦建立是不能修改分词器的(切记,切记)!所以如果你需要指定分词器(比如IK),就必须先建立索引,然后再进行数据同步。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,711评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,932评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,770评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,799评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,697评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,069评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,535评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,200评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,353评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,020评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,610评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2 341

推荐阅读更多精彩内容