源码安装Bottled Water for PostgreSQL

按照官方文档,安装的步骤为:

Paste_Image.png

第一步,安装postgreSQL9.5
<pre>
wget http://get.enterprisedb.com/postgresql/postgresql-9.5.5-1-linux-x64.run
chmod +x postgresql-9.5.5-1-linux-x64.run
./postgresql-9.5.5-1-linux-x64.run
</pre>
按照提示的信息安装并创建完成数据库
第二步,安装[libsnappy],libsnapp可以通过yum进行安装;也可以到 wget https://github.com/google/snappy/tarball/master下载源码
<pre>
yum install snappy
yum install snappy-devel
</pre>
第三步,安装avro-c
<pre>
wget http://apache.fayea.com/avro/avro-1.8.1/c/avro-c-1.8.1.tar.gz
tar -zxvf avro-c-1.8.1.tar.gz
cd avro-c-1.8.1/
mkdir build
cd build/
cmake .. -DCMAKE_INSTALL_PREFIX=$PREFIX -DCMAKE_BUILD_TYPE=RelWithDebInfo
提示cmake不存在,通过yum安装了cmake
yum install cmake
</pre>
再次执行cmake .. -DCMAKE_INSTALL_PREFIX=$PREFIX -DCMAKE_BUILD_TYPE=RelWithDebInfo
<pre>
[root@gp-node2 build]# cmake .. -DCMAKE_INSTALL_PREFIX=$PREFIX -DCMAKE_BUILD_TYPE=RelWithDebInfo
Enabled deflate codec
-- Found Snappy: /lib64/libsnappy.so
Enabled snappy codec
Enabled lzma codec
-- checking for module 'jansson>=2.3'
-- package 'jansson>=2.3' not found
CMake Error at CMakeLists.txt:178 (message):
libjansson >=2.3 not found

-- Configuring incomplete, errors occurred!
</pre>
需要安装jansson,
<pre>
yum install jansson-devel
已加载插件:fastestmirror, langpacks
Loading mirror speeds from cached hostfile

  • base: mirrors.163.com
  • extras: mirrors.163.com
  • updates: mirrors.163.com
    正在解决依赖关系
    --> 正在检查事务
    ---> 软件包 jansson-devel.x86_64.0.2.4-6.el7 将被 安装
    --> 解决依赖关系完成

依赖关系解决

================================================================================================================================================================================================================================================================
Package 架构 版本 源 大小
================================================================================================================================================================================================================================================================
正在安装:
jansson-devel x86_64 2.4-6.el7 base 8.3 k

事务概要

安装 1 软件包

总下载量:8.3 k
安装大小:9.7 k
Is this ok [y/d/N]: y
Downloading packages:
jansson-devel-2.4-6.el7.x86_64.rpm | 8.3 kB 00:00:12
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
正在安装 : jansson-devel-2.4-6.el7.x86_64 1/1
验证中 : jansson-devel-2.4-6.el7.x86_64 1/1

已安装:
jansson-devel.x86_64 0:2.4-6.el7

完毕!
</pre>
再次执行 cmake
<pre>
[root@gp-node2 build]# cmake .. -DCMAKE_INSTALL_PREFIX=$PREFIX -DCMAKE_BUILD_TYPE=RelWithDebInfo
Enabled deflate codec
Enabled snappy codec
Enabled lzma codec
-- checking for module 'jansson>=2.3'
-- found jansson, version 2.4
-- Searching for asciidoc...
-- Configuring done
-- Generating done
-- Build files have been written to: /data/avro-c-1.8.1/build
然后
make
make test
make install
</pre>
第四步,刚才安装avro-c,已经完成了安装
第五步,安装libcurl
<pre>
yum install libcurl
</pre>
第六步,安装a Kafka client
<pre>
git clone https://github.com/edenhill/librdkafka.git
cd librdkafka
./configure
make
make install
</pre>
下载并安装/bottledwater-pg
<pre>
git clone https://github.com/confluentinc/bottledwater-pg.git
cd bottledwater-pg/
make
</pre>
提示找不到/usr/bin/ld: warning: libssl.so.1.0.0, needed by /opt/PostgreSQL/9.5/lib/libpq.so, not found (try using -rpath or -rpath-link)
/usr/bin/ld: warning: libcrypto.so.1.0.0, needed by /opt/PostgreSQL/9.5/lib/libpq.so, not found (try using -rpath or -rpath-link)
设置环境变量
<pre>
<[root@gp-node2 bottledwater-pg]# vi /opt/PostgreSQL/9.5/pg_env.sh

!/bin/sh

The script sets environment variables helpful for PostgreSQL

export PATH=/opt/PostgreSQL/9.5/bin:$PATH
export PGDATA=/opt/PostgreSQL/9.5/data
export PGDATABASE=postgres
export PGUSER=postgres
export PGPORT=5432
export PGLOCALEDIR=/opt/PostgreSQL/9.5/share/locale
export MANPATH=$MANPATH:/opt/PostgreSQL/9.5/share/man
<b>export LD_LIBRARY_PATH=/opt/PostgreSQL/9.5/lib </b>
</pre>
提示Package libsnappy was not found * 和Package avro-c was not found *
分别在/usr/lib64/pkgconfig目录下增加
<pre>
[root@gp-node2 pkgconfig]# more avro-c.pc
Name: avro-c
Description: C library for parsing Avro data
Version: 1.8.1
URL: http://avro.apache.org/
Libs: -L/usr/local/avro-c/lib -lavro
Cflags: -I/usr/local/avro-c/include
Requires: zlib liblzma libsnappy
[root@gp-node2 pkgconfig]# more libs
libsasl2.pc libselinux.pc libsepol.pc libsnappy.pc libssl.pc
[root@gp-node2 pkgconfig]# more libsnappy.pc
Name: libsnappy
Description: Snappy is a compression library
Version: 1.1.2
URL: https://google.github.io/snappy/
Libs: -L/usr/lib64 -lsnappy
Cflags: -I/usr/include
</pre>
提示找不到curl.h,执行yum install crul-devel
<pre>
[root@gp-node2 bottledwater-pg]# make
make -C ext all
make[1]: 进入目录“/data/bottledwater-pg/ext”
make[1]: 对“all”无需做任何事。
make[1]: 离开目录“/data/bottledwater-pg/ext”
make -C client all
make[1]: 进入目录“/data/bottledwater-pg/client”
make[1]: 对“all”无需做任何事。
make[1]: 离开目录“/data/bottledwater-pg/client”
make -C kafka all
make[1]: curl-config:命令未找到
make[1]: 进入目录“/data/bottledwater-pg/kafka”
gcc bottledwater.c -c -std=c99 -D_POSIX_C_SOURCE=200809L -I../client -I../ext -I/opt/PostgreSQL/9.5/include -I/opt/PostgreSQL/9.5/include/postgresql/server -I/usr/local/avro-c/include -DAVRO_1_8 -Wall -Wmissing-prototypes -Wpointer-arith -Wendif-labels -Wmissing-format-attribute -Wformat-security -o bottledwater.o
In file included from table_mapper.h:4:0,
from json.h:5,
from bottledwater.c:2:
registry.h:5:23: 致命错误:curl/curl.h:没有那个文件或目录

include <curl/curl.h>

                   ^

编译中断。
make[1]: *** [bottledwater.o] 错误 1
make[1]: 离开目录“/data/bottledwater-pg/kafka”
make: *** [all] 错误 2

yum install curl-devel
</pre>
解决完上述的依赖问题后再次执行make
<pre>
[root@gp-node2 bottledwater-pg]# make
make -C ext all
make[1]: 进入目录“/data/bottledwater-pg/ext”
make[1]: 对“all”无需做任何事。
make[1]: 离开目录“/data/bottledwater-pg/ext”
make -C client all
make[1]: 进入目录“/data/bottledwater-pg/client”
make[1]: 对“all”无需做任何事。
make[1]: 离开目录“/data/bottledwater-pg/client”
make -C kafka all
make[1]: 进入目录“/data/bottledwater-pg/kafka”
gcc bottledwater.c -c -std=c99 -D_POSIX_C_SOURCE=200809L -I../client -I../ext -I/opt/PostgreSQL/9.5/include -I/opt/PostgreSQL/9.5/include/postgresql/server -I/usr/local/avro-c/include -DAVRO_1_8 -Wall -Wmissing-prototypes -Wpointer-arith -Wendif-labels -Wmissing-format-attribute -Wformat-security -o bottledwater.o
gcc json.c -c -std=c99 -D_POSIX_C_SOURCE=200809L -I../client -I../ext -I/opt/PostgreSQL/9.5/include -I/opt/PostgreSQL/9.5/include/postgresql/server -I/usr/local/avro-c/include -DAVRO_1_8 -Wall -Wmissing-prototypes -Wpointer-arith -Wendif-labels -Wmissing-format-attribute -Wformat-security -o json.o
gcc registry.c -c -std=c99 -D_POSIX_C_SOURCE=200809L -I../client -I../ext -I/opt/PostgreSQL/9.5/include -I/opt/PostgreSQL/9.5/include/postgresql/server -I/usr/local/avro-c/include -DAVRO_1_8 -Wall -Wmissing-prototypes -Wpointer-arith -Wendif-labels -Wmissing-format-attribute -Wformat-security -o registry.o
gcc table_mapper.c -c -std=c99 -D_POSIX_C_SOURCE=200809L -I../client -I../ext -I/opt/PostgreSQL/9.5/include -I/opt/PostgreSQL/9.5/include/postgresql/server -I/usr/local/avro-c/include -DAVRO_1_8 -Wall -Wmissing-prototypes -Wpointer-arith -Wendif-labels -Wmissing-format-attribute -Wformat-security -o table_mapper.o
gcc logger.c -c -std=c99 -D_POSIX_C_SOURCE=200809L -I../client -I../ext -I/opt/PostgreSQL/9.5/include -I/opt/PostgreSQL/9.5/include/postgresql/server -I/usr/local/avro-c/include -DAVRO_1_8 -Wall -Wmissing-prototypes -Wpointer-arith -Wendif-labels -Wmissing-format-attribute -Wformat-security -o logger.o
gcc bottledwater.o json.o registry.o table_mapper.o logger.o ../client/libbottledwater.a -o bottledwater -L/opt/PostgreSQL/9.5/lib -lpq -lrdkafka -lz -lpthread -L/usr/local/avro-c/lib -lavro -lz -llzma -lsnappy -lcurl -ljansson
make[1]: 离开目录“/data/bottledwater-pg/kafka”
[root@gp-node2 bottledwater-pg]#
[root@gp-node2 bottledwater-pg]#
[root@gp-node2 bottledwater-pg]#
[root@gp-node2 bottledwater-pg]#
[root@gp-node2 bottledwater-pg]#
[root@gp-node2 bottledwater-pg]#
[root@gp-node2 bottledwater-pg]# make install
make -C ext install
make[1]: 进入目录“/data/bottledwater-pg/ext”
/bin/mkdir -p '/opt/PostgreSQL/9.5/lib/postgresql'
/bin/mkdir -p '/opt/PostgreSQL/9.5/share/postgresql/extension'
/bin/mkdir -p '/opt/PostgreSQL/9.5/share/postgresql/extension'
/usr/bin/install -c -m 755 bottledwater.so '/opt/PostgreSQL/9.5/lib/postgresql/bottledwater.so'
/usr/bin/install -c -m 644 .//bottledwater.control '/opt/PostgreSQL/9.5/share/postgresql/extension/'
/usr/bin/install -c -m 644 .//bottledwater--0.1.sql '/opt/PostgreSQL/9.5/share/postgresql/extension/'
make[1]: 离开目录“/data/bottledwater-pg/ext”
</pre>
到此,安装完成,后续开始进行配置
============================================================================================
1、修改postges的设置,修改postgresql.conf文件在的如下几个选项:
wal_level = logical
max_wal_senders = 8
wal_keep_segments = 4
max_replication_slots = 4
修改pg_hba.conf,增加同步的账户
host replication repuser 0.0.0.0/0 md5

重启postgres服务
2、创建账号,创建扩展
<pre>
-bash-4.2$ psql
Password:
psql.bin (9.5.5)
Type "help" for help.

postgres=#
postgres=# CREATE ROLE repuser REPLICATION LOGIN PASSWORD 'repuser';
postgres=# create extension bottledwater;
CREATE EXTENSION
</pre>

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,045评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,114评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,120评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,902评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,828评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,132评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,590评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,258评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,408评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,335评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,385评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,068评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,660评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,747评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,967评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,406评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,970评论 2 341

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,279评论 25 707
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,566评论 18 139
  • 觉醒之前,你是别人 觉醒之后,你是自己 觉醒之前,你的理论知识大过现实 觉醒之后,你的现实实践大于理论 觉醒之前,...
    Icesheet阅读 398评论 0 0
  • 不知不觉跟简书有关系已经四月余,起初是为了想让自己养成写作记录的习惯。 一方面是因为自己原来就有写日记的习惯,但是...
    MargotGAO阅读 287评论 0 0
  • 安装软件源: $ sudo add-apt-repository ppa:certbot/certbot$ sud...
    你说你要一场阅读 328评论 0 0