centos 利用crontab进行gp集群按时备份

站在巨人的肩膀上

part.1 编写脚本

本脚本是在master节点下的gpadmin用户下编写操作的,所以其拥有者和拥有组位gpadmin,并且可执行755.。
具体思路是利用psql查找出所有的database,不包括template库,然后循环进行备份。

#!/bin/bash
dbnames=$(psql -A -q -t -h 192.168.1.213 -p 5432 -d sjgl_gp -U gpadmin  -c "select datname from pg_database where datname not like 'template%'")
backupdir="/data1/gpmaster/gpbackup/"
dbid=gpmaster
logdir=$backupdir
masterdir="/data1/gpmaster/gpseg-1/"
for dbname in $dbnames 
do 
#echo $dbname >> ~/log.txt
now=`date +%Y%m%d%H%M%S`
gpcrondump -a -C --dump-stats -g -G -h -r --use-set-session-authorization -x $dbname -u $backupdir --prefix $dbid -l $logdir -d $masterdir -K $now
done

part.2 crontab 添加

在master节点gpadmin用户下,使用crontab -e,并添加如下信息。
表示每个周日的0点整执行脚本进行备份。

$ crontab -e

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed
00 00 * * sun sh ~/gpbak.sh

但是经过测试,发现无法查询到数据库。

part.3 脚本的环境变量

因为在使用crontab时,无法得到当前用户的环境变量。所以我把当前用户的所有环境变量进行导入。在脚本的最前面加入以下内容。

export GPHOME="/usr/local/greenplum-db/."
export HISTCONTROL="ignoredups"
export HISTSIZE="1000"
export HOME="/home/gpadmin"
export HOSTNAME="mdw"
export LANG="en_US.UTF-8"
export LD_LIBRARY_PATH="/usr/local/greenplum-db/./lib:/usr/local/greenplum-db/./ext/python/lib:/usr/local/greenplum-db/./lib:/usr/local/greenplum-db/./ext/python/lib:"
export LESSOPEN="||/usr/bin/lesspipe.sh %s"
export LOGNAME="gpadmin"
export MAIL="/var/spool/mail/root"
export MASTER_DATA_DIRECTORY="/data1/gpmaster/gpseg-1"
export OLDPWD="/root"
export OPENSSL_CONF="/usr/local/greenplum-db/./etc/openssl.cnf"
export PATH="/usr/local/greenplum-db/./bin:/usr/local/greenplum-db/./ext/python/bin:/usr/local/greenplum-db/./bin:/usr/local/greenplum-db/./ext/python/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
export PWD="/home/gpadmin"
export PYTHONHOME="/usr/local/greenplum-db/./ext/python"
export PYTHONPATH="/usr/local/greenplum-db/./lib/python"
export SHELL="/bin/bash"
export SHLVL="2"
export SSH_CLIENT="192.168.1.145 51398 22"
export SSH_CONNECTION="192.168.1.145 51398 192.168.1.213 22"
export SSH_TTY="/dev/pts/0"
export TERM="vt100"
export USER="gpadmin"
export XDG_RUNTIME_DIR="/run/user/0"
export XDG_SESSION_ID="3"
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容