【opentsdb-部署】OpenTSDB和Grafana监控平台的安装使用(docker、centos7)

opentsdb官网:http://opentsdb.net/overview.html
OpenTSDB是一个基于HBase的分布式、可伸缩的开源时序数据库。OpenTSDB由TSD(Time Series Daemon)和一系列命令行工具组成。TSD用于接收用户请求并将时序数据存储在HBase中。TSD之间是相互独立的,没有master,也没有共享状态,因此可以根据系统的负载情况任意进行扩展。下图是一个基于OpenTSDB的监控系统架构图(来自官方文档)

image.png

由上图可知,opentsdb是基于hbase的上层应用。所以在安装opentsdb时先安装hbase。

一、Hbase安装

(略...想不到吧)

二、OpenTSDB安装

本文opentsdb安装基于docker,需要了解更多docker安装使用信息请教度娘吧。这里假设已安装好docker,进入docker容器中操作了。opentsdb默认端口4242。
官方也有提供了opentsdb-docker镜像。但不是我想要的(不需要在docker启动hbase,只需hbase客户端),我的hbase集群已安装在宿主机上了,不想修改已有的镜像,自己造。
实践过程中遇到如下错误:
Failed to get D-Bus connection: Operation not permitted
解决办法就是在docker run 的时候运行/usr/sbin/init 。比如:
[root@localhost /]# docker run -tid --name hadoopbase centos/hadoopbase:v001 /usr/sbin/init

1、安装jdk环境

#tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local/java/
#vi /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

2、hbase客户端安装

重宿主机拷贝一份hbase过即可,在宿主机上执行
docker cp /opt/apps/hbase-1.1.1 [容器ID]:/opt/

3、安装GnuPlot

GnuPlot是一个命令行的交互式绘图工具,OpenTSDB使用GnuPlot绘图。
yum install -y gnuplot

4、下载安装opentsdb

可先到opentsdb官网找到自己想要的版本复制链接
wget https://github.com/OpenTSDB/opentsdb/releases/download/v2.3.1/opentsdb-2.3.1.noarch.rpm
rpm -ivh opentsdb-2.3.1.noarch.rpm
若报/etc/rc.d/init.d/functions: No such file or directory 错误,解决:yum install initscripts

5、检测安装

#tsdb version
打印如下
net.opentsdb.tools 2.3.1 built at revision (MODIFIED)
Built on 2018/05/22 17:08:21 +0000 by root@centos.localhost:/root/rpmbuild/BUILD/opentsdb-2.3.1

6、修改配置

至少修改以下两项,其他配置根据需要修改(提示:记得配置主机名映射)
#vi /etc/opentsdb/opentsdb.conf
tsd.core.auto_create_metrics = true
tsd.storage.hbase.zk_quorum = hdc-data1,hdc-data2,hdc-data3

7、创建hbase表

COMPRESSION=SNAPPY采用snappy压缩算法,若没安装该算法需自行安装。若不想使用压缩COMPRESSION=NONE 。HBASE_HOME为hbase客户端路径
env COMPRESSION=SNAPPY HBASE_HOME=/opt/hbase-1.1.1 /usr/share/opentsdb/tools/create_table.sh
执行之后,会在HBase中创建出tsdb、tsdb-uid、tsdb-tree和tsdb-meta四个表。

8、启动及验证

tsdb tsd &
ss -lnt | grep 4242
ps aux|grep opentsdb

9、opentsdb使用

创建metric
使用如下命令
tsdb mkmetric sys.cpu.user
写入数据
作为测试,我们可以使用telnet接口写入两条数据:
# telnet localhost 4242
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
put sys.cpu.user 1356998400 42.5 host=webserver01 cpu=0
put sys.cpu.user 1356999400 42.7 host=webserver01 cpu=0
读取数据
可以使用命令行读取刚才写入的两条数据:
# tsdb query 1356998400 1356999400 sum sys.cpu.user
sys.cpu.user 1356998400000 42.500000 {host=webserver01, cpu=0}
sys.cpu.user 1356999400000 42.700001 {host=webserver01, cpu=0}

使用python通过http操作,https://github.com/liangriyu/opentsdb-py

10、web-ui绘图

经验证docker中,opentsdb的绘图有误,仔细观察图一和图二的时间轴,正确如图二。
图一(docker中的opentsdb)


image.png

图二(直接在宿主机上的opentsdb)


image.png

有没有发现,opentsdb可以安装很多个,他们共用hbase表。若想考虑负载均衡可结合第三方组件实现。但一般情况足够了。而且opentsdb自带的图形界面一个字,丑。所以采用更美观一点的Grafana监控平台。

三、安装Grafana

好文档都在官网:https://grafana.com/grafana/download
重新建一个docker容器,若需要。grafana默认端口3000

1、下载安装

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.3.2-1.x86_64.rpm
sudo yum localinstall grafana-5.3.2-1.x86_64.rpm

2、启动

service grafana-server start

3、webUI使用

默认用户名:admin,密码:admin


image.png

创建数据源


image.png

点击保存后如提示则数据源正常


image.png

创建仪表盘


image.png
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,045评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,114评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,120评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,902评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,828评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,132评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,590评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,258评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,408评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,335评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,385评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,068评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,660评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,747评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,967评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,406评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,970评论 2 341

推荐阅读更多精彩内容