利用Apache Drill查询MongoDB（二）分布式部署
关于Drill是什么、Drill单机部署、Drill mongo插件配置请查看
利用Apache Drill查询MongoDB（一）单机部署
1.Drill分布式部署
测试server：CentOS 6.5 x86_64
先决条件：Oracle JDK，ZooKeeper集群
-
安装zk集群
下载解压目前最新版zk：zookeeper-3.4.9.tar.gz
cd zookeeper-3.4.9/
vim conf/zoo.cfg
输入内容如下
tickTime=2000
dataDir=/home/app/zkdata //这里用相对路径可能会报错
clientPort=2181
initLimit=5
syncLimit=2
server.1=172.19.3.132:2888:3888 //2888是zk各节点通信的端口，3888是选举zk leader的端口
server.2=172.19.3.133:2888:3888
server.3=172.19.3.134:2888:3888
cd到/home/app/zkdata目录下，创建文件myid
vim myid
myid的文件内容只有一个数字，3个zk server分别输入1、2、3。
配置hosts
sudo vim /etc/hosts
输入：
172.19.3.131 drill
172.19.3.132 zk1
172.19.3.133 zk2
172.19.3.134 zk3
现在启动zk
bin/zkServer.sh start
同样的操作，把另两台zk server也启动。
输出日志在zk所在目录的zookeeper.out文件中，可以辅助调试异常。
-
安装和启动Drill
下载截止目前最新版Drill：apache-drill-1.8.0.tar.gz
解压并cd到drill目录，修改配置文件
tar -zxvf apache-drill-1.8.0.tar.gz
cd apache-drill-1.8.0
vim conf/drill-override.conf
配置文件内容
drill.exec: {
cluster-id: "drillbits1",
zk.connect: "zk1:2181,zk2:2181,zk3:2181"
}
启动drill
bin/drillbit.sh start
ps：执行后只是提示日志在log/drillbit.out，这个文件是排错利器，可以通过ss命令查看与zk的连接是否建立
ss -ant | grep 2181
2.查询测试
测试的内容与上一篇一样，只是这次使用web console的REST API测试。
- 查询数据库
curl -X POST -H "Content-Type: application/json" -d '{"queryType":"SQL", "query": "show database"}' http://172.19.3.131:8047/query.json
返回结果
{
"columns" : [ "SCHEMA_NAME" ],
"rows" : [ {
"SCHEMA_NAME" : "INFORMATION_SCHEMA"
}, {
"SCHEMA_NAME" : "cp.default"
}, {
"SCHEMA_NAME" : "dfs.default"
}, {
"SCHEMA_NAME" : "dfs.root"
}, {
"SCHEMA_NAME" : "dfs.tmp"
}, {
"SCHEMA_NAME" : "mongo.car"
}, {
"SCHEMA_NAME" : "mongo.local"
}, {
"SCHEMA_NAME" : "mongo.test"
}, {
"SCHEMA_NAME" : "sys"
} ]
}
- 查询mongo.test数据库
curl -X POST -H "Content-Type: application/json" -d '{"queryType":"SQL", "query": "select * from mongo.test.categories"}' http://172.19.3.131:8047/query.json
返回结果
{
"columns" : [ "_id", "parent" ],
"rows" : [ {
"parent" : "Databases",
"_id" : "MongoDB"
}, {
"parent" : "Databases",
"_id" : "dbm"
}, {
"parent" : "Programming",
"_id" : "Databases"
}, {
"parent" : "Programming",
"_id" : "Languages"
}, {
"parent" : "Books",
"_id" : "Programming"
}, {
"parent" : null,
"_id" : "Books"
} ]
}
- 查询mongo.car数据库的car集合中2012-2015年的数据
select * from mongo.car.car where createTime between '2012-1-1 0:0:0' and '2015-12-31 0:0:0'
涉及到单引号转义，直接用web console来提交请求，如图
返回结果
原来的数据从2011-2016共6条数据，过滤后只有2012-2015的4条 - 查询mongo.car数据库，获取福特汽车的油耗和公里数
select * from mongo.car.car where deviceId in (select deviceId from mongo.car.arch where archive='ford')
返回结果
最后，也可以使用sqlline通过shell查询
bin/sqlline
!connect jdbc:drill:zk=mongodb_node01,mongodb_node02,mongodb_node03
