MongoDB分片式集群搭建以及测试

系统版本                Centos7

系统用户                root

MongoDB版本        3.4.2

shard:端口配置                22001:22002:22003

mongos:端口配置            20000

MongoDB下载地址:

Windows下载:    https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.4.2.tgz

Linux下载:wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.4.2.tgz

进入    opt    目录    cd /opt

创建    soft    文件夹    mkdir soft

将下载好的mongodb-linux-x86_64-rhel70-3.2.4.tgz文件上传到服务/opt/soft    目录中

解压压缩文件    tar -zxvf soft/mongodb-linux-x86_64-rhel70-3.2.4.tgz

修改解压后的文件夹名称    mv mongodb-linux-x86_64-rhel70-3.2.4 mongodb3.4.2

进入    mongodb3.4.2    文件夹    cd mongodb3.4.2

创建所需的文件夹:

mkdir -p /opt/mongodb3.4.2/mongos/log

mkdir -p /opt/mongodb3.4.2/config/data

mkdir -p /opt/mongodb3.4.2/config/log

mkdir -p /opt/mongodb3.4.2/shard1/data

mkdir -p /opt/mongodb3.4.2/shard1/log

mkdir -p /opt/mongodb3.4.2/shard2/data

mkdir -p /opt/mongodb3.4.2/shard2/log

mkdir -p /opt/mongodb3.4.2/shard3/data

mkdir -p /opt/mongodb3.4.2/shard3/log

配置MongoDB环境变量:

配置环境变量不在    /etc/profile    文件中配置以免影响系统环境变量

重新创建一个文件在    /etc/profile.d/    目录下,在系统启动时会执行这里以.sh结尾的文件

创建并编辑    vim /etc/profile.d/hadoop.sh    添加一下内容

export MONGODB_HOME=/opt/mongodb3.4.2    #安装MongoDB的路径

export PATH=$MONGODB_HOME/bin:$PATH

如下图:

hadoop.sh环境变量文件

注意:

        mongodb3.4以后要求配置服务器也创建副本集,不然集群搭建不成功

        接下来配置MongoDB分片集群

        以下配置文件每个机器都要配置

config server配置服务器:

创建配置文件    vim /opt/mongodb3.4.2/config/config.conf    添加一下内容

pidfilepath = /opt/mongodb3.4.2/config/log/configsrv.pid

dbpath = /opt/mongodb3.4.2/config/data                   

logpath = /opt/mongodb3.4.2/config/log/congigsrv.log

logappend = true

bind_ip = 0.0.0.0

port = 21000

fork = true

#declare this is a config db of a cluster;

configsvr = true

#副本集名称

replSet=configs

#设置最大连接数

maxConns=20000

配置完成后如下图:

config.conf配置文件

启动三台服务器的config server    :

        mongod -f /opt/mongodb3.4.2/config/config.conf

登录任意一台配置服务器,初始化配置副本集    :

        mongo --port 21000

#config变量

config = {

  _id : "configs",

    members : [

        {_id : 0, host : "192.168.215.184:22001" },

        {_id : 1, host : "192.168.215.185:22001" },

        {_id : 2, host : "192.168.215.186:22001" }

    ]

}

#初始化副本集

rs.initiate(config)

exit:    退出shell

配置分片副本集(三台机器):

创建配置文件    vi /opt/mongodb3.4.2/conf/shard1.conf    添加以下内容

#配置文件内容

#——————————————–

pidfilepath = /opt/mongodb3.4.2/shard1/log/shard1.pid

dbpath = /opt/mongodb3.4.2/shard1/data

logpath = /opt/mongodb3.4.2/shard1/log/shard1.log

logappend = true

bind_ip = 0.0.0.0

port = 22001

fork = true

#打开web监控

httpinterface=true

rest=true

#副本集名称

replSet=shard1

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns=20000

配置结果如下图:

shard1.conf配置文件

启动三台服务器的shard1 server:

        mongod -f /opt/mongodb3.4.2/config/shard1.conf

mongo --port 22001

#使用admin数据库

use admin

#初始化副本集

rs.initiate(config)

#定义副本集配置,第三个节点的 "arbiterOnly":true 代表其为仲裁节点。

config = {

  _id : "shard1",

    members : [

        {_id : 0, host : "192.168.215.184:22001" },

        {_id : 1, host : "192.168.215.185:22001" },

        {_id : 2, host : "192.168.215.186:22001" , arbiterOnly: true }

    ]

}

#初始化副本集配置

rs.initiate(config);

exit    :退出shell

设置第二个分片副本集:

    创建配置文件    vi /opt/mongodb3.4.2/conf/shard2.conf    添加以下内容

#配置文件内容

#——————————————–

pidfilepath = /opt/mongodb3.4.2/shard2/log/shard2.pid

dbpath = /opt/mongodb3.4.2/shard2/data

logpath = /opt/mongodb3.4.2/shard2/log/shard2.log

logappend = true

bind_ip = 0.0.0.0

port = 22002

fork = true

#打开web监控

httpinterface=true

rest=true

#副本集名称

replSet=shard2

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns=20000

配置后如下图:

shard2.conf配置文件

启动三台服务器的shard1 server:

        mongod -f /opt/mongodb3.4.2/config/shard2.conf

mongo --port 22002

#使用admin数据库

use admin

#初始化副本集

rs.initiate(config)

#定义副本集配置,第二个节点的 "arbiterOnly":true 代表其为仲裁节点。

config = {

  _id : "shard2",

    members : [

        {_id : 0, host : "192.168.215.184:22002" },

        {_id : 1, host : "192.168.215.185:22002", arbiterOnly: true  },

        {_id : 2, host : "192.168.215.186:22002" }

    ]

}

#初始化副本集配置

rs.initiate(config);

exit    :退出shell

设置第三个分片副本集:

创建配置文件    vi /opt/mongodb3.4.2/conf/shard3.conf    添加以下内容

#配置文件内容

#——————————————–

pidfilepath = /opt/mongodb3.4.2/shard3/log/shard3.pid

dbpath = /opt/mongodb3.4.2/shard3/data

logpath = /opt/mongodb3.4.2/shard3/log/shard3.log

logappend = true

bind_ip = 0.0.0.0

port = 22003

fork = true

#打开web监控

httpinterface=true

rest=true

#副本集名称

replSet=shard3

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns=20000

配置后如下图:

shard3.conf配置文件

启动三台服务器的shard3 server:

        mongod -f /opt/mongodb3.4.2/config/shard3.conf

mongo --port 22003

#使用admin数据库

use admin

#初始化副本集

rs.initiate(config)

#定义副本集配置,第一个节点的 "arbiterOnly":true 代表其为仲裁节点。

config = {

  _id : "shard3",

    members : [

        {_id : 0, host : "192.168.215.184:22003" , arbiterOnly: true },

        {_id : 1, host : "192.168.215.185:22003" },

        {_id : 2, host : "192.168.215.186:22003" }

    ]

}

#初始化副本集配置

rs.initiate(config);

exit    :退出shell


配置路由服务器 mongos:

先启动配置服务器和分片服务器,后启动路由实例启动路由实例:(三台机器)

创建配置文件    vim /opt/mongodb3.4.2/config/mongos.conf    添加如下内容:

#内容

pidfilepath = /opt/mongodb3.4.2/mongos/log/mongos.pid

logpath = /opt/mongodb3.4.2/mongos/log/mongos.log

logappend = true

bind_ip = 0.0.0.0

port = 20000

fork = true

#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字

configdb = configs/192.168.215.184:21000,192.168.215,185:21000,192.168.215.186:21000

#设置最大连接数

maxConns=20000

配置后如下图:

mongos.conf配置文件

启动三台服务器的mongos server:

mongod -f /opt/mongodb3.4.2/config/mongos.conf

启用分片

目前搭建了mongodb配置服务器、路由服务器,各个分片服务器,不过应用程序连接到mongos路由服务器并不能使用分片机制,还需要在程序里设置分片配置,让分片生效。

登陆任意一台mongos

        mongo --port 20000

#使用admin数据库

        user  admin

#串联路由服务器与分配副本集

        sh.addShard("shard1/192.168.215.184:22001,192.168.215.185:22001,192.168.215.186:22001")

        sh.addShard("shard2/192.168.215.184:22002,192.168.215.185:22002,192.168.215.186:22002")

        sh.addShard("shard3/192.168.215.184:22003,192.168.215.185:22003,192.168.215.186:22003")

#查看集群状态

        sh.status()

        exit:退出shell

测试   

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了,但我们的目的是希望插入数据,数据能够自动分片。连接在mongos上,准备让指定的数据库、指定的集合分片生效。

        #指定testdb分片生效

db.runCommand( { enablesharding :"testdb"});

#指定数据库里需要分片的集合和片键db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } )

我们设置testdb的 table1 表需要分片,根据 id 自动分片到 shard1 ,shard2,shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片!

测试分片配置结果

mongo  127.0.0.1:20000

#使用    testdbuse  testdb;

for (var i = 1; i <= 100000; i++){db.table1.save({id:i,"test1":"testval1"})};

#查看分片情况如下,部分无关信息省掉了

db.table1.stats();

结果自己查看,

想要数据库使用分片功能必须在创建过程中指定,默认创建的数据库不使用分片功能!!

未完待续!!!

谢谢关注

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容