基于Nginx + memcached+Tomcat 的负载均衡 session共享及其调优点

鄙人最近在研究Nginx的负载均衡,遇到不少坑,最后成功完成负载均衡,在这里分享下:

简述:

现有设备:

VMWARE配了3台服务器

server6:192.168.0.106

server7:192.168.0.105

server9:192.168.0.103

目标:server6,server7安装Tomcat服务器,server9安装tengine负载server6,server7两台服务器。



1.下载

http://tengine.taobao.org/

2.安装

2.1解压缩

2.2编译安装

cd /usr/local

tar zxvf tengine-2.2.0.tar.gz

cd tengine-2.2.0

./configure --prefix=/usr/local/tengine

(运行时可能会报./configure: error: the HTTP rewrite module requires the PCRE library.的错误,可执行下面两条语句:

yum -y install pcre-devel

yum  -y install openssl openssl-devel

再./configure --prefix=/usr/local/tengine

make && make install

至此安装完成。

2.3开启服务

修改/etc/init.d/nginx文件

vi /etc/init.d/nginx

修改内容:

nginx="/usr/local/tengine/sbin/nginx"

NGINX_CONF_FILE="/usr/local/tengine/conf/nginx.conf"


2.4启动服务

修改可执行权限

chmod 777 nginx

service nginx start

重启命令:service nginx reload

(注意nginx大小写,之前用Nginx一直启动不了,后来才发现2了。如果启动不成功,有可能是防火墙问题,关闭防火墙:service iptables stop)


3.使用

虚拟主机&虚拟目录

回到自己window系统,修改hosts

进入:C:\Windows\System32\drivers\etc

修改hosts,在最后添加:

192.168.0.103test.qq.com

注:192.168.0.103是就是我们刚刚配Nginx的server9的地址,test.qq.com是入口网址

然后在浏览器输入:

test.qq.com

=>


恭喜,你的Nginx服务器配置成功!


负载均衡

现在我们将两台服务器server6,server7负载到server9上

1.修改配置

vi /usr/local/apache-tomcat-7.0.61/conf/nginx.conf:

upstream tomcat {

server 192.168.0.106:8080;

server 192.168.0.105:8080;

check interval=3000 rise=2 fall=5 timeout=1000 type=http;

check_http_send "HEAD / HTTP/1.0\r\n\r\n";

check_http_expect_alive http_2xx http_3xx;

}

server {

server_name test.qq.com;

location / { proxy_passhttp://tomcat; }

location /status { check_status; }

}

说明:添加upstream 命名为tomcat,里面有两个sever,就是我们的server6,server7.

在下面server里的location /中括号里的内容我们改为proxy_passhttp://tomcat;意思就是将那两台服务器放到这台服务器上。

OK,此时我们reload一下Nginx服务器:

service nginx reload

2.启动tomcat

将Tomcat分别放在server6,server7服务器上,修改webapps/ROOT/index.jsp

server6里的index.jsp:

server6

<%=session.getId()%>

server7里的index.jsp:

server7

<%=session.getId()%>

ok,到../bin里启动一下Tomcat

再刷一下刚才的页面test.qq.com:




OK,此时我们看到server6,server7来回切换,证明Nginx集群成功。

但可以看到sessionID是经常变的,此时我们要做共享session操作。


共享session

第一:

Memcached

1、安装libevent

2、安装memcached

可以用yum方式安装

yum -y install –enablerepo=rpmforge memcached php-pecl-memcache

3、启动memcached

memcached -d -m 128 -u root -l 192.168.0.103 -p 11211 -c 256 -P /tmp/memcached.pid

参数解释:

-d:后台启动服务

-m:缓存大小

-p:端口

-l:IP

-P:服务器启动后的系统进程ID,存储的文件

-u:服务器启动是以哪个用户名作为管理用户

验证

memcached安装成功与否:

memcached-tool 192.168.0.103:11211

cat /tmp/memcached.pid


第二配置tomcat

Tomcat配置

拷贝jar


到tomcat的lib下,

每个tomcat里面的context.xml中加入

memcachedNodes="n1:192.168.0.103:11211"

sticky="false"

lockingMode="auto"

sessionBackupAsync="false"

requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"

sessionBackupTimeout="1000" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"

/>

说明:让memcache的节点memcachedNodes指向server9的地址:192.168.0.103

OK。重启server6server7两台服务器。

回到浏览器,输入

test.qq.com:


我们可以看到,无论服务器轮流切换,sessionID都保持不变,这样就做到了真正的负载均衡 。


调优点:

一:链接数问题:

配置文件:

nginx.conf:

cd /usr/local/tengine-2.2.0/conf

vi nginx.conf

1.worker_connections  :连接数;

2.worker_processes:cpu核心数;

3.Nginx最大连接数 = 连接数(worker_connections)*cpu核心数(worker_processes);

4.Linux对外连接数:

cat /proc/sys/fs/file-max

97095

Nginx最大的并发量是5万到10万

当Linux对外连接数 > Nginx最大连接数 :

Nginx这台服务器的性能没有完全发挥

当Linux对外连接数 < Nginx最大连接数 :

Nginx最大连接数没有意义,对外连接数不会超过Linux服务器对外最大连接数

二:sendfile on:

如果sendfile  off掉,就进入传统模式:

用户有个请求过来了,网卡接到请求了,内核也接响应,发现接听端口是被Nginx占用的,然后把请求发到Nginx上,Nginx开始读取磁盘文件,磁盘文件缓存到Nginx内存中的,再从内存文件推送到内核,内核再将文件推到网卡,网卡再发送到我们客户端。

如果sendfile打开,就进入0拷贝模式:

内核直接把文件读到内存中,通过网卡推到客户端,不过Nginx。

开启0拷贝是好还是不好?

对于一些小文件,少于1500K的文件,瞬间存储,不经过Nginx,

大于300M,直接推给客户,客户端承受不住,

1,例如日志文件,300M的文件推给客户,还没消化完,马上又有一个日志文件推出去,客户端承受不了。

2,网络扛不住。

三:轮询机制:

upstream按照轮询(默认)方式进行负载,每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能 自动剔除。虽然这种方式简便、成本低廉。但缺点是:可靠性低和负载分配不均衡。适用于图片服务器集群和纯静态页面服务器集群。

除此之外,upstream还有其它的分配策略,分别如下:

1.weight(权重)

指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况。如下所示,10.0.0.88的访问比率要比10.0.0.77的访问比率高一倍。

upstream linuxidc{

server 10.0.0.77 weight=5;

server 10.0.0.88 weight=10;

}

2.ip_hash(访问ip)

每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题。

upstream favresin{

ip_hash;

server 10.0.0.10:8080;

server 10.0.0.11:8080;

}

3.fair(第三方)

按后端服务器的响应时间来分配请求,响应时间短的优先分配。与weight分配策略类似。

upstream favresin{

server 10.0.0.10:8080;

server 10.0.0.11:8080;

fair;

}

4.url_hash(第三方)

按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,后端服务器为缓存时比较有效。

注意:在upstream中加入hash语句,server语句中不能写入weight等其他的参数,hash_method是使用的hash算法。

upstream resinserver{

server 10.0.0.10:7777;

server 10.0.0.11:8888;

hash $request_uri;

hash_method crc32;

}

upstream还可以为每个设备设置状态值,这些状态值的含义分别如下:

down 表示单前的server暂时不参与负载.

weight 默认为1.weight越大,负载的权重就越大。

max_fails :允许请求失败的次数默认为1.当超过最大次数时,返回proxy_next_upstream 模块定义的错误.

fail_timeout : max_fails次失败后,暂停的时间。

backup: 其它所有的非backup机器down或者忙的时候,请求backup机器。所以这台机器压力会最轻。

upstream bakend{ #定义负载均衡设备的Ip及设备状态

ip_hash;

server 10.0.0.11:9090 down;

server 10.0.0.11:8080 weight=2;

server 10.0.0.11:6060;

server 10.0.0.11:7070 backup;

}


题外:

健康检查:

在/usr/local/apache-tomcat-7.0.61/conf/nginx.conf文件里添加

location /status {

check_status;

}

service nginx reload 一下

浏览器输入:test.qq.com/status


页面就会检测两台服务器的运作情况。



Thanks For Watching~

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335

推荐阅读更多精彩内容