tomcat设置提高并发量

一个服务的实际并发量收到很多方面因素的影响，大致归类一下如下：

1、数据库，这是web项目中最常见的瓶颈，解决方法一般都是通过cache
2、远程接口调用，解决方法是选择高性能的RPC框架，如dubbo+ZK等，使用长连接代替短连接
3、容器，容器本身的并发量是有上限的，所以大型系统都是分布式的
4、业务逻辑，复杂的业务逻辑肯定会花费更多的时间去处理，可以采用异步或多线程的方式解决
5.其他，如JVM调优，网络带宽，CDN加速等等很多其他因素
其中的容器就包括tomcat，tomcat是一个解压即可用的中间件，虽然默认配置可以使大多数正常运行，但是并不能发挥出服务最佳的性能。
本文主要记录对tomcat处理能力影响比较大的几个方面：
1、tomcat的运行模式，选对一个合适的运行模式会对tomcat的处理能力有质的影响
2、tomcat连接器中几个对并发量影响比较大的参数设置，类似超时时间，文件头大小等设置本篇不涉及。

一、tomcat连接器的几个关键参数

1、maxThreads

tomcat起动的最大线程数，即同时处理的任务个数，默认值为200
该值的大小直接影响tomcat的并发处理能力
maxThreads如何配置
maxThreads="800"
一般的服务器操作都包括量方面：1计算（主要消耗cpu），2等待（io、数据库等）
第一种极端情况，如果我们的操作是纯粹的计算，那么系统响应时间的主要限制就是cpu的运算能力，此时maxThreads应该尽量设的小，降低同一时间内争抢cpu的线程个数，可以提高计算效率，提高系统的整体处理能力。
第二种极端情况，如果我们的操作纯粹是IO或者数据库，那么响应时间的主要限制就变为等待外部资源，此时maxThreads应该尽量设的大，这样才能提高同时处理请求的个数，从而提高系统整体的处理能力。此情况下因为tomcat同时处理的请求量会比较大，所以需要关注一下tomcat的虚拟机内存设置和linux的open file限制。
maxThreads的配置绝对不是越大越好

2、acceptCount

当tomcat起动的线程数达到最大时，接受排队的请求个数，默认值为100

Linux内核协议栈为一个tcp连接管理使用两个队列，一个是半链接队列（用来保存处于SYN_SENT和SYN_RECV状态的请求），一个是全连接队列（accpetd队列）（用来保存处于established状态，但是应用层没有调用accept取走的请求）。默认的话半连接队列的长度是/proc/sys/net/ipv4/tcp_max_syn_backlog，默认是1024。如果开启了syncookies，那么基本上没有限制。

图片.png

tomcat有一个acceptor线程来accept socket连接，然后有工作线程来进行业务处理。对于client端的一个请求进来，在第三次握手之后，该连接进入到accept队列。tomcat的acceptor线程则负责从accept队列中取出该connection，接受该connection，然后交给工作线程去处理(读取请求参数、处理逻辑、返回响应等等；如果该连接不是keep alived的话，则关闭该连接，然后该工作线程释放回线程池，如果是keep alived的话，则等待下一个数据包的到来直到keepAliveTimeout，然后关闭该连接释放回线程池)，然后自己接着去accept队列取connection(当当前socket连接超过maxConnections的时候，acceptor线程自己会阻塞等待，等连接降下去之后，才去处理accept队列的下一个连接)。acceptCount指的就是这个accept队列的大小

查看方法：

查看半连接队列：cat /proc/sys/net/core/somaxconn
查看半连接队列：cat /proc/sys/net/ipv4/tcp_max_syn_backlog

设置方法：

设置半连接队列大小：net.ipv4.tcp_max_syn_backlog = 16384
设置全连接队列大小：net.core.somaxconn = 16384

acceptCount的配置
acceptCount="1000"
这个值应该是主要根据应用的访问峰值与平均值来权衡配置的，通常可以使用默认值100或者设置为跟maxThreads相同

如果设的较小，可以保证接受的请求较快相应，但是超出的请求可能就直接被拒绝
如果设的较大，可能就会出现大量的请求超时的情况，因为我们系统的处理能力是一定的

3、maxConnections

这个值表示最多可以有多少个socket连接到tomcat上。NIO模式下默认是10000，对于BIO，默认的是maxThreads的值，APR /native的默认值是8192。
本参数与maxThreads是不同的，maxThreads是woker线程并发处理请求的最大数。也就是虽然client的socket连接上了，但是可能都在tomcat的task queue里头，等待worker线程处理返回响应。
maxConnections配置方法
maxConnections = "1000"

4、enableLookups

***如果你想request.getRemoteHost（）的调用执行，以便返回的远程客户端的实际主机名的DNS查询，则设置为true。设置为false时跳过DNS查找，并返回字符串形式的IP地址（从而提高性能）。默认情况下，禁用DNS查找。

二、tomcat的几种HTTP连接器

HTTP连接器即对应Connector中设置的protocol参数的值
protocol：协议类型，可选类型有四种，分别为BIO（阻塞型IO），NIO，NIO2和APR。
1、 BIO：BIO(Blocking I/O)，顾名思义，即阻塞式I/O操作，表示Tomcat使用的是传统的Java I/O操作(即java.io包及其子包)。Tomcat在默认情况下，是以bio模式运行的。遗憾的是，就一般而言，bio模式是三种运行模式中性能最低的一种。BIO配置采用默认即可。
protocol="HTTP/1.1"
2、 NIO：NIO(New I/O)，同步非阻塞，是Java SE 1.4及后续版本提供的一种新的I/O操作方式(即java.nio包及其子包)。Java nio是一个基于缓冲区、并能提供非阻塞I/O操作的Java API，因此nio也被看成是non-blocking I/O的缩写。它拥有比传统I/O操作(bio)更好的并发运行性能。要让Tomcat以nio模式来运行也比较简单，我们只需要protocol类型修改为：

//NIO 
protocol="org.apache.coyote.http11.Http11NioProtocol" 
//NIO2 （异步非阻塞）
protocol="org.apache.coyote.http11.Http11Nio2Protocol"

3、 APR：APR(Apache Portable Runtime/Apache可移植运行时)，是Apache HTTP服务器的支持库。你可以简单地理解为:Tomcat将以JNI的形式调用 Apache HTTP服务器的核心动态链接库来处理文件读取或网络传输操作，从而大大地提高 Tomcat对静态文件的处理性能。
与配置 NIO运行模式一样，也需要将对应的 Connector节点的 protocol属性值改为：
protocol="org.apache.coyote.http11.Http11AprProtocol"
***注：在tomcat6和7版本中，服务器会自动选择使用BIO或者APR模式处理网络请求，但需要在本地安装tomcat-native，tomcat的bin目录下自带tomcat-native.tar.gz包。

关于这几种模式的性能
并不是说 BIO的性能就一定不如 NIO，这几种类型 Connector之间并没有明显的性能区别，它们之间实现流程和原理不同，所以它们的选择是需要根据应用的类型来决定的。
BIO更适合处理简单流程，如程序处理较快可以立即返回结果。简单项目及应用可以采用BIO。
NIO更适合后台需要耗时完成请求的操作，如程序接到了请求后需要比较耗时的处理这已请求，所以无法立即返回结果，这样如果采用BIO就会占用一个连接，而使用NIO后就可以将此连接转让给其他请求，直至程序处理完成返回为止。NIO是tomcat8上的默认运行模式。
APR可以大大提升Tomcat对静态文件的处理性能，同时如果你使用了HTTPS方式传输的话，也可以提升SSL的处理性能。

附：apr安装方法
tomcat7上设置BIO方式即使用protocol="HTTP/1.1"时tomcat会自动搜索系统指定路径里是不是有apr的库文件，如果可以搜索到，则自动使用apr模式。默认tomcat安装时不安装apr库文件，apr需要自行安装并需要安装tomcat的bin目录下的tomcat-native包。
安装依赖库

因为apr模式本质是使用JNI技术调用操作系统IO接口，需要用到相关API的头文件

> yum install apr-devel
> yum install openssl-devel
> yum install gcc
> yum install make

gcc和make一般系统环境都会有，主要是安装apr-devel和openssl-devel（arp支持启用openssl的ssl功能，并且默认是开启的）

图片.png

依赖环境安装完之后安装apr的包（这里建议手动装，yum装之后后面安装tomcat-native包的时候会提示找不到apr的包，需要指定apr包的路径才行）
这里以apr-1.6.3为例

    > tar jxvf apr-1.6.3.tar.bz2
    > cd apr-1.6.3
    > ./configure --prefix=/usr/local/apr
    > make && make install

安装过apr之后还需要安装tomcat-native包

    > cd tomcat-dufg/bin
    > cd tomcat-native-1.1.31-src/jni/native
    > ./configure --with-apr=/usr/local/apr
    > make && make install

因为tomcat是需要搜索apr包的路径，所以和jdk一样apr也需要设置环境变量
环境变量的三种设置方法
1、设置LD_LIBRARY_PATH和LD_RUN_PATH环境变量，指向/usr/local/apr/lib目录，可配置到$HOME/.profile文件中

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/apr/lib
export LD_RUN_PATH=$LD_RUN_PATH:/usr/local/apr/lib

2、拷贝/usr/local/apr/lib目录下所有动态库到/usr/lib或/lib系统共享库搜索目录下即可。

    > copy /usr/local/apr/lib/libtcnative* /usr/lib/

3、编辑$TOMCAT_HOME/bin/catalina.sh文件，在虚拟机启动参数JAVA_OPTS中添加java.library.path参数，指定apr库的路径（推荐使用这种方法）

JAVA_OPTS="$JAVA_OPTS -Djava.library.path=/usr/local/apr/lib"

设置好之后重启tomcat，查看catalina.out日志输出

图片.png

出现"http-apr-8080"和"ajp-apr-8009"，说明已经apr已经成功启用。
未安装时的输出是类似：INFO: The APR based Apache Tomcat Native library which allows optimal performance in production environments was not found on the java.library.path: xxx/xxx这种。

更多tomcat配置项请参考：http://blog.sina.com.cn/s/blog_64a52f2a0101g3sq.html