为何要使用线程池和任务队列
在实际应用场景中,通常会有大量的任务请求需要处理,如果应用轮询处理到达的请求,而通常请求量是巨大的,假如某个请求耗时比较长,后续请求都会被阻塞。
一般简单的处理模型是,为每一个请求分配一个线程处理。但在高并发的场景下,服务器需要大量的创建和销毁线程,而性能消耗在线程的创建和销毁过程中,包括线程间的切换。解决这一并发问题的方案就是使用有限线程池,应用程序在初始化预先创建出线程池,消除创建线程带来的延迟,而有限的线程数也能很好的平衡线程之间的竞争带来的性能损耗。
良好的情况是,请求过来以后,恰好有空闲的线程分配来处理。而实际应用时,会出现请求到达,而没有空闲线程来处理,这时请求任务需要等待,为线程池构建任务队列就是为了解决这一问题。
有一种情况是任务队列里等待处理的任务数过大,服务应用根本处理不了,这种场景下,我们应该让后续过来的请求任务进入异常处理,一般根据业务类型可以设置超时时间,让出资源。
Java线程池的实现
jdk(jdk版本1.5以后)中提供了java.util.concurrent包,增加了对线程的使用工具。
- Executors对象
Executors类是Jdk中线程池的工具类,真正的线程池接口对象是ExecutorService。java中更具不同的需求扩展了ExecutorService对象:
ScheduledExecutorService:解决那些需要任务重复执行的问题。
ThreadPoolExecutor:ExecutorService的默认实现。
ScheduledThreadPoolExecutor:继承ThreadPoolExecutor的ScheduledExecutorService接口实现,周期性任务调度的类实现。
Executors类里面提供了一些静态工厂,生成一些常用的线程池:
1.newSingleThreadExecutor
创建一个单线程的线程池。这个线程池只有一个线程在工作,也就是相当于单线程串行执行所有任务。如果这个唯一的线程因为异常结束,那么会有一个新的线程来替代它。此线程池保证所有任务的执行顺序按照任务的提交顺序执行。
public class MyThread extends Thread {
@Override
public void run() {
System.out.println(Thread.currentThread().getName() + "Runing......");
}
}
//创建一个可重用固定线程数的线程池
ExecutorService pool = Executors. newSingleThreadExecutor();
Thread t1 = new MyThread();
//将线程放入池中进行执行
pool.execute(t1);
pool.shutdown();
2.newFixedThreadPool
创建固定大小的线程池。每次提交一个任务就创建一个线程,直到线程达到线程池的最大大小。线程池的大小一旦达到最大值就会保持不变,如果某个线程因为执行异常而结束,那么线程池会补充一个新线程。
//创建一个可重用固定线程数的线程池
ExecutorService pool = Executors.newFixedThreadPool(2);
Thread t1 = new MyThread();
//将线程放入池中进行执行
pool.execute(t1);
pool.shutdown();
3.newCachedThreadPool
创建一个可缓存的线程池。如果线程池的大小超过了处理任务所需要的线程,
那么就会回收部分空闲(60秒不执行任务)的线程,当任务数增加时,此线程池又可以智能的添加新线程来处理任务。此线程池不会对线程池大小做限制,线程池大小完全依赖于操作系统(或者说JVM)能够创建的最大线程大小。
//创建一个可重用固定线程数的线程池
ExecutorService pool = Executors.newCachedThreadPool();
Thread t1 = new MyThread();
//将线程放入池中进行执行
pool.execute(t1);
pool.shutdown();
4.newScheduledThreadPool
创建一个大小无限的线程池。此线程池支持定时以及周期性执行任务的需求。
ScheduledThreadPoolExecutor exec = new ScheduledThreadPoolExecutor(1);
exec.scheduleAtFixedRate(new Runnable() {//每隔一段时间就触发异常
@Override
publicvoid run() {
//throw new RuntimeException();
System.out.println("================");
}
}, 1000, 5000, TimeUnit.MILLISECONDS);
- ThreadPoolExecutor对象
ThreadPoolExecutor的完整构造方法是:
ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory, RejectedExecutionHandler handler)
corePoolSize --- 池中所保存的线程数,包括空闲线程。
maximumPoolSize --- 池中允许的最大线程数。
keepAliveTime --- 当线程数大于核心时,此为终止前多余的空闲线程等待新任务的最长时间。
unit --- keepAliveTime 参数的时间单位。
workQueue --- 执行前用于保持任务的队列。此队列仅保持由 execute方法提交的 Runnable任务。
threadFactory --- 执行程序创建新线程时使用的工厂。
handler --- 由于超出线程范围和队列容量而使执行被阻塞时所使用的处理程序。
示例:
ThreadPoolExecutor tExecutor = new ThreadPoolExecutor(4, 4, 60L, TimeUnit.SECONDS, new LinkedBlockingDeque<Runnable>(256));
tExecutor.allowCoreThreadTimeOut(false);//这里设置为true,空闲的core thread会被干掉
- BlockingQueue队列的选择
1.SynchronousQueue直接提交,SynchronousQueue队列是有界的。Executor会直接提交任务给线程处理,如果没有空闲的线程,则会创建新线程。此时加入队列等待会失败。如果线程数有限制,则会导致无法创建新线程,任务进入异常处理。所以SynchronousQueue是配合无解线程池的。
new ThreadPoolExecutor(
2, 3, 30, TimeUnit.SECONDS,
new SynchronousQueue<Runnable>(),
new RecorderThreadFactory("CookieRecorderPool"),
new ThreadPoolExecutor.CallerRunsPolicy());
2.LinkedBlockingQueue无界队列,在线程都处于忙的状态下,将任务加入队列等待。如果请求并发量大,会导致队列不断增长。LinkedBlockingQueue也可以预定义大小。
new ThreadPoolExecutor(
2, 4, 30, TimeUnit.SECONDS,
new LinkedBlockingQueue<Runnable>(2),
new RecorderThreadFactory("CookieRecorderPool"),
new ThreadPoolExecutor.CallerRunsPolicy());
3.ArrayBlockingQueue有界队列,这种策略主要是防止系统资源被耗尽。在线程池大小受限,队列大小受限的条件下,系统必须考虑异常的场景,所以比较复杂。
new ThreadPoolExecutor(
2, 4, 30, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(2),
new RecorderThreadFactory("CookieRecorderPool"),
new ThreadPoolExecutor.CallerRunsPolicy());
- ThreadFactory的构造方法
ThreadFactory接口提供创建线程的方式和属性,可以自定义实现
public class DaemonThreadFactory implements ThreadFactory {
public Thread newThread(Runnable r) {
Thread t = new Thread(r);
t.setDaemon(true);
return t;
}
}
public class MaxPriorityThreadFactory implements ThreadFactory {
public Thread newThread(Runnable r) {
Thread t = new Thread(r);
t.setPriority(Thread.MAX_PRIORITY);
return t;
}
}
- RejectedExecutionHandler策略选择
在任务请求被拒绝以后的处理策略由RejectedExecutionHandler方法决定,一共有如下四种策略:
1.CallerRunsPolicy当任务被拒绝加入等待队列,而又无法新建线程时,任务将由调用Executors的线程执行。
2.AbortPolicy当任务被拒绝处理是,直接抛出RejectedExecutionException
3.DiscardPolicy当任务被拒绝处理,直接被删除不会抛出任何异常
4.DiscardOldestPolicy当任务被拒绝处理,会删掉队列最头部任务,然后重试,如果再次失败,再删掉队列头部数据重试。这种策略会挤掉队列旧任务,比较复杂。
Java多线程数据共享
- Runable对象
java中通过实现Runable接口类的方法来达到数据共享的目的,在自定义实现Runable接口时需要覆盖run方法
static class MyRunable implements Runnable {
public int count = 100;
public void run() {
count--;
System.out.println("run:"+count);
}
}
- Callable对象
Callable对象类似与Runable,又有区别:
1.Callable需要覆盖call方法,此方法可以抛出异常。
2.Callable对象可以返回一个Future对象,Future可以查看线程执行结果。
public class MyCallable implements Callable{
private int flag = 0;
public MyCallable(int flag){
this.flag = flag;
}
public String call() throws Exception{
if (this.flag == 0){
return "flag = 0";
}
if (this.flag == 1){
try {
while (true) {
System.out.println("looping.");
Thread.sleep(2000);
}
} catch (InterruptedException e) {
System.out.println("Interrupted");
}
return "false";
} else {
throw new Exception("Bad flag value!");
}
}
}
通过ExecutorService对象的sibmit方法可以返回一个Future对象
MyCallable task = new MyCallable(0);
// 创建一个执行任务的服务
ExecutorService es = Executors.newFixedThreadPool(1);
try {
Future future = es.submit(task);
System.out.println("task: " + future.get());
} catch (Exception e){
System.out.println(e.toString());
}
es.shutdownNow();
- FutureTask对象
FutureTask是对Runable和Future两个接口类的实现。FutureTask对象可以作为Runable提交给线程执行,也可以作为返回的结果。FutureTask对象拥有state,runner两种属性值,也支持cannel()方法和run()方法。
具体原理可以参看源码,这里不做描述了,给一个简单示例:
ExecutorService executor = Executors.newSingleThreadExecutor();
FutureTask<String> task = new FutureTask<String>(new Callable<String>() {
@Override
public String call() throws Exception {
return "call";
}
});
executor.execute(task);
try {
System.out.println(task.get());
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
}
executor.shutdown();
总结
- 这里只是简单总结了java线程池相关的知识点,有些细节还需要深入学习
- 遗留java多线程同步的问题,抽时间再写