在众多的编程语言和网络库中,拿来介绍网络编程的例子,echo服务器和客户端恐怕是最多的一个例子。netty作为一个在java语言中应用非常广泛、非常优秀的网络编程框架,echo服务器和客户端程序往往是大家第一个接触的实例程序。很多工程师正是通过echo服务器和客户端跨入netty的大门。
我们先看一个echo服务器的完整实例代码:
/**
* Echoes back any received data from a client.
*/
public final class EchoServer {
static final boolean SSL = System.getProperty("ssl") != null;
static final int PORT = Integer.parseInt(System.getProperty("port", "8007"));
public static void main(String[] args) throws Exception {
// Configure SSL.
final SslContext sslCtx;
if (SSL) {
SelfSignedCertificate ssc = new SelfSignedCertificate();
sslCtx = SslContextBuilder.forServer(ssc.certificate(), ssc.privateKey()).build();
} else {
sslCtx = null;
}
// Configure the server.
EventLoopGroup bossGroup = new NioEventLoopGroup(1);
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
// 把ServerBootstrap的channelfactory设置为ReflectiveChannelFactory
// 当执行channelfactory的newChannel方法时,会创建NioServerSocketChannel实例
.channel(NioServerSocketChannel.class)
.option(ChannelOption.SO_BACKLOG, 100)
// 处理server Socket事件
.handler(new LoggingHandler(LogLevel.INFO))
// 处理client socket事件
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
public void initChannel(SocketChannel ch) throws Exception {
ChannelPipeline p = ch.pipeline();
if (sslCtx != null) {
p.addLast(sslCtx.newHandler(ch.alloc()));
}
//p.addLast(new LoggingHandler(LogLevel.INFO));
p.addLast(new EchoServerHandler());
}
});
// Start the server.
ChannelFuture f = b.bind(PORT).sync();
// Wait until the server socket is closed.
f.channel().closeFuture().sync();
} finally {
// Shut down all event loops to terminate all threads.
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
}
}
代码中前面一段跟SSL相关的代码我们先跳过,从这两行代码开始:
EventLoopGroup bossGroup = new NioEventLoopGroup(1);
EventLoopGroup workerGroup = new NioEventLoopGroup();
这里创建了两个EventLoopGroup
对象bossGroup
和workerGroup
,bossGroup
主要用来处理server socket监听client socket的连接请求,server socket接收了新建连接后,会把connection socket放到workerGroup
中进行处理,也就是说workerGroup
主要用来处理connection socket的网络IO和相关的业务逻辑。netty支持很多种线程模型,这种bossGroup
和workerGroup
的组合是比较典型的。
netty作为一个异步的事件驱动(event drivern)的网络应用程序框架,采用非阻塞的多路复用的网络io模型。连接建立、连接关闭、socket可读、socket可写这些状态的改变称为一个个“事件(event)”,当然事件也可以是应用程序添加的一个任务。而处理这些event的线程就是一个无限循环(for or while loop),没有事件发生时,线程一直等待事件的产生。当有事件发生时,则处理所有的事件,处理完后则开始下一个循环,继续等待新的事件的发生。所以这种处理逻辑叫做eventloop,eventloop与线程是一一对应的,一个eventloop对应一个线程,一个线程也只有一个eventloop。而eventloopgroup主要包含了一组eventloop(线程池),当然还有许多线程任务分发等管理功能。
eventloopgroup/eventloop是netty的核心部件之一,可以说是netty三大核心部件之一,另外两个是channel和pipeline。eventloopgroup/eventloop定义了netty的线程模型,包括channel对socket的操作、pipeline的业务处理、用户提交的任务在内的所有任务的分发调度和执行都是在eventloopgroup/eventloop中进行。
这里为eventloopgroup
接口实例化的是类NioEventLoopGroup
,NioEventLoopGroup基于java nio进行网络操作。
我们跟踪一下NioEventLoopGroup
的构造函数,
NioEventLoopGroup
public NioEventLoopGroup(int nThreads) {
this(nThreads, (Executor) null);
}
public NioEventLoopGroup(int nThreads, Executor executor) {
this(nThreads, executor, SelectorProvider.provider());
}
public NioEventLoopGroup(
int nThreads, Executor executor, final SelectorProvider selectorProvider) {
this(nThreads, executor, selectorProvider, DefaultSelectStrategyFactory.INSTANCE);
}
public NioEventLoopGroup(int nThreads, Executor executor, final SelectorProvider selectorProvider,
final SelectStrategyFactory selectStrategyFactory) {
super(nThreads, executor, selectorProvider, selectStrategyFactory, RejectedExecutionHandlers.reject());
}
然后进入他的父类:
MultithreadEventLoopGroup
protected MultithreadEventLoopGroup(int nThreads, Executor executor, Object... args) {
super(nThreads == 0 ? DEFAULT_EVENT_LOOP_THREADS : nThreads, executor, args);
}
继续进入上一级父类:
MultithreadEventExecutorGroup
protected MultithreadEventExecutorGroup(int nThreads, Executor executor, Object... args) {
this(nThreads, executor, DefaultEventExecutorChooserFactory.INSTANCE, args);
}
protected MultithreadEventExecutorGroup(int nThreads, Executor executor,
EventExecutorChooserFactory chooserFactory, Object... args) {
}
这里进入了一个有实质内容的构造函数,在分析这个函数之前,我们先根据构造函数的调用链梳理一下构造函数的入参的值。
nThreads = (nThreads == 0 ? DEFAULT_EVENT_LOOP_THREADS : nThreads);
executor = null;
chooserFactory = DefaultEventExecutorChooserFactory.INSTANCE;
args = [SelectorProvider SelectorProvider.provider(),
SelectStrategyFactory DefaultSelectStrategyFactory.INSTANCE,
RejectedExecutionHandler RejectedExecutionHandlers.reject()]
可见如果NioEventLoopGroup
的构造函数如果nThreads为非0值,则为传入的实际值,如果为0或没有参数,则为DEFAULT_EVENT_LOOP_THREADS
,我们看下DEFAULT_EVENT_LOOP_THREADS
的定义,
DEFAULT_EVENT_LOOP_THREADS = Math.max(1, SystemPropertyUtil.getInt(
"io.netty.eventLoopThreads", NettyRuntime.availableProcessors() * 2));
继续跟下去,可以知道NettyRuntime.availableProcessors()
默认值为Runtime.getRuntime().availableProcessors()
,也就是说nThreads值默认为CPU核心数的2倍
接下来我们分析构造函数:
protected MultithreadEventExecutorGroup(int nThreads, Executor executor, EventExecutorChooserFactory chooserFactory, Object... args)
首先为executor
重新赋值:
if (executor == null) {
// DefaultThreadFactory设置: 非daemon、线程优先级5、线程名字、线程组为当前线程所属组
executor = new ThreadPerTaskExecutor(newDefaultThreadFactory());
}
因为executor
入参值为null,所以executor
重新赋值为ThreadPerTaskExecutor
类的一个新建实例,ThreadPerTaskExecutor
就是eventloop的执行器,eventloop的所有任务都是通过调用ThreadPerTaskExecutor
的execute()
函数,从而创建一个线程,进而执行提交的任务的。ThreadPerTaskExecutor
只有一个成员,线程工厂DefaultThreadFactory
,这个线程工厂创建的线程实例设置的线程属性为:非daemon、线程优先级5、线程名的前缀、所属的线程组与当前线程相同,一句话,创建的是一个普通线程,其中线程名的前缀为:
nioEventLoopGroup-poolId-
, poolId初始值为0,每创建一个DefaultThreadFactory
实例值加1。
然后初始化EventLoopGroup的线程池,具体代码如下:
// 创建一个数组,数组大小为线程的个数
children = new EventExecutor[nThreads];
for (int i = 0; i < nThreads; i ++) {
boolean success = false;
try {
// 初始化线程executor
children[i] = newChild(executor, args);
success = true;
} catch (Exception e) {
// TODO: Think about if this is a good exception type
throw new IllegalStateException("failed to create a child event loop", e);
} finally {
// 如果初始化一个线程executor时抛出异常,则执行这一段代码:关闭前面创建的所有executor,并等待所有线程退出运行
if (!success) {
for (int j = 0; j < i; j ++) {
children[j].shutdownGracefully();
}
for (int j = 0; j < i; j ++) {
EventExecutor e = children[j];
try {
while (!e.isTerminated()) {
e.awaitTermination(Integer.MAX_VALUE, TimeUnit.SECONDS);
}
} catch (InterruptedException interrupted) {
// Let the caller handle the interruption.
Thread.currentThread().interrupt();
break;
}
}
}
}
}
初始化过程,在代码注释中已经说明了,关键语句children[i] = newChild(executor, args);
我们先放下,待会再详细分析。
线程选择器初始化:
chooser = chooserFactory.newChooser(children);
chooser实现了eventloopgroup的任务分派,当需要向线程池提交一个新的任务时,如注册一个新的服务端socket到eventloop,则通过chooser选择一个具体的executor。从前面分析得知,chooserFactory是DefaultEventExecutorChooserFactory
的一个实例,它的executor选择逻辑代码如下:
public EventExecutorChooser newChooser(EventExecutor[] executors) {
if (isPowerOfTwo(executors.length)) {
return new PowerOfTwoEventExecutorChooser(executors);
} else {
return new GenericEventExecutorChooser(executors);
}
}
private static boolean isPowerOfTwo(int val) {
return (val & -val) == val;
}
private static final class PowerOfTwoEventExecutorChooser implements EventExecutorChooser {
private final AtomicInteger idx = new AtomicInteger();
private final EventExecutor[] executors;
PowerOfTwoEventExecutorChooser(EventExecutor[] executors) {
this.executors = executors;
}
@Override
// executor数是2的n次方,用与来计算,改善性能
public EventExecutor next() {
return executors[idx.getAndIncrement() & executors.length - 1];
}
}
private static final class GenericEventExecutorChooser implements EventExecutorChooser {
private final AtomicInteger idx = new AtomicInteger();
private final EventExecutor[] executors;
GenericEventExecutorChooser(EventExecutor[] executors) {
this.executors = executors;
}
@Override
// executor数不是2的n次方,用除法求余的方式计算
public EventExecutor next() {
return executors[Math.abs(idx.getAndIncrement() % executors.length)];
}
}
可见,线程池中的个数是2的n次方与不是2的n次方,具体的计算方法不一样,但效果都是round-robin的选择方法。
最后,为线程池的每一个EventExcutor注册一个结束后的回调函数,并把所有的EventExcutor保存到一个不可修改的Set中。具体代码如下:
// 线程结束时的回调函数
final FutureListener<Object> terminationListener = new FutureListener<Object>() {
@Override
public void operationComplete(Future<Object> future) throws Exception {
if (terminatedChildren.incrementAndGet() == children.length) {
terminationFuture.setSuccess(null);
}
}
};
// 注册回调函数
for (EventExecutor e: children) {
e.terminationFuture().addListener(terminationListener);
}
Set<EventExecutor> childrenSet = new LinkedHashSet<EventExecutor>(children.length);
Collections.addAll(childrenSet, children);
readonlyChildren = Collections.unmodifiableSet(childrenSet);
这个构造函数分析完了,下面分析eventloop以及它的初始化,也就是前面遗留没有分析的children[i] = newChild(executor, args);
newChild
是一个抽象函数:
protected abstract EventExecutor newChild(Executor executor, Object... args) throws Exception;
我们先看看类NioEventLoopGroup的继承体系:
然后从NioEventLoopGroup开始往上找哪个最底层的类实现了newChild()函数。
然后在类NioEventLoopGroup中找到了它的实现,
protected EventLoop newChild(Executor executor, Object... args) throws Exception {
return new NioEventLoop(this, executor, (SelectorProvider) args[0],
((SelectStrategyFactory) args[1]).newSelectStrategy(), (RejectedExecutionHandler) args[2]);
}
可见EventExecutor是NioEventLoop的一个实例,按照分析NioEventLoopGroup一样的分析过程,这里我不在粘贴具体代码了,只列出NioEventLoop的关键域的初始值,
NioEventLoop的继承体系:
关键域的初始值及说明:
SelectorProvider provider = SelectorProvider.provider()
Selector selector = provider.openSelector()
SelectStrategy selectStrategy = DefaultSelectStrategyFactory.INSTANCE
boolean addTaskWakesUp = false // 添加任务时不wakeup线程eventloop
int maxPendingTasks = Math.max(16,
SystemPropertyUtil.getInt("io.netty.eventLoop.maxPendingTasks", Integer.MAX_VALUE)); // 最小值为16,默认值为Integer.MAX_VALUE
Queue<Runnable> tailTasks = new LinkedBlockingQueue<Runnable>(maxPendingTasks)
Queue<Runnable> taskQueue = new LinkedBlockingQueue<Runnable>(maxPendingTasks)
EventExecutorGroup parent = 执行newChild函数的NioEventLoopGroup实例
Executor executor = ThreadPerTaskExecutor的实例
这里特别说明一下provider
和selector
。
provider
在不同的操作系统平台下有不同的实现,windowns平台是WindowsSelectorProvider。在linux平台下,如果内核版本>=2.6则,具体的实现为EPollSelectorProvider,否则为默认的PollSelectorProvider。MAC平台下则是KQueueSelectorProvider。
selector
是netty的一个核心概念,封装了不同平台的多路复用网络io模式,eventloop正是通过向selector注册感兴趣的事件(event),然后等待事件发生,从而实现非阻塞异步处理事件的目的。在linux平台下,底层通过epoll实现,执行provider.openSelector()可以理解为执行了epoll_init()系统调用,会返回一个epoll句柄给selector,然后通过selector可以向epoll注册感兴趣的事件,并在事件发生时获取发生的事件,然后对事件进行相应的处理。