Dubbo剖析-SPI机制

文章要点

  1. 什么是spi
  2. dubbo为什么实现自己的spi
  3. dubbo的adaptive机制
  4. dubbo的IOC和AOP
  5. dubbo动态编译机制
  6. dubbo与spring的融合

一、什么是spi

SPI 全称为 (Service Provider Interface) ,是JDK内置的一种服务提供发现机制。SPI是一种动态替换发现的机制。我们经常遇到的就是java.sql.Driver接口,不同的数据库不同的Driver实现。

如何应用?
当服务的提供者提供了一种接口的实现之后,需要在classpath下的META-INF/services/目录里创建一个以服务接口命名的文件,这个文件里的内容就是这个接口的具体的实现类。当程序需要这个服务的时候,调用java.util.ServiceLoader加载spi配置文件即可获取spi文件里所有的实现类。

举例说明
mysql
在mysql-connector-java-5.1.45.jar中,META-INF/services目录下会有一个名字为java.sql.Driver的文件:

com.mysql.jdbc.Driver
com.mysql.fabric.jdbc.FabricMySQLDriver

驱动加载
DriverManager

static {
    loadInitialDrivers();
    println("JDBC DriverManager initialized");
}

//loadInitialDrivers
AccessController.doPrivileged(new PrivilegedAction<Void>() {
    public Void run() {
        ServiceLoader<Driver> loadedDrivers = ServiceLoader.load(Driver.class);
        Iterator<Driver> driversIterator = loadedDrivers.iterator();

可参考:spi详解

二、dubbo为什么实现自己的spi

为什么dubbo要实现自己的spi?

  1. JDK 是加载所有的spi类,没有用到的会浪费
  2. JDK spi不支持缓存
  3. JDK spi通过for循环进行加载,dubbo支持按照key进行获取spi对象

三、dubbo 的adaptive机制

Adaptive如字面意思,适配的类。dubbo的spi入口ExtensionLoader.getExtensionLoader,当我们传入type,ExtensionLoader扫描对应的spi文件,如果类加@Adaptive注解则直接返回,反之自动生成对应适配类。

调用ExtensionLoader的地方有多个,下面列两个,有兴趣的可以自己跟踪下代码

//com.alibaba.dubbo.container.Main 启动入口
private static final ExtensionLoader<Container> loader = ExtensionLoader.getExtensionLoader(Container.class);

//com.alibaba.dubbo.config.ServiceConfig
private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();

调用链路
|--ExtensionLoader.getAdaptiveExtension
|----ExtensionLoader.createAdaptiveExtension
|------ExtensionLoader.injectExtension
|--------ExtensionLoader.getAdaptiveExtensionClass
|----------ExtensionLoader.getExtensionClasses
|------------ExtensionLoader.loadExtensionClasses
|--------------ExtensionLoader.loadFile
|----------ExtensionLoader.createAdaptiveExtensionClass

getAdaptiveExtensionClass,获取Adaptive适配类,返回 cachedAdaptiveClass,这个在 spi加载的时候会提取出来并缓存到cachedAdaptiveClass,如果没有Adaptive类则自动生成。

先看下getExtensionClasses调用的loadExtensionClasses的实现逻辑

private Map<String, Class<?>> loadExtensionClasses() {
    final SPI defaultAnnotation = type.getAnnotation(SPI.class);
    if (defaultAnnotation != null) {
        String value = defaultAnnotation.value();
        if (value != null && (value = value.trim()).length() > 0) {
            String[] names = NAME_SEPARATOR.split(value);
            if (names.length > 1) {
                throw new IllegalStateException("more than 1 default extension name on extension " + type.getName()
                        + ": " + Arrays.toString(names));
            }
            if (names.length == 1) cachedDefaultName = names[0];
        }
    }
    
    //将所有的spi缓存到extensionClasses
    Map<String, Class<?>> extensionClasses = new HashMap<String, Class<?>>();
    loadFile(extensionClasses, DUBBO_INTERNAL_DIRECTORY);
    loadFile(extensionClasses, DUBBO_DIRECTORY);
    loadFile(extensionClasses, SERVICES_DIRECTORY);
    return extensionClasses;
}

loadFile

加载对应路径下的spi文件里的class并存储到缓存变量里

加载的路径

DUBBO_INTERNAL_DIRECTORY = META-INF/dubbo/internal/
DUBBO_DIRECTORY = META-INF/dubbo/
SERVICES_DIRECTORY = META-INF/services/

文件名

目录 + type.getName();

三个缓存变量

cachedAdaptiveClass
如果这个class含有adaptive注解就赋值,例如ExtensionFactory,而例如Protocol在这个环节是没有的。

cachedWrapperClasses
只有当该class无adative注解,并且构造函数包含目标接口(type)类型,例如protocol里面的spi就只有ProtocolFilterWrapper和ProtocolListenerWrapper能命中

cachedActivates
剩下的类,类有Activate注解

cachedNames
剩下的类就存储在这里

代码视图

private void loadFile(Map<String, Class<?>> extensionClasses, String dir) {
    //省略若干代码

    Class<?> clazz = Class.forName(line, true, classLoader);
    
    //查看类或方法是否包含Adaptive注解,如:AdaptiveExtensionFactory
    if (clazz.isAnnotationPresent(Adaptive.class)) {
        if (cachedAdaptiveClass == null) {
            cachedAdaptiveClass = clazz;
        } else if (!cachedAdaptiveClass.equals(clazz)) {
            throw new IllegalStateException("More than 1 adaptive class found: "
                    + cachedAdaptiveClass.getClass().getName()
                    + ", " + clazz.getClass().getName());
        }
    } else {
        try {
            //判断该类是否有type参数的构造方法,如ProtocolFilterWrapper,ProtocolListenerWrapper
            clazz.getConstructor(type);
            Set<Class<?>> wrappers = cachedWrapperClasses;
            if (wrappers == null) {
                cachedWrapperClasses = new ConcurrentHashSet<Class<?>>();
                wrappers = cachedWrapperClasses;
            }
            //添加到 cachedWrapperClasses
            wrappers.add(clazz);
        } catch (NoSuchMethodException e) {
            clazz.getConstructor();
            if (name == null || name.length() == 0) {
                //spi没有key的情况下, 读取注解名
                name = findAnnotationName(clazz);
                if (name == null || name.length() == 0) {
                    if (clazz.getSimpleName().length() > type.getSimpleName().length()
                            && clazz.getSimpleName().endsWith(type.getSimpleName())) {
                        //读取 simpleName的一部分作为name  如 com.alibaba.dubbo.rpc.protocol.http.HttpProtocol
                        name = clazz.getSimpleName().substring(0, clazz.getSimpleName().length() - type.getSimpleName().length()).toLowerCase();
                    } else {
                        throw new IllegalStateException("No such extension name for the class " + clazz.getName() + " in the config " + url);
                    }
                }
            }
            String[] names = NAME_SEPARATOR.split(name);
            if (names != null && names.length > 0) {
                //判断是否类上有Activate 注解  
                Activate activate = clazz.getAnnotation(Activate.class);
                if (activate != null) {
                    cachedActivates.put(names[0], activate);
                }
                for (String n : names) {
                    if (!cachedNames.containsKey(clazz)) {
                        //上面的逻辑如果都没有符合的,加入到 cachedNames
                        cachedNames.put(clazz, n);
                    }
                    Class<?> c = extensionClasses.get(n);
                    if (c == null) {
                        extensionClasses.put(n, clazz);
                    } else if (c != clazz) {
                        throw new IllegalStateException("Duplicate extension " + type.getName() + " name " + n + " on " + c.getName() + " and " + clazz.getName());
                    }
                }
            }
        }
    }

    //省略若干代码
}

经过spi文件的加载,对应的class都已经缓存,最后调用ExtensionLoader.getAdaptiveExtension返回,getAdaptiveExtension方法会判断 cachedAdaptiveInstance 是否为空如果不为空则返回反之则生成对应的 Adaptive类,生成逻辑见下方第五小节。

四、dubbo 的IOC和AOP

private T createExtension(String name) {
    //从缓存里获取class
    Class<?> clazz = getExtensionClasses().get(name);
    if (clazz == null) {
        throw findException(name);
    }
    try {
        //从缓存获取class实例
        T instance = (T) EXTENSION_INSTANCES.get(clazz);
        if (instance == null) {
            EXTENSION_INSTANCES.putIfAbsent(clazz, (T) clazz.newInstance());
            instance = (T) EXTENSION_INSTANCES.get(clazz);
        }
        //模仿spring做的IOC注入
        injectExtension(instance);

        Set<Class<?>> wrapperClasses = cachedWrapperClasses;
        if (wrapperClasses != null && wrapperClasses.size() > 0) {
            for (Class<?> wrapperClass : wrapperClasses) {
                //对instance进行包装,这里使用到aop
                instance = injectExtension((T) wrapperClass.getConstructor(type).newInstance(instance));
            }
        }
        return instance;
    } catch (Throwable t) {
        throw new IllegalStateException("Extension instance(name: " + name + ", class: " +
                type + ")  could not be instantiated: " + t.getMessage(), t);
    }
}

createExtension
从cachedClasses 获得class名

EXTENSION_INSTANCES 实例对象缓存

getExtension(String name)返回的是 get出来的对象wrapper对象,例如protocol就是ProtocolFilterWrapper和ProtocolListenerWrapper其中一个。

injectExtension(T instance)//dubbo的IOC反转控制,就是从spi或spring 容器里面获取对象并赋值。

IOC
dubbo的IOC反转控制,就是从spi和spring里面提取对象赋值。
|--injectExtension(T instance)
|----objectFactory.getExtension(pt, property)
|------SpiExtensionFactory.getExtension(type, name)
|--------ExtensionLoader.getExtensionLoader(type)
|--------loader.getAdaptiveExtension()
|------SpringExtensionFactory.getExtension(type, name)
|--------context.getBean(name)

private T injectExtension(T instance) {
    try {
        if (objectFactory != null) {
            for (Method method : instance.getClass().getMethods()) {
                //获取set开头的方法
                if (method.getName().startsWith("set")
                        && method.getParameterTypes().length == 1
                        && Modifier.isPublic(method.getModifiers())) {
                    Class<?> pt = method.getParameterTypes()[0];
                    try {
                        String property = method.getName().length() > 3 ? method.getName().substring(3, 4).toLowerCase() + method.getName().substring(4) : "";
                        //获取对应的对象,这里有SpringExtensionFactory 和 SpiExtensionFactory两种实现
                        //如果SpiExtensionFactory不支持的则通过SpringExtensionFactory 从spring容器中获取实例对象
                        Object object = objectFactory.getExtension(pt, property);
                        if (object != null) {
                            //set注入
                            method.invoke(instance, object);
                        }
    //省略部分代码
    return instance;
}

AOP
AOP的简单设计, createExtension的aop代码实现

//这里获取当前spi下所有 包装类型,这里其实就是一个装饰者模式的运用,可以参考ProtocolFilterWrapper
Set<Class<?>> wrapperClasses = cachedWrapperClasses;
if (wrapperClasses != null && wrapperClasses.size() > 0) {
    for (Class<?> wrapperClass : wrapperClasses) {
        //将instance装饰完成后返回
        instance = injectExtension((T) wrapperClass.getConstructor(type).newInstance(instance));
    }
}

五、dubbo的动态编译

以 Protocol的spi 举例子

com.alibaba.dubbo.config.ServiceConfig
private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();

|--ExtensionLoader.getAdaptiveExtensionClass
|----ExtensionLoader.createAdaptiveExtensionClass
|------ExtensionLoader.createAdaptiveExtensionClassCode

private Class<?> getAdaptiveExtensionClass() {
    getExtensionClasses();

    //如果缓存里有 Adaptive类则直接返回
    if (cachedAdaptiveClass != null) {
        return cachedAdaptiveClass;
    }

    //如果没有Adaptive类,就自动生成
    return cachedAdaptiveClass = createAdaptiveExtensionClass();
}

private Class<?> createAdaptiveExtensionClass() {
    //生成类 代码文本
    String code = createAdaptiveExtensionClassCode();
    ClassLoader classLoader = findClassLoader();

    //获取Compiler的spi 类
    com.alibaba.dubbo.common.compiler.Compiler compiler = ExtensionLoader.getExtensionLoader(com.alibaba.dubbo.common.compiler.Compiler.class).getAdaptiveExtension();

    //编译代码  default=javassist
    return compiler.compile(code, classLoader);
}

createAdaptiveExtensionClassCode
主要生成 Protocol 的 Adaptive类java代码,Protocol的默认协议是 dubbo

@SPI("dubbo")
public interface Protocol {

只对Protocol带有 @Adaptive 注解的方法写入实现体,其它方法的实现则抛出异常,生成的代码样例如下

package com.alibaba.dubbo.rpc;

import com.alibaba.dubbo.common.extension.ExtensionLoader;

public class Protocol$Adpative implements com.alibaba.dubbo.rpc.Protocol {
    public void destroy() {
        throw new UnsupportedOperationException(
            "method public abstract void com.alibaba.dubbo.rpc.Protocol.destroy() of interface com.alibaba.dubbo.rpc.Protocol is not adaptive method!");
    }

    public int getDefaultPort() {
        throw new UnsupportedOperationException(
            "method public abstract int com.alibaba.dubbo.rpc.Protocol.getDefaultPort() of interface com.alibaba.dubbo.rpc.Protocol is not adaptive method!");
    }

    public com.alibaba.dubbo.rpc.Exporter export(com.alibaba.dubbo.rpc.Invoker arg0) throws com.alibaba.dubbo.rpc.RpcException {
        if (arg0 == null)
            throw new IllegalArgumentException("com.alibaba.dubbo.rpc.Invoker argument == null");
        if (arg0.getUrl() == null)
            throw new IllegalArgumentException("com.alibaba.dubbo.rpc.Invoker argument getUrl() == null");
        com.alibaba.dubbo.common.URL url = arg0.getUrl();

        //提取url里的协议,如果为空则使用默认协议 dubbo 。 该行注释不是生成出来的。       
        String extName = (url.getProtocol() == null ? "dubbo" : url.getProtocol());
        if (extName == null)
            throw new IllegalStateException("Fail to get extension(com.alibaba.dubbo.rpc.Protocol) name from url("
                                            + url.toString() + ") use keys([protocol])");
        com.alibaba.dubbo.rpc.Protocol extension = (com.alibaba.dubbo.rpc.Protocol) ExtensionLoader
            .getExtensionLoader(com.alibaba.dubbo.rpc.Protocol.class).getExtension(extName);
        return extension.export(arg0);
    }

    public com.alibaba.dubbo.rpc.Invoker refer(java.lang.Class arg0,
                                               com.alibaba.dubbo.common.URL arg1) throws com.alibaba.dubbo.rpc.RpcException {
        if (arg1 == null)
            throw new IllegalArgumentException("url == null");
        com.alibaba.dubbo.common.URL url = arg1;
        String extName = (url.getProtocol() == null ? "dubbo" : url.getProtocol());
        if (extName == null)
            throw new IllegalStateException("Fail to get extension(com.alibaba.dubbo.rpc.Protocol) name from url("
                                            + url.toString() + ") use keys([protocol])");
        com.alibaba.dubbo.rpc.Protocol extension = (com.alibaba.dubbo.rpc.Protocol) ExtensionLoader
            .getExtensionLoader(com.alibaba.dubbo.rpc.Protocol.class).getExtension(extName);
        return extension.refer(arg0, arg1);
    }
}

最后调用 JavassistCompiler.compile 方法进行编译,需要将java源码编译成二进制class并利用classloader加载至内存,这样我们的程序才能调用这个类。

六、dubbo与spring的融合

容器的启动
com.alibaba.dubbo.container.Main
dubbo启动入口, Container的默认策略是spring

spring=com.alibaba.dubbo.container.spring.SpringContainer

main方法的实现体会调用 SpringContainer.start方法,方法的实现体就是常规的spring容器使用姿势

public void start() {
    String configPath = ConfigUtils.getProperty(SPRING_CONFIG);
    if (configPath == null || configPath.length() == 0) {
        configPath = DEFAULT_SPRING_CONFIG;
    }
    context = new ClassPathXmlApplicationContext(configPath.split("[,\\s]+"));
    context.start();
}

dubbo schema

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
       xsi:schemaLocation="http://www.springframework.org/schema/beans        http://www.springframework.org/schema/beans/spring-beans.xsd        http://code.alibabatech.com/schema/dubbo        http://code.alibabatech.com/schema/dubbo/dubbo.xsd">


    <!-- 提供方应用信息,用于计算依赖关系 -->
    <dubbo:application name="hello-world-app"/>

    <!-- 使用multicast广播注册中心暴露服务地址 -->
    <dubbo:registry address="zookeeper://127.0.0.1:2181" check="false" client="zkclient" />

    <!-- 用dubbo协议在20880端口暴露服务 -->
    <dubbo:protocol name="dubbo" port="20880"/>

    <!-- 声明需要暴露的服务接口 -->
    <dubbo:service interface="com.youzan.dubbo.api.DemoService"
                   class="com.youzan.dubbo.provider.DemoServiceImpl"/>

</beans>

这是一个常见的dubbo服务 xml,这些dubbo标签是对spring的拓展。
spring的拓展约定,需要有三个文件

dubbo.xsd 定义 dubbo xml标签及xml节点约定
spring.schemas 定义 namespace和xsd的对应关系
spring.handlers 指定 namespace的xml解析类

spring.handlers的文件内容

http://code.alibabatech.com/schema/dubbo=com.alibaba.dubbo.config.spring.schema.DubboNamespaceHandler

public class DubboNamespaceHandler extends NamespaceHandlerSupport {

    static {
        Version.checkDuplicate(DubboNamespaceHandler.class);
    }

    public void init() {
        registerBeanDefinitionParser("application", new DubboBeanDefinitionParser(ApplicationConfig.class, true));
        registerBeanDefinitionParser("module", new DubboBeanDefinitionParser(ModuleConfig.class, true));
        registerBeanDefinitionParser("registry", new DubboBeanDefinitionParser(RegistryConfig.class, true));
        registerBeanDefinitionParser("monitor", new DubboBeanDefinitionParser(MonitorConfig.class, true));
        registerBeanDefinitionParser("provider", new DubboBeanDefinitionParser(ProviderConfig.class, true));
        registerBeanDefinitionParser("consumer", new DubboBeanDefinitionParser(ConsumerConfig.class, true));
        registerBeanDefinitionParser("protocol", new DubboBeanDefinitionParser(ProtocolConfig.class, true));
        registerBeanDefinitionParser("service", new DubboBeanDefinitionParser(ServiceBean.class, true));
        registerBeanDefinitionParser("reference", new DubboBeanDefinitionParser(ReferenceBean.class, false));
        registerBeanDefinitionParser("annotation", new DubboBeanDefinitionParser(AnnotationBean.class, true));
    }

}

这里的各个标签对应都有对应的 parser,在parse方法里,走的spring的一套,将xml信息组装成BeanDefinition返回,接着由spring容器把对应的类进行实例化。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,902评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,037评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,978评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,867评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,763评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,104评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,565评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,236评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,379评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,313评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,363评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,034评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,637评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,719评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,952评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,371评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,948评论 2 341

推荐阅读更多精彩内容

  • 前面我们了解过了Java的SPI扩展机制,对于Java扩展机制的原理以及优缺点也有了大概的了解,这里继续深入一下D...
    加大装益达阅读 5,007评论 2 20
  • Dubbo采用微内核+插件体系,使得设计优雅,扩展性强。那所谓的微内核+插件体系是如何实现的呢!大家是否熟悉spi...
    carl_zhao阅读 922评论 1 3
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,566评论 18 139
  • dubbo自定义SPI 为什么dubbo要自己设计一套SPI? JDK标准的SPI会一次性实例化扩展点所有实现,如...
    半个橙子阅读 650评论 0 9
  • 总结:Protocolrefprotocol = ExtensionLoader.getExtensionLoad...
    Ngcc阅读 701评论 0 2