Dubbo之SPI源码分析

1.Dubbo SPI介绍

Dubbo的扩展点加载机制,用于在程序运行时,通过参数的不同,加载同一接口的不同实现。
同时也提供了类似aop与ioc的功能。

2.使用方式

2.1 直接获取扩展点

ExtensionLoader.getExtensionLoader(WrappedExt.class).getExtension("XXX");

直接获取具体的扩展点实现,会进行扩展点自动包装(aop)以及扩展点自动装配(ioc)

2.2 获取扩展点适配类

private Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();

获取扩展点的适配类。如果是框架创建的适配类,接口方法在运行时根据url中key对应的value调用不同SPI实现。而自定义适配类,可以自行编写逻辑决定调用那个SPI实现。也会触发扩展点自动装配(ioc)

2.3 获取自动激活扩展点

ExtensionLoader.getExtensionLoader(Filter.class).getActivateExtension(invoker.getUrl(), key, group)

这个特性主要使用在ProtocolFilterWrapper中,用于获取invoker的Filter拦截器链,group分为consumer和provider,两者的拦截器链不同。

3.特性介绍

1.扩展点自动注入
如果当前扩展点内有其他扩展点,会自动注入这些扩展点的适配对象
2.扩展点自动包装
如果扩展点实现中有构造函数的参数为当前扩展点接口的,会被识别为包装类,获取其他扩展点时,会通过这个包装类包装,如果有多个包装类,包装多次
3.扩展点自动适配
每次扩展点有且仅有一个适配类(通过@Adaptive注解),如果不存在,框架会在获取适配对象的时候自动创建。适配对象用于在运行时根据url的参数或者其他自行实现逻辑选择调用具体某个SPI实现
4.扩展点自动激活
通过调用ExtensionLoader#getActivateExtension(URL, String, String)筛选出满足条件的SPI实现。

4.源码分析

SPI的逻辑主要实现在ExtensionLoader,我们从实际使用方式的角度进行源码分析,每个特性都会涉及。

获取ExtensionLoader

我们通过getExtensionLoader获取SPI接口对应的ExtensionLoader,获取之后会把这个ExtensionLoader缓存下来

public static <T> ExtensionLoader<T> getExtensionLoader(Class<T> type) {
        if (type == null)
            throw new IllegalArgumentException("Extension type == null");
        //必须是接口
        if (!type.isInterface()) {
            throw new IllegalArgumentException("Extension type(" + type + ") is not interface!");
        }
        //接口类 必须要有SPI注解
        if (!withExtensionAnnotation(type)) {
            throw new IllegalArgumentException("Extension type(" + type +
                    ") is not extension, because WITHOUT @" + SPI.class.getSimpleName() + " Annotation!");
        }
        //缓存ExtensionLoader到EXTENSION_LOADERS
        ExtensionLoader<T> loader = (ExtensionLoader<T>) EXTENSION_LOADERS.get(type);
        if (loader == null) {
            EXTENSION_LOADERS.putIfAbsent(type, new ExtensionLoader<T>(type));
            loader = (ExtensionLoader<T>) EXTENSION_LOADERS.get(type);
        }
        return loader;
    }

获取ExtensionLoader这个过程只是新建了ExtensionLoader,不会触发配置加载

private ExtensionLoader(Class<?> type) {
        this.type = type;
        objectFactory = (type == ExtensionFactory.class ? null : ExtensionLoader.getExtensionLoader(ExtensionFactory.class).getAdaptiveExtension());
    }

ExtensionLoader缓存在下面的容器中

    private static final ConcurrentMap<Class<?>, ExtensionLoader<?>> EXTENSION_LOADERS = new ConcurrentHashMap<Class<?>, ExtensionLoader<?>>();

也就是我们的每个SPI接口都会对应一个ExtensionLoader实例

配置加载

ExtensionLoader通过getExtensionClasses来加载配置,触发配置文件件加载并不是在ExtensionLoader实例化的时候,而是在实际获取扩展点的时候。

private Map<String, Class<?>> getExtensionClasses() {
        Map<String, Class<?>> classes = cachedClasses.get();
        //通过cachedClasses是否被设置,来判断是否进行过配置加载
        if (classes == null) {
            synchronized (cachedClasses) {
                classes = cachedClasses.get();
                if (classes == null) {
                    //从文件加载扩展点配置
                    classes = loadExtensionClasses();
                    cachedClasses.set(classes);
                }
            }
        }
        return classes;
    }

如果配置没有加载过,通过loadExtensionClasses加载配置

private Map<String, Class<?>> loadExtensionClasses() {
        //从SPI注解提取默认SPI实现
        //只能有一个默认实现
        final SPI defaultAnnotation = type.getAnnotation(SPI.class);
        if (defaultAnnotation != null) {
            String value = defaultAnnotation.value();
            if ((value = value.trim()).length() > 0) {
                String[] names = NAME_SEPARATOR.split(value);
                if (names.length > 1) {
                    throw new IllegalStateException("more than 1 default extension name on extension " + type.getName()
                            + ": " + Arrays.toString(names));
                }
                if (names.length == 1) cachedDefaultName = names[0];
            }
        }

        Map<String, Class<?>> extensionClasses = new HashMap<String, Class<?>>();
        //从三个默认目录下面加载配置文件
        loadDirectory(extensionClasses, DUBBO_INTERNAL_DIRECTORY);
        loadDirectory(extensionClasses, DUBBO_DIRECTORY);
        loadDirectory(extensionClasses, SERVICES_DIRECTORY);
        return extensionClasses;
    }

可以看到,会通过loadDirectory方法从三个默认目录加载配置

private void loadDirectory(Map<String, Class<?>> extensionClasses, String dir) {
        String fileName = dir + type.getName();
        try {
            Enumeration<java.net.URL> urls;
            ClassLoader classLoader = findClassLoader();
            if (classLoader != null) {
                urls = classLoader.getResources(fileName);
            } else {
                urls = ClassLoader.getSystemResources(fileName);
            }
            //urls可能为多个,同一个名字的file分布在多个jar包的情况
            if (urls != null) {
                while (urls.hasMoreElements()) {
                    java.net.URL resourceURL = urls.nextElement();
                    //加载配置文件
                    loadResource(extensionClasses, classLoader, resourceURL);
                }
            }
        } catch (Throwable t) {
            logger.error("Exception when load extension class(interface: " +
                    type + ", description file: " + fileName + ").", t);
        }
    }

一个SPI接口的配置文件可能会存在于在多个jar包内,所以通过classLoader加载的时候会拿到多个URL路径。通过loadResource加载这些配置文件。

 private void loadResource(Map<String, Class<?>> extensionClasses, ClassLoader classLoader, java.net.URL resourceURL) {
        try {
            BufferedReader reader = new BufferedReader(new InputStreamReader(resourceURL.openStream(), "utf-8"));
            try {
                String line;
                while ((line = reader.readLine()) != null) {
                    //带#的为注释,跳过
                    final int ci = line.indexOf('#');
                    if (ci >= 0) line = line.substring(0, ci);
                    line = line.trim();
                    if (line.length() > 0) {
                        try {
                            String name = null;
                            //spi名 和 spi实现类 用=分隔
                            int i = line.indexOf('=');
                            //name可以省略
                            if (i > 0) {
                                name = line.substring(0, i).trim();
                                line = line.substring(i + 1).trim();
                            }
                            if (line.length() > 0) {
                                //加载扩展点
                                loadClass(extensionClasses, resourceURL, Class.forName(line, true, classLoader), name);
                            }
                        } catch (Throwable t) {
                            IllegalStateException e = new IllegalStateException("Failed to load extension class(interface: " + type + ", class line: " + line + ") in " + resourceURL + ", cause: " + t.getMessage(), t);
                            exceptions.put(line, e);
                        }
                    }
                }
            } finally {
                reader.close();
            }
        } catch (Throwable t) {
            logger.error("Exception when load extension class(interface: " +
                    type + ", class file: " + resourceURL + ") in " + resourceURL, t);
        }
    }

loadClass用来实际解析配置,注意它的入参会对SPI实现类进行类加载。

private void loadClass(Map<String, Class<?>> extensionClasses, java.net.URL resourceURL, Class<?> clazz, String name) throws NoSuchMethodException {
        if (!type.isAssignableFrom(clazz)) {
            throw new IllegalStateException("Error when load extension class(interface: " +
                    type + ", class line: " + clazz.getName() + "), class "
                    + clazz.getName() + "is not subtype of interface.");
        }
        if (clazz.isAnnotationPresent(Adaptive.class)) {
            //clazz有Adaptive注解的话
            //代表这个clazz是适配类
            if (cachedAdaptiveClass == null) {
                cachedAdaptiveClass = clazz;
            } else if (!cachedAdaptiveClass.equals(clazz)) {
                throw new IllegalStateException("More than 1 adaptive class found: "
                        + cachedAdaptiveClass.getClass().getName()
                        + ", " + clazz.getClass().getName());
            }
        } else if (isWrapperClass(clazz)) {
            //如果这个clazz有以这个扩展点接口为参数的构造函数,代表这个实现类是包装类
            Set<Class<?>> wrappers = cachedWrapperClasses;
            if (wrappers == null) {
                cachedWrapperClasses = new ConcurrentHashSet<Class<?>>();
                wrappers = cachedWrapperClasses;
            }
            //包装类能有多个
            wrappers.add(clazz);
        } else {
            //进入这里代表是普通的扩展点
            clazz.getConstructor();
            if (name == null || name.length() == 0) {
                //如果没有spi名,从Extenion注解或者classname中解析出来
                name = findAnnotationName(clazz);
                if (name.length() == 0) {
                    throw new IllegalStateException("No such extension name for the class " + clazz.getName() + " in the config " + resourceURL);
                }
            }
            String[] names = NAME_SEPARATOR.split(name);
            if (names != null && names.length > 0) {
                Activate activate = clazz.getAnnotation(Activate.class);
                if (activate != null) {
                    //缓存Activate注解 只缓存第一个
                    cachedActivates.put(names[0], activate);
                }
                for (String n : names) {
                    //缓存 clazz 和 spiname 关系,只缓存第一个
                    if (!cachedNames.containsKey(clazz)) {
                        cachedNames.put(clazz, n);
                    }
                    Class<?> c = extensionClasses.get(n);
                    if (c == null) {//保存 spiname 和 clazz的关系
                        extensionClasses.put(n, clazz);
                    } else if (c != clazz) {//存在重复配置
                        throw new IllegalStateException("Duplicate extension " + type.getName() + " name " + n + " on " + c.getName() + " and " + clazz.getName());
                    }
                }
            }
        }
    }

loadClass会将各种配置保存下来,之后的使用中都会用到这些配置。

获取扩展点实例

获取到ExtensionLoader实例之后,我们可以通过getExtension("spiName")来直接获取我们的扩展点实现。

public T getExtension(String name) {
        if (name == null || name.length() == 0)
            throw new IllegalArgumentException("Extension name == null");
        if ("true".equals(name)) {
            return getDefaultExtension();
        }
        //cachedInstances用于缓存扩展点实例
        Holder<Object> holder = cachedInstances.get(name);
        if (holder == null) {
            cachedInstances.putIfAbsent(name, new Holder<Object>());
            holder = cachedInstances.get(name);
        }
        Object instance = holder.get();
        //如果缓存中不存在扩展点实例,创建扩展点实例
        if (instance == null) {
            synchronized (holder) {
                instance = holder.get();
                if (instance == null) {
                    instance = createExtension(name);
                    holder.set(instance);
                }
            }
        }
        return (T) instance;
    }

通过cachedInstances对已经实例化的扩展点实现进行缓存,如果该扩展点从未被实例化,使用createExtension进行实例化

private T createExtension(String name) {
        //这里触发扫描扩展点配置文件
        Class<?> clazz = getExtensionClasses().get(name);
        if (clazz == null) {
            //找不到spi实现,抛出特定异常
            throw findException(name);
        }
        try {
            //对spi name对应clazz进行实例化
            //EXTENSION_INSTANCES里面保存的只是原始的实例
            //cachedInstances内保存的是经过依赖注入以及包装的实例
            T instance = (T) EXTENSION_INSTANCES.get(clazz);
            if (instance == null) {
                EXTENSION_INSTANCES.putIfAbsent(clazz, clazz.newInstance());
                instance = (T) EXTENSION_INSTANCES.get(clazz);
            }
            //如果这个扩展点依赖其他扩展点,注入扩展点(ioc)
            injectExtension(instance);
            //如果有包装类的话,进行包装
            Set<Class<?>> wrapperClasses = cachedWrapperClasses;
            if (wrapperClasses != null && !wrapperClasses.isEmpty()) {
                for (Class<?> wrapperClass : wrapperClasses) {
                    instance = injectExtension((T) wrapperClass.getConstructor(type).newInstance(instance));
                }
            }
            return instance;
        } catch (Throwable t) {
            throw new IllegalStateException("Extension instance(name: " + name + ", class: " +
                    type + ")  could not be instantiated: " + t.getMessage(), t);
        }
    }

在实例化扩展点之前,会通过getExtensionClasses加载配置,如果已经加载过,跳过。加载完配置文件之后,就可以通过spi名获取对应spi实现类,然后对这个类进行实例化。注意到时候话之后,还会通过injectExtension方法进行扩展点自动注入以及通过wrapperClasses进行扩展点自动包装。

获取扩展点适配实例

通过getAdaptiveExtension方法来获取扩展点适配实例。在扩展点自动注入的时候,注入的实例也是适配实例。

public T getAdaptiveExtension() {
        //cachedAdaptiveInstance用于缓存扩展点自动适配实例
        Object instance = cachedAdaptiveInstance.get();
        if (instance == null) {
            if (createAdaptiveInstanceError == null) {//缓存的创建错误如果不为null,直接报错
                synchronized (cachedAdaptiveInstance) {
                    instance = cachedAdaptiveInstance.get();
                    if (instance == null) {
                        try {
                            //如果cachedAdaptiveInstance不存在,进行创建
                            instance = createAdaptiveExtension();
                            cachedAdaptiveInstance.set(instance);
                        } catch (Throwable t) {
                            //创建失败也缓存,下次直接报错
                            createAdaptiveInstanceError = t;
                            throw new IllegalStateException("fail to create adaptive instance: " + t.toString(), t);
                        }
                    }
                }
            } else {
                throw new IllegalStateException("fail to create adaptive instance: " + createAdaptiveInstanceError.toString(), createAdaptiveInstanceError);
            }
        }

        return (T) instance;
    }

首先会判断是否存在适配实例的缓存,如果之前已经获取过,直接返回缓存的实例。不存在,通过createAdaptiveExtension创建。

 private T createAdaptiveExtension() {
        try {
            //对适配实例也进行依赖注入
            return injectExtension((T) getAdaptiveExtensionClass().newInstance());
        } catch (Exception e) {
            throw new IllegalStateException("Can not create adaptive extension " + type + ", cause: " + e.getMessage(), e);
        }
    }

在getAdaptiveExtensionClass中会判断配置中是否解析出适配类,如果不存在适配类,会通过代码拼接的方式动态生成适配类。

private Class<?> getAdaptiveExtensionClass() {
        //如果没有初始化,触发初始化
        getExtensionClasses();
        //如果spi实现中含有适配类直接返回
        if (cachedAdaptiveClass != null) {
            return cachedAdaptiveClass;
        }
        //如果spi实现没有提供适配类,那么通过字节码生成
        return cachedAdaptiveClass = createAdaptiveExtensionClass();
    }

在createAdaptiveExtensionClass方法中会动态生成适配类,适配类的大致逻辑是,每个适配类的方法会在运行时从URL中通过@Adaptive配置的key提取value来选择特定扩展点实现。

获取扩展点自动激活实例

通过getActivateExtension来获取自动激活的实例。

public List<T> getActivateExtension(URL url, String[] values, String group) {
        List<T> exts = new ArrayList<T>();
        List<String> names = values == null ? new ArrayList<String>(0) : Arrays.asList(values);
        if (!names.contains(Constants.REMOVE_VALUE_PREFIX + Constants.DEFAULT_KEY)) {
            getExtensionClasses();
            for (Map.Entry<String, Activate> entry : cachedActivates.entrySet()) {
                String name = entry.getKey();
                Activate activate = entry.getValue();
                //group需要匹配
                //group==null true
                //group!=null activate.group()==null false
                //group in activate.group() true
                //group not in activate.group() false
                if (isMatchGroup(group, activate.group())) {
                    T ext = getExtension(name);
                    if (!names.contains(name)//排查名字匹配的,下面逻辑会添加这些
                            && !names.contains(Constants.REMOVE_VALUE_PREFIX + name)
                            && isActive(activate, url)//url里面需要匹配activate.value中至少一个key
                            ) {
                        exts.add(ext);
                    }
                }
            }
            Collections.sort(exts, ActivateComparator.COMPARATOR);
        }
        //下面的只要name匹配即可
        List<T> usrs = new ArrayList<T>();
        for (int i = 0; i < names.size(); i++) {
            String name = names.get(i);
            if (!name.startsWith(Constants.REMOVE_VALUE_PREFIX)
                    && !names.contains(Constants.REMOVE_VALUE_PREFIX + name)) {
                if (Constants.DEFAULT_KEY.equals(name)) {
                    if (!usrs.isEmpty()) {
                        exts.addAll(0, usrs);
                        usrs.clear();
                    }
                } else {
                    T ext = getExtension(name);
                    usrs.add(ext);
                }
            }
        }
        if (!usrs.isEmpty()) {
            exts.addAll(usrs);
        }
        return exts;
    }

大致逻辑是,这个方法的value参数,直接通过扩展点名获取扩展点实现(不需要有@Activate注解)。而group参数,针对的是有@Activate注解的扩展点实现,首先扩展点实现的@Activate注解的group属性需要匹配,其次@Activate的value属性需要匹配传入的url,也就时@Activate的value需要在url中至少找到一个匹配的key。group和value的匹配相互独立,取并集。

5.与Java SPI的区别

总体来讲,Dubbo SPI 和 JAVA SPI的思想是相同的,都是为了在框架中提供扩展点,让用户或者其他框架扩展这个接口的逻辑。
Dubbo SPI 基于 JAVA SPI的思想扩展了上面讲的4个特性,这是JAVA SPI所没有的。
单从使用方式上来讲,Dubbo SPI可以通过API直接获取某个扩展点实现,而JAVA SPI需要使用迭代器,依次获取。换句话说,如果要在JAVA SPI获取某个扩展点实现,需要把所有扩展点都实例化了。而Dubbo SPI获取那个扩展点只会实例化那个扩展点。
JAVA SPI使用方式如下

ServiceLoader<Animal> serviceLoader =ServiceLoader.load(Animal.class);
        Iterator<Animal> animals =serviceLoader.iterator();
        while (animals.hasNext())
        {
            Animal animal =animals.next();
            animal.walk();
        }

最后

这篇SPI是我第二次写了,对于自己也有点新的收获吧。我还是希望我的文章大家都能看懂,而不是光讲源码。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容

  • Dubbo采用微内核+插件体系,使得设计优雅,扩展性强。那所谓的微内核+插件体系是如何实现的呢!大家是否熟悉spi...
    carl_zhao阅读 930评论 1 3
  • 0 前言 站在一个框架作者的角度来说,定义一个接口,自己默认给出几个接口的实现类,同时 允许框架的使用者也能够自定...
    七寸知架构阅读 16,190评论 3 67
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,598评论 18 139
  • 前面我们了解过了Java的SPI扩展机制,对于Java扩展机制的原理以及优缺点也有了大概的了解,这里继续深入一下D...
    加大装益达阅读 5,029评论 2 20
  • 人生几种最好的状态,不期而遇,来日可期,不言而喻,如约而至…… 笑笑就能过去的事,何必把它弄的人尽皆知。 生活有一...
    子非鱼joyise67阅读 191评论 0 1