【Netty技术专题】「原理分析系列」Netty强大特性之Native transports扩展开发实战

背景介绍

当涉及到网络通信和高性能的Java应用程序时,Netty是一个强大的框架。它提供了许多功能和组件,其中之一是JNI传输。JNI传输是Netty的一个特性,它为特定平台提供了高效的网络传输。

在本文中,我们将深入探讨Netty提供的特定平台的JNI传输功能,分析其优势和适用场景。我们将介绍每个特定平台的JNI传输,并讨论其性能、可靠性和可扩展性。通过了解这些特定平台的JNI传输,您将能够更好地选择和配置适合您应用程序需求的网络传输方式,以实现最佳的性能和可靠性。

JNI概念介绍

JNI(Java Native Interface)是Java平台的一种机制,允许Java代码与本地代码(如C或C++)进行交互。Netty利用JNI传输来提供对特定平台的底层网络传输的支持。

通过JNI传输,Netty可以直接与操作系统的网络栈进行交互,绕过了Java虚拟机的网络层,从而提供了更高的性能和更低的延迟。这对于需要处理大量并发连接和高吞吐量的应用程序来说尤为重要。

不同平台的JNI实现

Netty提供了一些特定平台的JNI传输,这些传输针对不同的操作系统和网络栈进行了优化。通过使用这些特定平台的JNI传输,开发人员可以充分利用底层操作系统和硬件的优势,从而实现更高效的网络通信。

[图片上传失败...(image-cae77-1707371409459)]

Netty提供了针对特定平台的JNI传输,包括Linux(自4.0.16版本开始)和MacOS/BSD(自4.1.11版本开始)。与基于NIO的传输相比,这些JNI传输在特定平台上增加了更多的功能,并且产生的垃圾更少,性能普遍提高,主要集中在以下两点:

  • 利用了底层操作系统的特性和优化,以提供更高效的网络传输。

  • 减少产生的垃圾,从而提高应用程序的效率和可靠性。

通过使用Netty提供的特定平台的JNI传输,开发人员可以充分利用底层操作系统的优势,以获得更好的性能和更少的资源消耗,这对于需要处理大量并发连接和高吞吐量的应用程序来说尤为重要。

使用Native transports库

Netty扩展传输库必须为依赖关系指定适当的分类器,以确保包含相应的本地库。当项目依赖于包含本地库(Native Library)的第三方库时,为了确保项目能够正确地使用这些本地库,必须为依赖关系指定适当的分类器(Classifier)

Maven的分类器(Classifier)

**分类器(Classifier)是用于区分不同构建版本的标识符,它可以用来指定包含本地库的特定构建版本,主要集中于

以下三个因素和范围**。

[图片上传失败...(image-b5526e-1707371409459)]

  • 操作系统和架构:区分不同操作系统和架构的构建版本。

  • 构建类型:区分不同构建类型的构建版本。例如,可以使用release表示发布版本,debug表示调试版本。

  • 资源类型:分类器可以用于区分不同类型的资源文件。例如,可以使用sources表示源代码文件,javadoc表示Java文档文件。

Maven的分类器(Classifier)常见操作系统架构分类

[图片上传失败...(image-849a7-1707371409459)]

如果不为依赖关系指定适当的分类器,或者选择了错误的分类器,可能会导致项目无法正常运行或无法找到所需的本地库。因此,为了确保项目能够正确地使用依赖的本地库,必须注意为依赖关系指定适当的分类器。

使用Linux native transport

由于native transport与 NIO 传输兼容,因此只需进行以下搜索和替换操作即可:

[图片上传失败...(image-5dd9ef-1707371409459)]

在构建工具的配置文件中,可以通过在依赖项的声明中指定分类器来实现。例如,在Maven的pom.xml文件中,可以使用<classifier>元素来指定分类器,构建系统中将 netty-transport-native-epoll 作为依赖项:


<dependencies>

    <dependency>

      <groupId>io.netty</groupId>

      <artifactId>netty-transport-native-epoll</artifactId>

      <version>${project.version}</version>

      <classifier>linux-x86_64</classifier>

    </dependency>

    ...

  </dependencies>

在上面配置,分类器是 linux-x86_64,这意味着依赖关系中包含的本地二进制文件是为Linux编译的,运行在 64 位 x86 CPU 上。其他 CPU 架构和某些特定的 Linux 发行版将需要不同的分类器。

注意:Linux 官方构建版都是根据 GLIBC 链接的。这意味着使用 Musl 作为 libc 实现的操作系统不支持 Netty 本地传输的官方构建。如果想在不支持的 CPU 架构或 libc 实现上使用 Netty 本地传输程序,则需要自行构建。

使用MacOS/BSD native transport库

由于native transport与 NIO 传输兼容,因此只需执行以下搜索和替换操作即可:

[图片上传失败...(image-46075a-1707371409459)]

由于本地传输不是 Netty 核心的一部分,因此您需要在 Maven pom.xml 中将 netty-transport-native-kqueue 作为依赖项:


  <dependencies>

    <dependency>

      <groupId>io.netty</groupId>

      <artifactId>netty-transport-native-kqueue</artifactId>

      <version>${project.version}</version>

      <classifier>osx-x86_64</classifier>

    </dependency>

    ...

  </dependencies>

构建native transport库

如果您已经有了native transport的JAR 文件,就不需要再自行构建本地传输系统了,因为 JAR 文件中已经包含了必要的共享库文件(如 .so、.dll、.dynlib),它们会被自动加载。

Linux版本要求

需要使用内核为 2.6 或更高版本的 64 位 Linux。还请安装所需的工具和库:


# RHEL/CentOS/Fedora:

sudo yum install autoconf automake libtool make tar \

                glibc-devel \

                libgcc.i686 glibc-devel.i686

# Debian/Ubuntu:

sudo apt-get install autoconf automake libtool make tar \

                    gcc

MacOS/BSD版本要求

需要使用 MacOS 10.12 或更高版本。还请安装所需的工具和库:


brew install autoconf automake libtool

总结归纳

Netty提供的特定平台的JNI传输在Linux和MacOS/BSD上增加了更多的功能,并且通过减少垃圾的产生来提高性能。开发人员可以根据特定平台的需求选择合适的传输方式,以获得更好的性能和可靠性。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容