Elasticsearch源码解析：环境搭建

在之前学习Redis的过程中，我就是一边通过文档/视频学习，一边阅读源码。我发现两种方法可以相辅相成，互相补充。阅读文档可以帮助我们快速了解某个功能，阅读源码有助于我们更深入的理解这一功能的实现及思想。

因此，在学习 Elasticsearch 的时候我也准备采用这样的模式。所以，从今天开始，我会定期更新学习 Elasticsearch 源码的收获。在开始学习之前，需要先把环境准备好。所以今天就先分享一下准备环境的过程。

软件环境

Intellij Idea:2020.1版本

JDK 12

Gradle 5.5

下载源码

你可以在 Github 中下载 release 版本或指定 tag 的源码，地址如下。

https://github.com/elastic/elasticsearch/releases

下载好以后解压到指定目录/

tar -xzvf elasticsearch-7.3.1.tar.gz

也可以直接在命令行通过 git 下载源码

git clone git@github.com:elastic/elasticsearch.git

然后可以切换到你想要的版本

git checkout v7.3.1

导入IntelliJ IDEA

下载好源码以后，我们来将项目导入 IDEA，首先，进入到项目的根目录，执行命令

./gradlew idea

这一步是生成 IntelliJ 的项目文件，需要下载一些依赖包，下载的不顺利的同学可以选择将 gradle 源切换成国内的源。

切换 gradle 源

进入目录

cd ~/.gradle

新建一个名为 init.gradle 的目录，内容如下

allprojects {
    repositories {
        def ALIYUN_REPOSITORY_URL = 'https://maven.aliyun.com/repository/public'
        all { ArtifactRepository repo ->
            if(repo instanceof MavenArtifactRepository){
                def url = repo.url.toString()
                if (url.startsWith('https://repo1.maven.org/maven2')) {
                    project.logger.lifecycle "Repository ${repo.url} replaced by $ALIYUN_REPOSITORY_URL."
                    remove repo
                }
            }
        }
        maven { url ALIYUN_REPOSITORY_URL }
    }
}

文件生成好之后，会有如下提示

Build sucess

现在我们开始往 idea 中导入项目，File -> New Project From Existing Sources，选择你的代码根目录，然后点击open，之后在Import project from external model -> Gradle，到 idea 中，它还会下载一些包。下载完以后，我们就算是导入完成了。

本地运行Elasticsearch

将项目导入到 idea 中之后，我们就可以尝试运行项目了，这一步看似简单，却是我花费时间最多的一步。首先我们找到 server 包下的org/elasticsearch/bootstrap/Elasticsearch.java，运行其中的main函数。

如果你运行失败，不要惊慌，我们需要加一些配置。

点开 Run/Debug Configrations，如图，我们需要在 VM options 中加一些配置。还需要勾选上 Include dependencies with "Provided" scope

run config

VM options 如下

-Des.path.home=/Users/moka/eshome
-Des.path.conf=/Users/moka/eshome/config
-Xms1g
-Xmx1g
-Dlog4j2.disable.jmx=true
-Djava.security.policy=/Users/moka/eshome/config/elasticsearch.policy

下面对这些参数进行一下说明

-Des.path.home：指定eshome所在路径，elasticsearch 会需要从这个路径下加载一些包，因此，我们需要指定一个目录，然后把必要的模块和配置文件复制到该目录下，你可以选择自己编译源码，或者是从官网下载对应的二进制版本，

tar -zxvf elasticsearch-7.3.1-darwin-x86_64.tar.gz
cd elasticsearch-7.3.1
cp -r config modules plugins /Users/moka/eshome

-Des.path.conf：指定配置文件所在的路径名，后续调整节点配置时，修改其下的配置文件

-Xms1g 和 -Xmx1g 设置 JVM 堆的大小

-Dlog4j2.disable.jmx=true：这个是jvm.options文件中的默认配置，不加的话会报“access denied”等错误。

-Djava.security.policy：这个也是权限问题，配置policy文件路径，内容如下

grant{
  permission javax.management.MBeanTruxtPermission "register";
  permission javax.management.MBeanServerPermission "createMBeanServer";
  permission java.lang.RuntimePermission "createClassLoader";
};

按照这些配置好以后，发现还是会报错

java.lang.NoClassDefFoundError: org/elasticsearch/plugins/ExtendedPluginsClassLoader
    at org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:494) ~[main/:?]
    at org.elasticsearch.plugins.PluginsService.loadBundles(PluginsService.java:422) ~[main/:?]
    at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:146) ~[main/:?]
    at org.elasticsearch.node.Node.<init>(Node.java:303) ~[main/:?]
    at org.elasticsearch.node.Node.<init>(Node.java:246) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[main/:?]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[main/:?]
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.plugins.ExtendedPluginsClassLoader
    at jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582) ~[?:?]
    at jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) ~[?:?]
    at java.lang.ClassLoader.loadClass(ClassLoader.java:499) ~[?:?]
    ... 15 more

这一步应该是 IDEA 的报错，网上有同学说是勾选Include dependencies with "Provided" scope，我试了一下没什么效果。然后把 server 包下的 build.gradle 文件修改一下解决了问题。

找到

compileOnly project(':libs:elasticsearch-plugin-classloader')

修改为

compile project(':libs:elasticsearch-plugin-classloader')

改完之后再次运行，会有一个空指针报错，报错位置是

server/src/main/java/org/elasticsearch/node/InternalSettingsPreparer.java:119
npe

这里是因为我没有设置 node.name，在 elasticsearch.yml 文件中设置一下就可以了。

现在再点击 Run/Debug ，就可以成功运行了。

run success

远程调试

本地调试的另一种方法就是远程 debug。

首先，我们进入到下载的一个稳定版本的 elasticsearch 目录，在bin/elasticsearch文件中加上一行代码

-agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \

加上之后的代码如下：

if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

然后我们执行./elasticsearch，会出现如下信息，说明 Elasticsearch 在监听8888端口。

listening

现在我们到 IDEA 中添加一个 Remote Run

Remote Run

接着进行端口配置。

port

然后就可以选择这个 Remote 来进行 Debug 了。当控制台出现

Connected to the target VM, address: 'localhost:8888', transport: 'socket'

说明连接成功了。

我们来实验一下，在这个位置打一个断点

server/src/main/java/org/elasticsearch/rest/action/cat/RestHealthAction.java:54

然后在浏览器地址栏中输入

http://localhost:9200/_cat/health

如果进入断点，说明我们已经可以成功 Debug 了。

总结

工欲善其事，必先利其器。在阅读源码之前，我们首先需要搭建好环境，本文我们介绍了两种方法，一种是直接在 IDEA 中启动 Elasticsearch ，另一种是 Debug 远程的 Elasticsearch。其中第二种方法，相对比较简单，推荐大家使用。

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,293评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,604评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,958评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,729评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,719评论 5赞 366
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,630评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,000评论 3赞 397
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,665评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,909评论 1赞 299
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1赞 330
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,400评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,986评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2赞 342