背景
分词：即把一段中文划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一一个匹配操作，默认的中文分词是将每个字看成一个词（不使用用IK分词器的情况下），
比如“湖人总冠军”会被分为”湖”，”人”，”总冠军” ，这不一定符合检索场景要求的，比如检索结果期望分词输出成一个词”湖人总冠军“，如何解决这个需求，此时需要安装ik中文分词器，结合自定义自定义扩展字典输出期望分词结果；本文演示通过Docker 搭建ElasticSearch ，并使用ik分词器，达到想要的分词效果
IK提供了两个分词算法: ik_smart 和 ik_max_word ,其中ik_smart为最少切分, ik_max_word为最细粒度划分
1.下载 ik分词器插件(版本要与ElasticSearch版本对应)
下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases
2.解压创建ik目录存储 ik分词器插件
# 安装unzip
yum install -y unzip
# -d <directory>：指定解压缩后文件的目标目录。如果目标目录不存在，unzip 会创建该目录
unzip /home/admin/middle-soft/elasticsearch-analysis-ik-7.10.1.zip -d /home/admin/data/elasticsearch/ik
3.加载ik插件
# docker cp /home/admin/data/elasticsearch/ik es:/usr/share/elasticsearch/plugins
docker rm -f es
# 持久化加载ik分词器 启动es实例
docker run -itd --name es --privileged --network=host --restart always \
-v /home/admin/data/elasticsearch:/bitnami/elasticsearch/data \
-v /home/admin/data/elasticsearch/ik:/usr/share/elasticsearch/plugins/ik \
-e ELASTICSEARCH_USERNAME=elastic -e ELASTICSEARCH_PASSWORD=123456 -e ELASTICSEARCH_TRANSPORT_PORT_NUMBER=9300 -e ELASTICSEARCH_HTTP_PORT_NUMBER=9200 \
-e "discovery.type=single-node" \
elasticsearch:7.10.1
# 校验es状态
curl -X GET "localhost:9200/_cluster/health"
4.重启ES加载 ik插件
# docker restart es
5.查看日志 验证ES是否成功加载 ik分词器插件
docker logs -f es|grep -E 'loaded plugin'
{"type": "server", "timestamp": "2024-09-05T09:16:53,408Z", "level": "INFO", "component": "o.e.p.PluginsService", "cluster.name": "docker-cluster", "node.name": "op-node1", "message": "loaded plugin [analysis-ik]" }
6.添加自定义的词添加到扩展字典中&验证分词生效
vi /home/admin/data/elasticsearch/ik/config/IKAnalyzer.cfg.xml
# 6.1 添加自定义扩展字典
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">ext.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords"></entry>
<!--用户可以在这里配置远程扩展字典 -->
<!-- <entry key="remote_ext_dict">words_location</entry> -->
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
# 6.2 自定义字典文件
vi /home/admin/data/elasticsearch/ik/config/ext.dic
湖人总冠军
# 6.3重启es 验证自定义分词字典生效
docker restart es
docker logs -f es|grep -E 'ext.dic'
{"type": "server", "timestamp": "2024-09-05T09:34:15,531Z", "level": "INFO", "component": "o.w.a.d.Dictionary", "cluster.name": "docker-cluster", "node.name": "op-node1", "message": "[Dict Loading] /usr/share/elasticsearch/plugins/ik/config/ext.dic", "cluster.uuid": "OfNk2bMMTXmItHNejRskUw", "node.id": "4wf5icUQQFm4Dtx6Sh-YAg" }
# 6.4 通过 cURL 访问 Elasticsearch 并使用 IK 分词器（如 ik_smart）
# 校验是否安装了ik分词器 => 输出 op-node1 analysis-ik 7.10.1 已安装ik分词器
curl -X GET "localhost:9200/_cat/plugins"
# 6.5 创建一个索引并配置 IK 分词器
curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'
{
"settings": {
"analysis": {
"analyzer": {
"ik_smart": {
"tokenizer": "ik_smart"
}
}
}
},
"mappings": {
"properties": {
"content": {
"type": "text",
"analyzer": "ik_smart"
}
}
}
}
'
# 6.6 使用 IK 分词器进行分词操作： 使用 _analyze API 进行分词，可以使用以下 cURL 命令来进行分词
curl -X GET "localhost:9200/my_index/_analyze" -H 'Content-Type: application/json' -d'
{
"text": "湖人总冠军",
"analyzer": "ik_smart"
}
'
# 6.7 对比分析 配置自定义扩展字典前后，分词器输出效果
# 未配置自定义扩展字典-分析分词输出:
{"tokens":[{"token":"湖","start_offset":0,"end_offset":1,"type":"CN_CHAR","position":0},{"token":"人","start_offset":1,"end_offset":2,"type":"CN_CHAR","position":1},{"token":"总冠军","start_offset":2,"end_offset":5,"type":"CN_WORD","position":2}]}
# 定义自定义扩展字典后，分词器输出:
{"tokens":[{"token":"湖人总冠军","start_offset":0,"end_offset":5,"type":"CN_WORD","position":0}]}
