1.什么是全文检索
全文检索是计算机程序通过扫描文章中每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程。
特点：
- 只处理文本，不处理语义
- 搜索英文不区分大小写
- 结果列表有相关度排序
2.什么是ElasticSearch
基于Luence的全文检索服务器。但是Lucene的API相对复杂，很难集成到实际的应用中，但是ES提供了简单易用的RestFul的API，开发者可以使用简单的RestFul API
开发相关的搜索功能，从而避免lucene的复杂性。
3.应用场景
ES主要是以轻量级JSON为数据存储格式，与MongoDB类似，但是读写性能更优，同时也支持地理位置查询，还方便地理位置和文本的混合查询，在统计、日志类数据存储和分析、可视化这方面是引领者。
国外：维基百科，Stack Overflow，GitHub
国内：百度，阿里巴巴，腾讯等
ELK（ElasticSearch，Logstash，kibana）
4.ES安装
# 环境准备
centos7
jdk1.8
elasticsearch
centos安装JDK
【Linux】Linux基础入门
# 防火墙关闭命令
systemctl stop firewalld
systemctl disable firewalld
# 创建组，创建用户改密码
groupadd es
useradd wzd -g es
passwd wzd
# 新建ssh连接 用户名wzd
# 登录后上传es压缩包
tar -zxvf elasticsearch-
# cd 到bin目录下执行
./elasticsearch
# 克隆新窗口 执行
curl http://127.0.0.1:9200
# cd config 开启远程连接权限
vim elasticsearch.yml
# 开启远程连接
network.host:0.0.0.0
# es7 需要开启节点等多个注释
port hosts nodes等
#重启错误解决三个错误，使用root用户修改
vim /etc/security/limits.conf
# 文件的最后添加：
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
# exit登出，重新登录测试配置是否生效
ulimit -Hn
ulimit -Sn
ulimit -Hu
ulimit -Su
# 修改第二个配置文件，将`*`改成登录的用户名`es`
vim /etc/security/limits.d/20-nproc.conf
# 修改第三个配置文件
vim /etc/sysctl.conf
# 加入：
vm.max_map_count=655360
# 验证：sysctl -p
# 将es和root退出重新登录。成功
5.ES中的基本概念
索引index
类型type(es 6.x)
文档document
映射mapping
- 对比Solr和ES
实时搜索ES较好，是一个接近实时的搜索平台 -
类比SQL数据库：
index索引库=>type类型表=>document文档=>field字段
数据库与ES分布式索引库的类比以及版本差别
6.安装kibana
7.索引相关操作
创建索引(不能有大写字母)
PUT /users
PUT /12users
查看索引(?v显示索引的标题名)
GET /_cat/indices?v
health yellow:有可能表示副本为多个但是都在一台机器上
删除索引
DELETE /users
DELETE /*
7.类型操作
7.1创建索引时创建类型
mappng type：text，keyword，date，integer，long，double，boolean，ip
PUT users/_doc/1
{
"mappings" :{
"properties" : {
"id" : {
"type" : "keyword"
},
"name" : {
"type" : "text"
},
"age" : {
"type" : "integer"
}
}
}
}
7.2 查看索引映射信息
GET /users/_mapping
7.3 插入document
# 插入数据
PUT /users/user/1
{
"id": 1,
"name" : "xiaowang",
"age" : "20"
}
# 插入数据，不指定id返回_id
POST /users/user/1
{
"name" : "xiaowang",
"age" : "20"
}
#根据id查看插入的数据：
GET /users/user/1
#根据id删除的数据：
DELETE /users/user/1
7.4 更新文档信息
7.4.1 不保留原始数据
POST /users/user/1
{
"name" : "xiaoyang"
}
7.4.2 保留原始数据
POST /users/user/1/_update
{
"doc" : {
"name" : "xiaoyang",
"age" : 18,
"school" : "sdnu"
}
}
school会动态的生成类型
7.4.3 脚本更新script
POST /users/user/1/_update
{
"script" : "ctx._source.age += 1"
}
# ctx:context
8.批量操作
PUT /user/_bulk
{"index":{"_id":"5"}}
{"name":"王小王"，"age":20,"bir":"2000-12-12","content":"今天又是认真工作的一天，好开心！"}
{"delete":{"_id":"4"}}
{"update":{"_id":"1"}}
{"doc":{"name":"小王吧"}}
# 有操作出错不影响其他操作
# 弱化事务
# es默认分词器
GET /_analyze
{
"text":"hello world!"
}
9.ES中的高级检索(Query)
ES提供两种检索方式：通过URL参数进行搜索，通过DSL(Domain Specified Language)进行搜索。
GET /index/type/_search
GET /index/type/_search{}
9.1 第一种方式Query String的方式
查询所有文档：
GET /index/type/_search?q=*
查询所有文档按年龄排序分页5查第3页：
GET /index/type/_search?q=*&sort=age:desc&size=5&from=2
分页5查第3页查询指定参数：
GET /index/type/_search?q=*&sort=age:desc&size=5&from=2&_source=name
http://服务器ip:9200/op_m*/_search?q=ip:终端ip AND index:6&sort=timestamp:desc
9.2 DSL查询
查询所有
GET /users/user/_sear/ch
{
"query" : {
"match_all" : {}
}
}
查询所有并排序 sort，分页
GET /users/user/_search
{
"query" : {
"match_all" : {}
},
"size" : 5,
"from" : 2,
"sort" : [
{
"age" : {
"order" : "desc"
}
},
{
"id" : {
"order" : "desc"
}
},
]
}
注意排序字段不能为text类型，因为text首先会被分词。keyword支持排序
查询所有指定字段 _source
GET /users/user/_search
{
"query" : {
"match_all" : {}
},
"_source" : ["name","age"]
}
查询结果解释
查询 term (以下使用es7.x语法，忽略了type)
GET /user/_search
{
"query" : {
"term" : {
"name" : {
"value" : "xiaowang"
}
}
}
范围查询 range gte大于等于，gt大于
GET /user/_search
{
"query" : {
"range" : {
"age" : {
"gte" : 20,
"lte" : 30
}
}
}
}
前缀查询 perfix
GET /user/_search
{
"query" : {
"perfix" : {
"name" : {
"value" : "xiao"
}
}
}
}
通配符查询 wildcard ?匹配1，*匹配0到任意多个
GET /user/_search
{
"query" : {
"wildcard" : {
"name" : {
"value" : "*"
}
}
}
}
多id查询 ids[]
GET /user/_search
{
"query" : {
"ids" : {
"value" : ["","",""]
}
}
}
模糊查询 fuzzy 模糊错误在(0-2)，同时也与关键词长度有关
GET /user/_search
{
"query" : {
"fuzzy" : {
"name" : "xaio"
}
}
}
查询bool
must，should，must_not
GET /user/_search
{
"query" : {
"bool" : {
"must" : [
{
"term" : {
"name" : {
"value" : "xiaowang"
}
}
},
{
"term" : {
"age" : {
"value" : "23"
}
}
}
]
}
}
}
高亮渲染查询结果 highlight
GET /user/_search
{
"query" : {
"term" : {
"name" : {
"value" : "xiaowang"
}
} ,
"highlight" : {
"pre_tags" : ["<span style='color:red'>"],
"post_tags" : ["</span>"],
"fields" : {
"*" : {}
}
}
}
多字段查询 multi_match
GET /user/_search
{
"query" : {
"multi_match" : {
"query" : "xiaowang",
"fields" : ["content","name"]
}
}
}
先对query进行分词在搜索
多字段分词查询 query_string
GET /user/_search
{
"query" : {
"query_string" : {
"query" : "xiaowang",
"analyzer" : "ik_max_word",
"fields" : ["content","name"]
}
}
}
curl -XGET -uelastic:123ABCdef* http://10.28.1.15:9200/op_m*/_search -H 'Content-Type:application/json' -d'{"from": 0,"size": 1000,"query": {"bool": {"filter": [{"bool": {"must": [{"bool": {"must": [{"match_phrase": {"ip": {"query": "10.22.2.11","slop": 0,"zero_terms_query": "NONE","boost": 1}}},{"match_phrase": {"src_type": {"query": "zyj","slop": 0,"zero_terms_query": "NONE","boost": 1}}}],"adjust_pure_negative": true,"boost": 1}}],"adjust_pure_negative": true,"boost": 1}}],"adjust_pure_negative": true,"boost": 1}}}'
