Spring Data Elasticsearch

1 依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <artifactId>spring-data-elasticsearch</artifactId>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.16.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <properties>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <!-- springboot整合ElasticSearch -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <!-- 用于json和java类的转换 -->
         <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.76</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
       
    </dependencies>

</project>

2 配置文件

application.yml

server:
  port: 20001
spring:
  application:
    name: elastic-search
  data:
    elasticsearch:
      cluster-name: my-application
      # 注意这里使用的是TransportClient 连接的是ES的TCP端口,而非ES的http端口
      cluster-nodes: 127.0.0.1:9300

3 JavaBean

/**
 * 索引库对应实体类
 * 创建索引库信息使用注解:@Document
 *      indexName:索引库名
 *      type:类型
 *      shards:分片 默认5
 *      replicas:副本 默认1
 * 指定mapping需要在field上添加@Id和@Field注解
 *      type:类型
 *      analyzer:分词器
 *      index:是否创建索引
 */
@Data
@AllArgsConstructor
@NoArgsConstructor
@Document(indexName = "goods", type = "_doc", shards = 3, replicas = 1)
public class Goods implements Serializable {
    @Id
    private Long id;
    @Field(type = FieldType.Text,analyzer = "ik_max_word")
    private String title; //标题
    @Field(type = FieldType.Keyword)
    private String category;// 分类
    @Field(type = FieldType.Keyword)
    private String brand; // 品牌
    @Field(type = FieldType.Double)
    private Double price; // 价格
    @Field(type = FieldType.Keyword,index = false)
    private String images; // 图片地址
}

4 使用ElasticsearchTemplate操作索引库

elasticsearch的操作可以通过ElasticsearchTemplate来进行

@RunWith(SpringRunner.class)
@SpringBootTest
public class ElasticSearchTest {

    @Autowired
    private ElasticsearchTemplate template;

    @Autowired
    private GoodsRepository goodsRepository;

    /**
     * 创建索引库
     * 实体类的field上没加Id和Field注解时不会创建Mapping
     */
    @Test
    public void testCreateIndex(){
        boolean result = template.createIndex(Goods.class);
        System.out.print("创建索引库结果为" + result);
    }

    /**
     * 新增映射
     */
    @Test
    public void testCreateMapping(){
        boolean result = template.putMapping(Goods.class);
        System.out.println("创建mapping结果为"+ result);
    }
}

5 ElasticsearchRepository

ElasticsearchRepository封装了基本的CRUD方法,可以通过继承ElasticsearchRepository来使用

// ElasticsearchRepository<T,ID> T 为要操作的类型  ID为主键类型
@Repository
public interface GoodsRepository extends ElasticsearchRepository<Goods,Long> {
}

5.1 基本CRUD操作

/**
     * 向索引库新增文档
     */
    @Test
    public void testAddDoc(){
        Goods goods = new Goods(7L, "小米电视4A", " 电视",
                "小米", 5699.00, "/13123.jpg");
        goodsRepository.save(goods);
    }

    @Test
    public void testBatchAddDoc(){
        List<Goods> list = new ArrayList<>();
        list.add(new Goods(2L, "坚果手机R1", "手机", "锤子", 3699.00, "/13123.jpg"));
        list.add(new Goods(3L, "华为META10", "手机", "华为", 4499.00, "/13123.jpg"));
        list.add(new Goods(4L, "小米Mix2S", "手机", "小米", 4299.00, "/13123.jpg"));
        list.add(new Goods(5L, "荣耀V10", "手机", "华为", 2799.00, "/13123.jpg"));
        list.add(new Goods(6L, "小米手机7", "手机", "小米", 3299.00, "/13123.jpg"));
        goodsRepository.saveAll(list);
        System.out.println("批量新增文档成功");
    }

    /**
     * 根据id查询文档
     */
    @Test
    public void testQueryById(){
        Optional<Goods> goodsOptional = goodsRepository.findById(1L);
        System.out.println(goodsOptional.orElse(null));
    }

    /**
     * 更新文档
     */
    @Test
    public void testUpdateDoc(){
        Goods goods = new Goods(1L, "小米手机10Pro", " 手机",
                "小米", 9999.00, "http://image.leyou.com/13123.jpg");
        goodsRepository.save(goods);
        System.out.println("更新文档成功");
    }

    /**
     * 查询所有文档
     */
    @Test
    public void queryAllDoc(){
        Iterable<Goods> allGoods = goodsRepository.findAll();
        allGoods.forEach(goods -> System.out.println(goods));
    }

    /**
     * 根据文档id删除
     */
    @Test
    public void testDeleteDocById(){
        goodsRepository.deleteById(6L);
        System.out.println("根据id删除成功");
    }

5.2 自定义查询

Keyword Sample Elasticsearch Query String
And findByNameAndPrice {"bool" : {"must" : [ {"field" : {"name" : "?"}}, {"field" : {"price" : "?"}} ]}}
Or findByNameOrPrice {"bool" : {"should" : [ {"field" : {"name" : "?"}}, {"field" : {"price" : "?"}} ]}}
Is findByName {"bool" : {"must" : {"field" : {"name" : "?"}}}}
Not findByNameNot {"bool" : {"must_not" : {"field" : {"name" : "?"}}}}
Between findByPriceBetween {"bool" : {"must" : {"range" : {"price" : {"from" : ?,"to" : ?,"include_lower" : true,"include_upper" : true}}}}}
LessThanEqual findByPriceLessThan {"bool" : {"must" : {"range" : {"price" : {"from" : null,"to" : ?,"include_lower" : true,"include_upper" : true}}}}}
GreaterThanEqual findByPriceGreaterThan {"bool" : {"must" : {"range" : {"price" : {"from" : ?,"to" : null,"include_lower" : true,"include_upper" : true}}}}}
Before findByPriceBefore {"bool" : {"must" : {"range" : {"price" : {"from" : null,"to" : ?,"include_lower" : true,"include_upper" : true}}}}}
After findByPriceAfter {"bool" : {"must" : {"range" : {"price" : {"from" : ?,"to" : null,"include_lower" : true,"include_upper" : true}}}}}
Like findByNameLike {"bool" : {"must" : {"field" : {"name" : {"query" : "?*","analyze_wildcard" : true}}}}}
StartingWith findByNameStartingWith {"bool" : {"must" : {"field" : {"name" : {"query" : "?*","analyze_wildcard" : true}}}}}
EndingWith findByNameEndingWith {"bool" : {"must" : {"field" : {"name" : {"query" : "*?","analyze_wildcard" : true}}}}}
Contains/Containing findByNameContaining {"bool" : {"must" : {"field" : {"name" : {"query" : "**?**","analyze_wildcard" : true}}}}}
In findByNameIn(Collectionnames) {"bool" : {"must" : {"bool" : {"should" : [ {"field" : {"name" : "?"}}, {"field" : {"name" : "?"}} ]}}}}
NotIn findByNameNotIn(Collectionnames) {"bool" : {"must_not" : {"bool" : {"should" : {"field" : {"name" : "?"}}}}}}
Near findByStoreNear Not Supported Yet !
True findByAvailableTrue {"bool" : {"must" : {"field" : {"available" : true}}}}
False findByAvailableFalse {"bool" : {"must" : {"field" : {"available" : false}}}}
OrderBy findByAvailableTrueOrderByNameDesc {"sort" : [{ "name" : {"order" : "desc"} }],"bool" : {"must" : {"field" : {"available" : true}}}}

repository修改

@Repository
public interface GoodsRepository extends ElasticsearchRepository<Goods,Long> {

    List<Goods> findByCategory(String category);

    List<Goods> findByBrand(String brand);

    List<Goods> findByPriceBetween(Double from,Double to);

    List<Goods> findByTitleAndCategory(String title, String category);
}

使用自定义查询

/**
     * 自定义查询
     */
    @Test
    public void testConditionSearch(){
        //List<Goods> goodsList = goodsRepository.findByBrand("锤子");
        //List<Goods> goodsList = goodsRepository.findByPriceBetween(1000D, 4000D);
        List<Goods> goodsList = goodsRepository.findByTitleAndCategory("小米", "手机");
        goodsList.forEach(goods -> System.out.println(goods));
    }

/**
     * 分页搜索
     */
    @Test
    public void testPageSearch(){
        //构建分页排序对象
        int page = 0;
        int size = 5;
        Sort sort = Sort.by(Sort.Direction.DESC, "price");
        PageRequest pageRequest = PageRequest.of(0, 3, sort);
        //构建查询对象
        MatchAllQueryBuilder matchAllQueryBuilder = QueryBuilders.matchAllQuery();
        //查询
        Page<Goods> goodsPage = goodsRepository.search(matchAllQueryBuilder, pageRequest);
        List<Goods> goodsList = goodsPage.getContent();
        goodsList.forEach(goods -> System.out.println(goods));
    }

6 原生查询

一些较复杂的查询使用repository查询较困难,此时可使用原生查询

6.1 高亮查询

高亮查询的原理,就是将关键字使用css标签将查询结果中的关键词包起来.具体操作时需要自定义结果处理器

/**
 * goods的自定义结果处理器:用于接收处理高亮搜索结果
 */
public class GoodsSearchResultMapper implements SearchResultMapper {
    @Override
    public <T> AggregatedPage<T> mapResults(SearchResponse searchResponse, Class<T> aClass, Pageable pageable) {
        //获取返回数据所需总命中数
        long totalHits = searchResponse.getHits().totalHits;
        //获取返回数据所需最大评分
        float maxScore = searchResponse.getHits().getMaxScore();
        //获取返回数据所需聚合结果
        Aggregations aggregations = searchResponse.getAggregations();
        //获取返回数据必要参数
        String scrollId = searchResponse.getScrollId();

        //返回结果
        List<T> content = new ArrayList<>();
        SearchHit[] hits = searchResponse.getHits().getHits();
        for (SearchHit hit : hits) {
            //获取源数据
            String sourceAsString = hit.getSourceAsString();
            //源数据转对象
            T goods = JSON.parseObject(sourceAsString, aClass);
            //获取高亮属性
            Map<String, HighlightField> highlightFields = hit.getHighlightFields();
            HighlightField titleHighlightField = highlightFields.get("title");
            Text[] fragments = titleHighlightField.getFragments();
            if (fragments != null && fragments.length > 0){
                StringBuilder highlightFieldValue = new StringBuilder();
                for (Text fragment : fragments) {
                    highlightFieldValue.append(fragment.toString());
                }
                //高亮字段覆盖源字段值
                Goods item = (Goods) goods;
                item.setTitle(highlightFieldValue.toString());
            }
            content.add(goods);
        }
        return new AggregatedPageImpl<>(content,pageable,totalHits,aggregations,scrollId,maxScore);

    }
}

使用原生高亮查询

    /**
     * 原生查询:高亮
     */
    @Test
    public void testHighlight(){
        //构建查询对象
        QueryBuilder queryBuilder = QueryBuilders.matchQuery("title","电视");
        //构建高亮字段对象
        HighlightBuilder.Field highlightField = new HighlightBuilder.Field("title")
                .preTags("<em>")
                .postTags("</em>");
        //使用原生查询:传入条件查询对象和高亮对象
        NativeSearchQuery nativeSearchQuery = new NativeSearchQueryBuilder()
                .withQuery(queryBuilder)
                .withHighlightFields(highlightField)
                .build();
        //自定义结果处理对象
        GoodsSearchResultMapper goodsSearchResultMapper = new GoodsSearchResultMapper();
        AggregatedPage<Goods> goodsAggregatedPage = template.queryForPage(nativeSearchQuery, Goods.class, goodsSearchResultMapper);
        List<Goods> goodsList = goodsAggregatedPage.getContent();
        goodsList.forEach(goods -> System.out.println(goods));
    }

6.2 聚合查询

/**
     * 原生查询:聚合
     */
    @Test
    public void testAggregation(){
        //构建查询条件对象
        MatchAllQueryBuilder queryBuilder = QueryBuilders.matchAllQuery();
        //构建聚合分组--桶:按照brand字段聚合为桶
        AbstractAggregationBuilder agg = AggregationBuilders.terms("brand_agg") //指定分组名称
                .field("brand");//指定分组字段
        //添加子聚合--度量:每个桶内求价格平均值
        agg.subAggregation(AggregationBuilders.avg("price_avg").field("price"));
        //使用原生查询
        NativeSearchQuery nativeSearchQuery = new NativeSearchQueryBuilder()
                .withQuery(queryBuilder)
                .addAggregation(agg).build();
        AggregatedPage<Goods> goodsAggregatedPage = template.queryForPage(nativeSearchQuery, Goods.class);
        Terms brandAgg = (Terms) goodsAggregatedPage.getAggregation("brand_agg");
        List<? extends Terms.Bucket> buckets = brandAgg.getBuckets();
        for (Terms.Bucket bucket : buckets) {
            String brandName = bucket.getKeyAsString();
            long docCount = bucket.getDocCount();
            Avg priceAvg = bucket.getAggregations().get("price_avg");
            double priceAvgValue = priceAvg.getValue();
            System.out.println("品牌为[" + brandName + "]的商品数量为" + docCount + ",平均价格为" + priceAvgValue);
        }
    }
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容