1 Solr查询

1.1 查询页面

1.1.1 基本查询

1.1.2 Solr检索运算符

1.1.3 高亮

1.1.4 分组

1.1.4.1 分组（Field Facet）

facet参数字段必须被索引，facet=on 或facet=true

1.1.4.2 分组（Date Facet）

对日期类型的字段进行 Facet，Solr 为日期字段提供了更为方便的查询统计方式 .注意 ,Date Facet的字段类型必须是 DateField( 或其子类型 ). 需要注意的是 , 使用 Date Facet时 , 字段名 , 起始时间 , 结束时间 , 时间间隔这 4 个参数都必须提供 。

1.2 创建索引文件

1.2.1 使用Post上传文件

1.2.1.1 Linux下使用

Solr 包含一个简单的命令行工具，即 Post 工具（bin/post 工具），用于将各种类型的内容发布到 Solr 服务器。
bin/post 工具是一个 Unix shell 脚本；对于 Windows使用情况不支持

1.2.1.1.1 索引XML

将文件扩展名为 .xml 的所有文档添加到命名为 gettingstarted 的集合或核心中。

bin/post -c gettingstarted *.xml

将所有带有文件扩展名为 .xml 的文档添加到在端口 8984 上运行的 Solr 上的 gettingstarted 集合/内核。

bin/post -c gettingstarted -p 8984 *.xml

发送 XML 参数以从 gettingstarted 中删除文档。

bin/post -c gettingstarted -d '<delete><id>42</id></delete>'

1.2.1.1.2 索引 CSV

将所有 CSV 文件索引到 gettingstarted

bin/post -c gettingstarted *.csv

将制表符分隔的文件索引到 gettingstarted：

bin/post -c signals -params "separator=%09" -type text/csv data.tsv

内容类型（-type）参数是需要将文件视为正确的类型，否则将被忽略，并记录一个警告，因为它不知道 .tsv 文件是什么类型的内容。该 CSV 处理器支持 separator 参数，并通过使用 -params 设置传递。

1.2.1.1.3 索引 JSON

将所有 JSON 文件编入索引 gettingstarted。

bin/post -c gettingstarted *.json

1.2.1.1.4 索引丰富的文档（PDF、Word、HTML等）

将 PDF 文件索引到 gettingstarted。

bin/post -c gettingstarted a.pdf

自动检测文件夹中的内容类型，并对其进行递归扫描，以便为编入 gettingstarted 的文档进行索引。

bin/post -c gettingstarted afolder/

自动检测文件夹中的内容类型，但将其限制为 PPT 和 HTML 文件并将其索引到 gettingstarted。

bin/post -c gettingstarted -filetypes ppt,html afolder/

1.2.1.1.5 索引到受密码保护的 Solr（基本身份验证）

索引一个 PDF 作为用户 solr 使用密码 SolrRocks：

bin/post -u solr:SolrRocks -c gettingstarted a.pdf

1.2.1.2 Windows下使用

由于bin/post 目前仅作为 Unix shell 脚本存在，但是它将其工作委派给了一个具有跨平台能力的Java 程序。该 SimplePostTool 可以直接在支持的环境，包括 Windows上运行。

1.2.1.2.1 SimplePostTool

该 bin/post 脚本目前委托给一个名为 SimplePostTool 的独立 Java 程序。

捆绑到可执行 JAR 中的这个工具可以直接运行 java -jar example/exampledocs/post.jar。可以直接发送命令到 Solr 服务器。

java -jar example/exampledocs/post.jar -h
SimplePostTool version 5.0.0
Usage: java [SystemProperties] -jar post.jar [-h|-] [<file|folder|url|arg> [<file|folder|url|arg>...]]

索引文件示例：
上传csv文件到指定核心实例 : java -Dc=test_core -Dtype=text/csv -jar example/exampledocs/post.jar example/exampledocs/books.csv
[图片上传失败...(image-b5a110-1681978125139)]
如果是上传xml文件，则xml示例如下所示

<add>
<doc>
  <field name="id">USD</field>
  <field name="name">One Dollar</field>
  <field name="manu">Bank of America</field>
  <field name="manu_id_s">boa</field>
  <field name="cat">currency</field>
  <field name="features">Coins and notes</field>
  <field name="price_c">1,USD</field>
  <field name="inStock">true</field>
</doc>
<doc> ... </doc>
</add>

1.2.2 Dataimport页面报错

当选中一个核心实例时，Dataimport页面报错

The solrconfig.xml file for this index does not have an operational DataImportHandler defined!

1.2.2.1 修改solrconfig.xml

修改方法在当前核心实例的下操作，比如选中test_core，在路径server\solr\test_core\conf下打开文件solrconfig.xml，在里边加入如下内容，放置的位置你可以放到其他requestHandler 旁边：

<requestHandler name="/dataimport" class="solr.DataImportHandler"> 
      <lst name="defaults"> 
        <str name="config">data-config.xml</str> 
      </lst> 
    </requestHandler>

1.2.2.2 data-config.xml

data-config.xml文件配置在和solrconfig.xml同样位置即可

<dataConfig>
    <dataSource name="jdbcDataSource" type="JdbcDataSource" 
    driver="oracle.jdbc.driver.OracleDriver"
    url="jdbc:oracle:thin:@localhost:1521:orcl" 
    user="test" password="test"/>
    <document>
        <entity dataSource="jdbcDataSource" name="country"  
        query="select * from test" >
            <field column="ID" name="id"></field>
            <field column="SORT" name="sort"></field>
        </entity>
    </document>
  </dataConfig>

dataconfig的结构不是一成不变的，entity和field元素中的属性是随意的，这主要取决于processor和transformer
以下是entity的默认属性:

• name(必需的):name是唯一的，用以标识entity
• processor:只有当datasource不是RDBMS时才是必需的。默认值是SqlEntityProcessor
• transformer:转换器将会被应用到这个entity上
• pk：entity的主键，它是可选的，但使用“增量导入”的时候是必需。它跟schema.xml中定义的uniqueKey没有必然的联系，但它们可以相同。
• rootEntity：默认情况下，document元素下就是根实体了，如果没有根实体的话，直接在实体下面的实体将会被看做跟实体。对于根实体对应的数据库中返回的数据的每一行，solr都将生成一个document

SqlEntityProcessor的属性

• query (required) :sql语句
• deltaQuery : 只在“增量导入”中使用
• parentDeltaQuery : 只在“增量导入”中使用
• deletedPkQuery : 只在“增量导入”中使用
• deltaImportQuery : (只在“增量导入”中使用) . 如果这个存在，那么它将会在“增量导入”中导入phase时代替query产生作用。

数据源也可以配置在solrconfig.xml中

<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/dbname" user="db_username" password="db_password"/>

• driver(必需的)：jdbc驱动名称
• url（必需的）：jdbc链接
• user：用户名
• password：密码
• type 指定了实现的类型。它是可选的。默认的实现是JdbcDataSource
• name 是datasources的名字，当有多个datasources时，可以使用name属性加以区分
  其他的属性都是随意的，根据你使用的DataSource实现而定。
• 多数据源
  一个配置文件可以配置多个数据源。增加一个dataSource元素就可以增加一个数据源了。name属性可以区分不同的数据源。如果配置了多于一个的数据源，那么要注意将name配置成唯一的

<dataSource type="JdbcDataSource" name="ds-1" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db1-host/dbname" user="db_username" password="db_password"/>

<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db2-host/dbname" user="db_username" password="db_password"/>

然后这样使用 ..

<entity name="one" dataSource="ds-1" ...>
   ..
</entity>
<entity name="two" dataSource="ds-2" ...>
   ..
</entity>

1.2.2.3 迁移jar包

在解压后的solr压缩包dist文件夹内的包(如下所示)迁移到解压后的server\solr-webapp\webapp\WEB-INF\lib文件夹内

image.png

2 第三方工具 SolrJ

使用一个第三方工具 SolrJ，使用 Java 语言来把数据加入到索引里

2.1 pom.xml

<dependency>
    <groupId>org.apache.solr</groupId>
    <artifactId>solr-solrj</artifactId>
    <version>9.0.0</version>
</dependency>
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.18.24</version>
</dependency>
<dependency>
  <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.8.0</version>
</dependency>

2.2 模板数据和实体

10001,房屋卫士自流平美缝剂瓷砖地砖专用双组份真瓷胶防水填缝剂镏金色,品质建材,398.00,上海,540785126782
10002,艾瑞泽手工大号小号调温热熔胶枪玻璃胶枪硅胶条热溶胶棒20W-100W,品质建材,21.80,山东青岛,24727352473
10003,HIGOLD/悍高 水槽双槽 厨房洗菜盆304不锈钢加厚拉丝手工水槽套餐,品质建材,2198.00,广东佛山,40972207020

实体类，每个字段上都有 @Field 注解，用来告诉 Solr 这些和 core里的字段对应

import lombok.Data;
import org.apache.solr.client.solrj.beans.Field;

@Data
@AllArgsConstructor
@NoArgsConstructor
public class Product {
    @Field
    int id;
    @Field
    String name;
    @Field
    String category;
    @Field
    float price;
    @Field
    String place;
    @Field
    String code;
}

2.3 实体工具类

import org.apache.commons.io.FileUtils;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class ProductUtil {

    public static void main(String[] args) throws IOException{
        String fileName = "D:\\Users\\admin\\Desktop\\140k_products.txt";

        List<Product> products = file2List(fileName);

        System.out.println(products.size());
    }

    public static List<Product> file2List(String fileName) throws IOException{
        File file = new File(fileName);
        List<String> strings = FileUtils.readLines(file, "UTF-8");
        List<Product> productList = new ArrayList<>();
        for(String str:strings){
            String[] split = str.split(",");
            Product product = new Product(Integer.parseInt(split[0]),split[1],split[2],Float.parseFloat(split[3]),split[4],split[5]);
            productList.add(product);
        }
        return productList;
    }
}

2.4 读取工具类

import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.beans.DocumentObjectBinder;
import org.apache.solr.client.solrj.impl.Http2SolrClient;
import org.apache.solr.common.SolrInputDocument;

import java.util.List;

public class SolrUtil {

    public static SolrClient client;
    private static String url;
    static {
        url="http://localhost:8983/solr/test001";
        client=new Http2SolrClient.Builder(url).build();
    }

    public static <T> boolean batchSaveOrUpdate(List<T> entitites) throws Exception{
        DocumentObjectBinder binder = new DocumentObjectBinder();
        int total = entitites.size();
        int count=0;
        for(T t:entitites){
            SolrInputDocument doc = binder.toSolrInputDocument(t);
            client.add(doc);
            System.out.printf("添加数据到索引中，总共要添加 %d 条记录，当前添加 第 %d %n",total,++count);
        }
        client.commit();
       // client.close();
        return true;
    }
}

main方法调用

public static void main(String[] args) throws Exception {
    String fileName = "D:\\Users\\admin\\Desktop\\140k_products.txt";
    List<Product> products = ProductUtil.file2List(fileName);
    SolrUtil.batchSaveOrUpdate(products);
}

2.5 查询分析

2.5.1 分页查询

public static QueryResponse query(String keywords,int startOfPage,int numberOfPage) throws Exception{
   SolrQuery query = new SolrQuery();
   query.setStart(startOfPage);
   query.setRows(numberOfPage);

   query.setQuery(keywords);
   QueryResponse rsp = client.query(query);
  // client.close();
   return rsp;
}

main方法调用

import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;

import java.util.Collection;

public class PageQuery {
    public static void main(String[] args) throws Exception{
        QueryResponse query = SolrUtil.query("name:手机", 0, 10);
        SolrDocumentList results = query.getResults();
        System.out.println("累计找到的条数:"+results.getNumFound());
        if(!results.isEmpty()){
        //  先 打印 求出列名
            Collection<String> fieldNameList = results.get(0).getFieldNames();
            for(String filedName:fieldNameList){
                System.out.print(filedName+"\t");
            }
            System.out.println();
        }
        for (SolrDocument result:results){
            Collection<String> fieldNames = result.getFieldNames();
            // 根据字段名 求 值
            for(String field:fieldNames){
                System.out.print(result.get(field)+"\t");
            }
            System.out.println();
        }
    }
}

2.5.2 高亮查询

public static void queryHighLight(String keywords) throws Exception{
        SolrQuery query = new SolrQuery();
        query.setStart(0);//开始页数
        query.setRows(10);//每页显示条数
        query.setQuery(keywords);// 设置查询关键字
        query.setHighlight(true);// 开启高亮
        query.addHighlightField("name"); // 高亮字段
        query.setHighlightSimplePre("<span style='color:red'>");// 高亮单词的前缀
        query.setHighlightSimplePost("</span>"); // 高亮单词的后缀

        query.setHighlightFragsize(100);//摘要最长100个字符
        QueryResponse resp = client.query(query); //查询
        client.close();
        NamedList<Object> response = resp.getResponse();//获取高亮字段name相应结果
        NamedList<?> highlighting = (NamedList<?>) response.get("highlighting");
        for (int i = 0; i < highlighting.size(); i++) {
            System.out.println(highlighting.getName(i) + "：" + highlighting.getVal(i));
        }

        //获取查询结果
        SolrDocumentList results = resp.getResults();
        for (SolrDocument result : results) {
            System.out.println(result.toString());
        }

    }

main调用

public static void main(String[] args) throws Exception{
    SolrUtil.queryHighLight("name:手机");
}

2.6 修改更新删除索引文件

//增加或者更新索引
public static <T> boolean saveOrUpdate(T entity) throws Exception{
    DocumentObjectBinder binder = new DocumentObjectBinder();
    SolrInputDocument doc = binder.toSolrInputDocument(entity);
    client.add(doc);
    client.commit();  
    return true;
}
//删除索引
public static <T> boolean deleteById(String id) throws Exception{
    try {
        client.deleteById(id);
        client.commit();
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
    return true;
}

main方法调用

import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;

import java.util.Collection;

public class TestSolr4j {

    public static void main(String[] args) throws Exception{
        String keyword = "name:手机";
        System.out.println("修改之前");
        query(keyword);

        Product product = new Product();
        product.setId(51173);
        product.setName("修改后的手机");
        SolrUtil.<Product>saveOrUpdate(product);
        System.out.println("修改之后");
        query(keyword);

        SolrUtil.deleteById("51173");
        System.out.println("删除之后");
        query(keyword);
    }


    public static void query(String keyword) throws Exception{
        QueryResponse response = SolrUtil.query(keyword, 0, 10);
        SolrDocumentList resultList = response.getResults();
        System.out.println("累计找到的条数:"+resultList.getNumFound());
        if(!resultList.isEmpty()){
            Collection<String> fieldNameList = resultList.get(0).getFieldNames();
            for(String filedName:fieldNameList){
                System.out.print(filedName+"\t");
            }
            System.out.println();
        }
        for (SolrDocument result:resultList){
            Collection<String> fieldNames = result.getFieldNames();
            for(String field:fieldNames){
                System.out.print(result.get(field)+"\t");
            }
            System.out.println();
        }
    }
}