自己服务器缩减开支，降配到2G内存，之前跑的ES实在是不够用。挣扎了很久终于，决定用Meilisearch来替换ElasticSearch。让我没想到的是，整个替换过程非常的顺畅，两个项目满打满算不到一天就切换完了。接下来简单介绍一下过程。欢迎搜索GunnerTalk关注我
一切的一切都是基于官方文档，https://docs.meilisearch.com/learn/getting_started/quick_start.html#setup-and-installation
安装
# 安装 Meilisearch
curl -L https://install.meilisearch.com | sh
### 启动 Meilisearch
./meilisearch</pre>
但是当我运行的时候报错了，报错信息是 version **GLIBC_2.27**not found
后面我还尝试的自己去build了glib，但是无奈我的服务器是centos7，有点老了，最终还是选择放弃，选择用docker来安装和运行
使用docker 安装 & 运行
docker pull getmeili/meilisearch:v1.1
docker run -it --rm \
-p 7700:7700 \
-e MEILI_MASTER_KEY='your_master_key'\
-v $(pwd)/meili_data:/meili_data \
getmeili/meilisearch:v1.1
记得把 MEILI_MASTER_KEY 替换成自己的 key，并不要泄露。
启动成功后，通过服务器地址:7700端口，可以访问web界面
接下来我们要做两件事情：
- 讲数据库中的数据导入到meilisearch的index中
- 重写搜索方法，我的项目是用Go写的，所以这里的搜索实践是用的Go
1. 用Python写导入脚本
# Connect to MeiliSearch
meili_client = meilisearch.Client("http://test.com:7700", "test")
# tasks = meili_client.get_tasks()
# import pdb; pdb.set_trace()
results = meili_client.index('resources').get_documents({'limit':2})
print(results.results)
# Create an index in MeiliSearch
# index = meili_client.create_index("resources")
# Fetch and import data in batches of 1000 rows
batch_size = 100
num_batches = (total_rows + batch_size - 1) // batch_size
for i in range(num_batches):
offset = i * batch_size
sql = f"SELECT * FROM `resource` LIMIT {batch_size} OFFSET {offset};"
cursor.execute(sql)
data = cursor.fetchall()
# Prepare the data for MeiliSearch
documents = []
for row in data:
document = {
# "id": row["id"],
"resource_id": row["resource_id"],
"cn_name": row["cn_name"],
"en_name": row["en_name"],
}
documents.append(document)
# Add the documents to the index
rsp = meili_client.index('resources').add_documents(documents)
print(rsp)
# Display progress
print(f"Imported batch {i + 1} of {num_batches}")
print("Documents imported to MeiliSearch successfully!")
2. 用Go来写搜索方法
更新原开发环境
因为项目很久没有更新了，现更新一下go的版本
go mod edit -go 1.19
go get github.com/gomodule/redigo@latest
安装go-sdk
go get github.com/meilisearch/meilisearch-go
后报错 missing go.sum entry for module providing package ，通过一下命令解决
go mod tidy
Go-搜索方法
func (r *ResourceNewController) SearchResourceMeili() {
query := r.GetString("query")
page, _ := strconv.Atoi(r.GetString("page"))
client := meilisearch.NewClient(meilisearch.ClientConfig{
Host: "http://test.com:7700",
APIKey: "test",
})
resp, err := client.Index("resources").Search(query, &meilisearch.SearchRequest{
Limit: 10,
Offset: int64(page - 1),
})
if err != nil {
panic(err)
}
r.Result.Data = resp.Hits
r.ServeJSON()
}
条件筛选
添加筛选条件字段
如果不添加会有报错
Handler crashed with error unaccepted status code found: 400 expected: [200], MeilisearchApiError Message: Attribute `brand_id` is not filterable. This index does not have configured filterable attributes.
添加筛选字段的方法
meili_client.index('resources').update_filterable_attributes(['brand_id', 'category_id'])
使用筛选的方法
searchRequest := &meilisearch.SearchRequest{
Limit: int64(num),
Offset: int64(page - 1),
}
filterStr := ""
if category_id != 0 {
filterStr = "category_id = " + strconv.Itoa(category_id)
}
if brand_id != 0 {
if filterStr != "" {
filterStr += " AND "
}
filterStr += "brand_id = " + strconv.Itoa(brand_id)
}
fmt.Println(filterStr)
if filterStr != "" {
searchRequest.Filter = filterStr
}
resp, err := client.Index("dune_items").Search(query, searchRequest)
if err != nil {
panic(err)
}
通过searchRequest中的Filter参数来进行筛选。
非常简单的完成了ElasticSearch到MeiliSearch的迁移，这个过程中也在让我思考，传统搜索引擎和目前AI带来的搜索的变革是怎样一种对抗或者结合。最近也在学习向量数据库和Embedding相关知识，争取近期写一些文章出来。
