Elasticsearch 是目前流行的大数据处理框架之一,详细的说明可以自行百度等.
以下文章采用es缩写作为代表Elasticsearch
es有官方的php api接口,可以采用github下载或者composer.
1.创建索引($client->indices()->create())
$params = [
'index' => 'user_index', //索引名（相当于mysql的数据库）
'body' => [
'mappings' => [
'normal_type' => [ //类型名（相当于mysql的表）
'_all'=>[ // 是否开启所有字段的检索
'enabled' => 'false'
],
'properties' => [ //文档类型设置（相当于mysql的数据类型）
'uid' => [
'type' => 'integer' // 字段类型为整型
],
'username' => [
'type' => 'keyword' // 字段类型为关键字,如果需要全文检索,则修改为text,注意keyword字段为整体查询,不能作为模糊搜索
],
'platform' => [
'type' => 'keyword'
],
'mobile' => [
'type' => 'integer'
],
'sex' => [
'type' => 'integer'
],
'source' => [
'type' => 'keyword'
],
'province' => [
'type' => 'keyword'
],
'city' => [
'type' => 'keyword'
],
'tag' => [
'properties' => [
'tagName' =>[
'type' => 'text'
],
'tagWeight' => [
'type' => 'integer',
]
]
],
]
]
]
]
];
$data = $client->indices()->create($params);
简单的索引就创建完毕了,现在我们可以获取下刚创建的索引信息.
2.获取索引信息
2.1 获取索引信息($client->indices()->getSettings())
$params = [
'index' => 'user_index',
'client' => [
'ignore' => 404
]
];
$res = $client->indices()->getSettings($params);//获取库索引设置
信息
返回的结果如下:
array (
'user_index' =>
array (
'settings' =>
array (
'index' =>
array (
'creation_date' => '1498116455327',
'number_of_shards' => '5',
'number_of_replicas' => '1',
'uuid' => '8pkONoI7RAuw5HjnFa4UaQ',
'version' =>
array (
'created' => '5020299',
),
'provided_name' => 'user_index',
),
),
),
)
2.2 获取Mapping信息
- 接口:$client->indices()->getMapping
$params = [
'index' => 'user_index',
'client' => [
'ignore' => 404
]
];
$res = $client->indices()->getMapping($params); //获取mapping信息
返回的结果如下:
array (
'user_index' =>
array (
'mappings' =>
array (
'normal_type' =>
array (
'_all' =>
array (
'enabled' => false,
),
'properties' =>
array (
'city' =>
array (
'type' => 'keyword',
),
'mobile' =>
array (
'type' => 'integer',
),
'platform' =>
array (
'type' => 'keyword',
),
'province' =>
array (
'type' => 'keyword',
),
'sex' =>
array (
'type' => 'integer',
),
'source' =>
array (
'type' => 'keyword',
),
'uid' =>
array (
'type' => 'integer',
),
'username' =>
array (
'type' => 'keyword',
),
),
),
),
),
)
这里获取的相关信息就是我们刚刚创建的索引es可以动态的修改以及添加相关的信息.
2.3 修改/添加mapping信息
- 注意事项:已经建立好的字段类型是不能更改的!!
- 接口:$client->indices()->putMapping();
$params = [
'index' => 'user_index', //索引名（相当于mysql的数据库）
'type' => 'normal_type',
'body' => [
'normal_type' => [
'properties' =>[
'tag' =>[
'type' => 'text'
]
]
]
]
];
$client->indices()->putMapping($params);
2.4 删除索引
- 接口:$client->indices()->delete($params);
$params = [
'index' => 'user_index', //索引名（相当于mysql的数据库）
];
3 es的增删改查
3.1 增加数据
- 单条数据插入
- 接口:$client->index()
$params = [
'index' => 'my_index',
'type' => 'my_type',
'id' => 'my_id', // 不填则es会自动生成唯一的id
'body' => [ 'testField' => 'abc']
];
$response = $client->index($params);
- 批量数据插入
- 接口:$client->bulk();
foreach($userList as $value){
$params['body'][] = [
'index' => [
'_index' => 'user_index',
'_type' => 'normal_type',
'_id' =>$value['uid']
]
];
$params['body'][] = [
'uid' => $value['uid'],
'username' => $value['username'],
'platform' => $value['platform'],
'mobile' => $value['mobile'],
'province' => $value['province'],
'city' => $value['city'],
'sex' => $value['gender '],
'source'=>'xxx'
];
}
$responses = $client->bulk($params);
- ps:当循环插入大量数据时,需要注意php的内存超出限制的问题.(还不清楚这个框架哪部分操作之后没有释放内存)
3.2 搜索数据
- 单条数据搜搜,但是需要知道id
- 接口:$client->get()
$params = [
'index' => 'my_index',
'type' => 'my_type',
'id' => 'my_id' // es 自动生成/自己录入的
];
$response = $client->get($params);
- 批量搜索
- 接口:$client->search()
$params = [
'index' => 'my_index', //['my_index1', 'my_index2'],可以通过这种形式进行跨库查询
'type' => 'my_type',//['my_type1', 'my_type2'],
'body' => [
'query' => [
'match' => [ // 搜索条件
'age' => '24' ,
'tag.tagName' =>'tag' // 如果字段存储的是object.
//这里搜索必须要这样才能搜索出结果.
]
],
'from' => '0', // 分页
'size' => '200' // 每页数量
'sort' => [ // 排序
'age' => 'desc' //对age字段进行降序排序
]
]
];
$res = $client->search($params);
返回的数据大致如下:
array (size=4)
'took' => int 2
'timed_out' => boolean false
'_shards' =>
array (size=3)
'total' => int 5
'successful' => int 5
'failed' => int 0
'hits' => // 搜索到数据
array (size=3)
'total' => int 2
'max_score' => float 1
'hits' => // 具体数据包
array (size=1)
0 =>
array (size=5)
...
- 很多时候需要用到类似mysql的and/or 查询es搜索也能做到.
- 这个时候我们就要用到es的组合过滤器
- https://www.elastic.co/guide/cn/elasticsearch/guide/current/combining-filters.html 官方文档如下
- 以下是测试过的一个例子
{
"index": "xxx_index",
"type": "normal_type",
"body": {
"size": 20,
"from": 0,
"query": {
"bool": {
"must": [
{
"match": {
"tag.tagName": "xxxx"
}
}
]
}
},
"sort": {
"uid": "desc"
}
}
}
3.3 删除数据
- 注意:数据删除的时候有一定的缓存更新时间,在没更新的时候还是能被搜索出来.
- 接口:$client->delete();
$param = [
'index' => 'my_index',
'type' => 'my_type',
'id' => 'my_id'
];
$ret = $this->client->delete($param);
返回数据如下:
array (size=7)
'found' => boolean true
'_index' => string 'user_index' (length=10)
'_type' => string 'normal_type' (length=11)
'_id' => string 'AVzh_QnIZvcaH3gE7MvE' (length=20)
'_version' => int 2
'result' => string 'deleted' (length=7)
'_shards' =>
array (size=3)
'total' => int 2
'successful' => int 1
'failed' => int 0
3.4 更新数据
- 接口:$client->update()
$params = [
'index' => 'my_index',
'type' => 'my_type',
'id' => '3416a75f4cea9109507cacd8e2f2aefc',
'body' => [
'doc' => [ // 必须带上这个.表示是文档操作
'age' => 150
]
]
];
$res = $client->update($params);
返回结果
array (size=6)
'_index' => string 'user_index' (length=10)
'_type' => string 'normal_type' (length=11)
'_id' => string 'AVzh_QnIZvcaH3gE7Mw5' (length=20)
'_version' => int 2
'result' => string 'updated' (length=7)
'_shards' =>
array (size=3)
'total' => int 2
'successful' => int 1 // 当数据没有发生变化时这里是为0
'failed' => int 0
4.不同索引之间进行倒数据
- 注意:不同索引之间倒数据时,需要注意字段的类型,类型不一样会导致导入失败,这个时候可以使用script进行处理
- 此接口不能再phpapi中运行,作为记录存在
- 接口:POST _reindex
POST _reindex
{
"source": {
"index": "user_profile"
},
"dest": {
"index": "user_prfile_v1"
},
"script": {
"inline": " ctx._source.tag=params.new_tags",
"params": {
"new_tags":{
"tagName":null,
"tagWeight":0
}
}
}
}
