AWS Lambda笔记-数据检索CloudSearch-14【含源代码】

AWS提供了一个非常方便的内容搜索服务(CloudSearch),用户可以快速构建自己的内容搜索,完善的管理功能和搜索功能具备高度可伸缩能力。CloudSearch是构建在SOLR(一种开放源码的、基于Lucene Java的搜索服务器)上的托管服务。如果需要构建更复杂的搜索服务功能可以使用Elasticsearch服务。

  1. 创建CloudSearch搜索域
  2. 测试创建的搜索域
  3. 创建Suggester
  4. 创建搜索API

工程说明

工程首先通过最简单的CloudSearch配置,完成搜索域,再通过上传测试数据初步体验搜索的乐趣。而真实的应用场景是通过一个API网关暴露给用户搜索,例如:/serach?q=搜索内容,与实际应用结合。


工程关系配置

1. 创建CloudSearch搜索域

创建CloudSearch最直接的方式是通过控制台创建,需要注意下,这边需要使用DynamoDB中注册用户表UserTable的数据做为测试数据,所以在创建CloudSearch时需要选择同一个Region。

创建搜索域

创建搜索实例时有很多选择,search.m1.small到search.m3.2xlarge系列,每个实例的硬件配置不一样,而且每个小时价格也不尽相同。当前测试数据不多选择最小实例,最少次数。CloudSearch提供免费试用最长30天,所以练习完成后需要及时关闭搜索域。
选择计算实例

免费限制和提醒

采用纯手工配置索引字段,选择的是DaynamoDB的UserTable表中字段。userid,email,username,注意这里的Name名称只能用小写字母或数字。由于UserTable表中的字段是字符串类型,所以Type类型选择text文本。Type类型:int,double,literal,date等。这边更快捷的方法是直接选择“Analyze sample item(s) from Amazon DynamoDB”让CloudSearch确定域中的可索引字段。
选择手工配置索引字段

配置索引字段

同其他AWS服务一样,还必须为CloudSearch定义访问策略。该策略允许公共访问Search和Suggester服务。但只允许当前AWS所有者上传的文档。
定义访问策略

{
 "Version": "2012-10-17",
   "Statement": [
    {
    "Effect": "Allow",
     "Principal": {
     "AWS":["*"]
    },
     "Action": [
            "cloudsearch:search",
            "cloudsearch:suggest"
           ]
    }
  ]
}
创建完毕

最后一步确认后,需要等待10分钟左右,等待创建的CloudSearch状态从:LOADING -> PROCESSING即可。

2. 测试创建的搜索域

为测试方便,直接从DynamoDB的UserTable表导入测试数据。点击“Upload Documents”,选择“Item(s) from Amazon DynamoDB” 若没找到DynamoDB Table,需要确认表是否存在,可能是当前的Region没有Table。


image.png

上一步完成后,点击“Run a Test Search”就可以直接Search相关内容。这里搜索“testuser7” 检索到图中相关数据。


image.png

3. 创建Suggester

Suggester是CloudSearch比较智能的功能之一,可用于构建自动完成系统。为username字段创建一个suggester,方便在后续检索字段中使用。在左侧菜单栏中选择“Suggester”,点击“Add Suggester”。这里的“username_suggester” 和一个“Source Field”字段一一匹配。在“Fuzzy Matching”选中某项,即关键字不以给定的参数开头,也可以容忍录入错误并搜索出更多相似的记录。


Suggester创建

创建完成之后,CloudSearch会再一次索引文档,需要花费一些时间。

4. 创建搜索API

将CloudSearch的搜索结果直接显示给客户端,我们可以使用类似S3上传图片的方式。使用API网关作为CloudSearch AWS API与我们面向公众的API之间的代理。
创建API,需要先创建一个“/search”路径的资源。将下面代码添加到CloudFormation模版的Resources中。

"SearchResource": {
  //在 API 中创建资源
  "Type": "AWS::ApiGateway::Resource",
  "Properties": {
    "PathPart": "search",
    //在其中创建此资源的RestApi资源的ID
    "RestApiId": {
      "Ref": "RestApi"
    },
    //创建子资源,则为父资源的ID,没有父资源的资源,指定RestApi根资源ID
    "ParentId": {
      "Fn::GetAtt": [
        "RestApi",
        "RootResourceId"
      ]
    }
  }
}

要将CloudSearch与API网关集成,我们需要知道为CloudSearch域自动生成的子域。这个子域的信息在CloudSearch 的Dashboard中找到,即“Search Endpoint”和“Document Endpoint”,这两个“search-” 和 “doc-” 开头不一样,其他内容相同。


子域信息

在CloudFormation中定义一个变量用于传递Search Endpoint值。

"CloudSearchDomain": {
  "Type": "String",
  "Description": "Endpoint Name for CloudSearch domain"
}

然后在build.gradle传递值。在build.gradle中找到“conventionMapping.stackParams”继续添加“CloudSearchDomain: serverlessbook-qchgogrsncf7jh3l5aoxqn72lu” , 这里的“serverlessbook-qchgogrsncf7jh3l5aoxqn72lu”只是Search Endpoint中间一段,其余部分在代码中拼接。
添加APIGateway的Method内容,需要注意的内容都在参数中添加。

"SearchGetMethod": {
  "Type": "AWS::ApiGateway::Method",
  "Properties": {
    "HttpMethod": "GET",
    "RestApiId": {
      "Ref": "RestApi"
    },
    "ResourceId": {
      "Ref": "SearchResource"
    },
    //APIGateway接受的请求参数
    "RequestParameters": {
      //查询参数,/serach?q=查询内容
      "method.request.querystring.q": "q"
    },
    "AuthorizationType": "NONE",
    //方法在收到请求时调用的后端系统
    "Integration": {
      //指定AWS类型,
      "Type": "AWS",
      "Uri": {
        "Fn::Sub": "arn:aws:apigateway:${AWS::Region}:search-${CloudSearchDomain}.cloudsearch:path//2013-01-01/suggest"
      },
      "IntegrationHttpMethod": "GET",
      //集成所需的凭证
      "Credentials": {
        "Fn::GetAtt": [
          "ApiGatewayProxyRole",
          "Arn"
        ]
      },
      //后端请求一起发送的请求参数
      "RequestParameters": {

        //API网关级别添加suggester参数,并将请求参数传递给CloudSearch API。
        "integration.request.querystring.suggester": "'username_suggester'",
        "integration.request.querystring.q": "method.request.querystring.q"
      },
      "RequestTemplates": {
      },
      "PassthroughBehavior": "WHEN_NO_TEMPLATES",
      "IntegrationResponses": [
        {
          "SelectionPattern": ".*",
          "StatusCode": "200"
        }
      ]
    },
    "MethodResponses": [
      {
        "StatusCode": "200"
      }
    ]
  }
}

最后在APIDeployment中添加SearchGetMethod,防止在方法创建之前部署API。

"ApiDeployment": {
      "DependsOn": [
        "TestGetMethod",
        "SearchGetMethod"
      ]
......
}

部署程序./gradlew deploy, 在浏览器中搜索“https://serverless.自己的域名.com/search?q=testuser724”即可搜到相关内容,步骤非常简单快捷。

搜索结果

Github代码地址:https://github.com/zhujinhuant/serverlessbook/tree/master/serverlessbook-14

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容