[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(二)


可喜可贺写到了第二篇,照这个势头都可以去写论文了。我的委托人小Y明明计科系出身,看来上学时期肯定脑瓜里都是蔷薇色的,才傻傻来找本熊帮忙。可惜本熊上学时期都是节能减排型的,通关模式向来选Easy,但为了可以愉快的勒索小Y的午餐,本熊也是够拼了。


纯初学者说明模式
本章节主讲实现本地模式

  • Solr4.10与Tomcat集成
  • 删除Solr索引的方法
  • 一点有效但不实用的小技巧

1.Solr与Tomcat集成

集成的原因,初学者的可能会好奇Solr与Tomcat两个都是可以作为服务器,为啥不单用Solr呢?

单独启动Solr也可以,但原因在于将来实现的不是这样的伪集群模式,Solr在搜索引擎中的作用是建立索引,而管理集群的工作则交给了zookeeper,而载体就是Tomcat

可以参照前一章的步骤完成准备工作,接下来就可以正式开工了

1.1 解压Tomcat与solr

这里的路径随意,本熊假设Tomcat的主目录为TomcatPath,Solr的主目录为SolrPath,Nutch的解压后的主目录为NutchPath

以下是本熊的解压位置:
TomcatPath的值就是 /home/as/workspace/tomcat
SolrPath的值就是 /home/as/下载/solr-4.10.3
NutchPath的值就是 /usr/Dzy/apache-nutch-2.3.1

各位看官可以看自己的解压位置替换,本熊只为方便说明。

  • 在TomcatPath下的/webapps文件夹内新建名叫solr文件夹

  • 在SolrPath下路径/example/webapps有名为solr.war的压缩文件,将其复制到刚才新建的solr文件夹内

  • 在当前目录将solr.war解压

    完成图

    本熊请各位务必注意路径,本熊将截图包括路径,各位可以根据自身情况稍加推理,找到正确的位置。

  • 将SolrPath下的/example内的solr文件夹复制到TomcatPath路径下,如图

    完成图2

  • 在NutchPath下的/conf中的schema.xml文件,复制到TomcatPath下的/solr/collection1/conf内覆盖原文件

这样第一步准备工作就算完成啦,至于为什么复制Nutch的
schema.xml文件呢?了解过MYSQL的人肯定看这个词很眼熟,这就是告知solr服务器需要保留哪些类型数据的配置文件

1.2 修改solr的配置文件

此处的目的在于修改solr的配置文件,使其能准确的找到core的位置,本熊推测core的作用正是像处数据理机一样,里面集成了分词器等,使其可以可以建立索引。

  • 在TomcatPath下/webapps/solr/WEB-INF的文件内修改web.xml文件,将选取部分的注释取消(将开头 ````消除即可)
    修改web.xml

正确的写法是

   <env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>/home/as/workspace/tomcat/solr</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
   </env-entry>

<env-entry-value>标签下写的是步骤1.1的最后一步复制的solr文件所在的路径,不是solr.war的解压路径

1.3 启动solr

  • 在TomcatPath目录下执行以下命令,启动Tomcat
    bash startup.sh
  • 然后在浏览器中输入以下网址
    http://localhost:8080/solr/
成功启动后的样子

如果终端显示了Permission denied,这就是权限不够,拒绝执行的意思

    su

本熊就用的这个命令来提升权限吧

2.删除Solr索引

本熊简单介绍一下为什么要删除,因为在实验中Nutch抓取后,将抓取到数据存储到Hbase(也可以是其他的数据库)

然后由Solr来生成索引执行查询,如果不删除,那么将永远保留着第一次抓取的结果,无法查询今后的抓取结果

  • Core selector的下拉栏中选择Collection1,然后再选取Documents,将右侧的Documents Type选为XML,如下图
    http://localhost:8080/solr/#/collection1/documents
  • 然后在下面文本域中输入
    <delete><query>:</query></delete>
    <commit/>
    点击Submit Document执行,这句话用于清除所有索引,各位可以按需要删除指定的索引,这个得去问Google,本熊是实用派的

3.查询Nutch抓取的数据

如果完成了Nutch的抓取流程,这里可以看见抓取的结果,当然如果没有执行过,里面是什么都查不出来的

所以耐心的跟着本熊往下走完成以后的指南,本熊保证不出大意外,一定会看见的。

  • Core selector的下拉栏中选择Collection1,然后再选取Query,点击右侧Execute Query,如下图
    http://localhost:8080/solr/#/collection1/query

各位看官也可按需要调整查询参数,语法也是很简单的,本熊建议各位少年少女们好好利用百度吧,多查一查也不会有在下百度查我干嘛的的桥段的。

再次提醒 版本正确,版本正确,版本正确,在下版本有何贵干?不吐槽了,本熊就是在Nutch抓取成功后,却看不到solr上有任何数据,后来查明就是用了高版本的solr,希望各位少撞点墙了,能保证指甲头发的正常生长。


第二期完

本期可是之后完成Nutch抓取后的重要的检测工作,只有查询时看到了结果才算成功。在看到从没有到出现,那个成就感都让本熊差点忘了目的是刷小Y好感度了。

确实作为程序熊,成就感十分重要,在不知不觉接受越来越厉害的项目时,各位还能找到这份最初的愉悦吗?

下一期讲Hadoop与Hbase的配置

相关内容
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(一)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(二)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(三)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(四)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容