[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(一)


这是本熊转业的第一篇,本来从事绘画的工作的本熊为什么来搞搜索引擎呢。这要说起前些日子小Y的委托,靠脸吃饭能饿死自己几辈子的本熊。出于这是单身熊的寂寞 ,哪能错过这个刷刷小Y的好感度的机会,于是跳了这个大坑里。

注:本熊搜索引擎新手一枚,本着连初学者都能看懂的想法写的本文,对专业的描述可能还不充分,还请多多指教


纯初学者说明模式
本章节主讲实现本地模式

  • 最低需要哪些软件
  • 版本问题
  • 目录规划
  • Mint下环境变量异常解决法

1.基础配置

从最初的开始讲起,本熊采用的Linux是Mint版本的,其实和ubuntu差不多,本着追时髦的态度选了这个OS,结果成了噩梦的开端,这是后话啦。

开始的准备工作话,少年少女们快去安装java吧
安装配置Linux版本的JDK
(极其重要,必须安装)
网上有许多相关的配置,不劳本熊说明嘛,各位聪明的看官懂得起。

接下来说到Nutch 2.3.1的话,它是基于Gora 0.6.1的,所以版本必须和Gora的版本一致,Apache Gora 官网上是这么描述的

Gora 官方描述

经过本熊研究,但其实我们并不需要这么多就可以完成本地模式抓取的搭建。

最低只需要以下软件:
  • Apache Hadoop 1.2.1 and 2.5.2
  • Apache HBase 0.98.8-hadoop2 (although also tested with 1.X)
  • Apache Solr 4.10.3
  • Apache Tomcat(可选,版本随意,用于集成solr)

对你没看没错就这四个就够了,这些都可以在Apache的官网Download,但有一点一定要注意 版本一定要对! 版本一定要对! 版本一定要对! 本熊都说三遍了,这个重要 性各位看官懂得。

举个例子来说,如果Hbase的版本不对将导致Nutch抓取过程中InjectorJob的时间变得很长极长超级长。在这个位置上:

Hbase版本错误的结果

本熊是如何知道的呢?本熊从深夜等到黎明,才进如GeneratorJob进程,最后成功抓取后立刻屁颠屁颠的告诉小Y的时候,小Y已经睡够10的小时了。

总之版本要对,不要追新的,要考虑兼容性,当时本熊的配置是solr6.0,hadoop2.8,Hbase1.0.6,那问题出的千奇百怪,要是当时把版本选对,本熊就可以少数几个晚上的星星了。

下载完是这样的

下载完成后
软件下载完成后:

请拿去解压吧
简单来说随便你们解压到哪里,至于没有图形界面的看官们,那本熊只能推荐一下tar指令,去问可爱仁爱的百度吧。

主目录(/home)容量在10G左右的用户推荐放到容量大的挂载点下,因为后面编译后会很占空间的。

本熊解压在了/usr/Dzy下,这个目录代表着我存放这些软件的地方,今后文中代码中看见了这个路径请自动转换成你解压的位置。

左上角是路径

2.环境变量

这个是基础中的基础,不是指难度,是重要度。网上有许多的参考,这个还请各位自行百度,关于如何配置JAVA环境变量,本熊就不做赘述了。

环境变量的配置文件在/etc的目录下,一个叫profile的文件里

凡是看见报错里出现了 JAVA_HOME 这个词的时候,百分之八九十就是环境变量的配置问题,请好好检查哦
注:Error,false,not set,cannot reading,don't exist 输出里出现这些词都要注意啦,就代表有可能出现错误

还有一种状况是source ./profile 也执行了,环境变量始终没有生效,方法试遍了都不行,而且主目录下没有.bashrc的文件,想砸电脑了有没有?

那恭喜你,本熊的Linux Mint上也遇到了,解决办法就是这个

  cd /bin/
  ls -l /bin/sh
  ln -sf bash /bin/sh
  ls -l /bin/sh

copy and past,复制黏贴到终端里执行在重启就好啦,原因在于Bash的新旧问题,不精通linux的本熊不好说明缘由,如果有懂的大神可以告诉本熊

要是还不行,那就上绝招了,在每次开机后,在终端里输入以下命令,要替换命令里面的内容

  set JAVA_HOME=“这里写的是你的jdk的存放路径”
  export JAVA_HOME

还可以配置Hadoop,Hbase的环境变量,但本熊出于保险起见,在之后的命令中都采取了绝对路径


第一期完

各位看官有没有觉得别人的电脑和自己的电脑真不一样。为什么别人貌似一帆风顺的就完成了,自己的就这错那错的。

其实可以不用羡慕他们的,因为这些错误遇得见,那它们就一定存在,如果得以解决,这份经验足以使你在某个机遇中得到提示。感觉说这对本熊刷小Y的好感度完全没有帮助啊,苦逼的熊一只

第二期讲solr与Tomcat的集成与solrcloud的搭建

相关内容
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(一)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(二)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(三)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(四)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 195,783评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,360评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 142,942评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,507评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,324评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,299评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,685评论 3 386
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,358评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,652评论 1 293
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,704评论 2 312
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,465评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,318评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,711评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,991评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,265评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,661评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,864评论 2 335

推荐阅读更多精彩内容