一、java安装与环境变量设置
1. 源码包准备
首先到官网下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，我下载的是 jdk-8u121-linux-x64.tar.gz
注意判断自己的虚拟机是32位or64位，以免做无用功。
2. 解压源码包
通过终端在/usr/local目录下新建jdk文件夹，
mkdir /usr/local/jdk
然后将下载到压缩包拷贝到java文件夹中，
cp jdk-8u25-linux-x64.tar.gz /usr/local/jdk
然后进入java目录，
cd /usr/local/jdk
解压压缩包，
tar xvf jdk-8u25-linux-x64.tar.gz
然后可以把压缩包删除，
rm jdk-8u25-linux-x64.tar.gz
3. 设置jdk环境变量
这里采用全局设置方法，它是是所有用户的共用的环境变量
gedit ~/.bashrc 打开之后在末尾添加
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source ~/.bashrc使设置生效
4. 检验是否安装成功
在终端输入如下命令
java -version
看看是否安装成功
二、hbase安装与配置
1. 源码包准备：
首先到官网下载 http://archive.apache.org/dist/hbase/hbase-0.98.8/hbase-0.98.8-hadoop2-bin.tar.gz，我下载的是 hbase-0.98.8-hadoop2-bin.tar.gz
2. 解压源码包
tar -zxf hbase-0.98.8-hadoop2-bin.tar.gz
3. 设置hbase环境变量
gedit /etc/profile 打开之后在文件末尾添加
export HBASE_HOME=/home/leo//weblab/hbase-0.98-8-hadoop2
export PATH=$PATH:$HBASE_HOME/bin
保存修改之后
source /etc/profile
使得设置生效
配置完环境变量后可输入命令hbase version来验证hbase是否安装成功
4. 配置hbase-site.xml文件
gedit conf/hbase-site.xml
打开文件之后在<congiguration></configuration>之间添加
<property>
<name>hbase:rootdir</name>
<value>file://home/leo/weblab/hbase-0.98.8-hadoop2/data/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/leo//weblab/hbase-0.98.8-hadoop2/data/zookeeper</value>
</property>
5. 启动hbase
cd /weblab/hbase-0.98-8-hadoop2/bin
./start-hbase.sh
三、Nutch安装与配置
1. 下载、解压源码包
tar -zxf apache-nutch-2.3.1-src.tar.gz
2. 进入Nutch 目录，修改/ivy文件夹中的ivy.xml文件
gedit ivy/ivy.xml，将以下内容的注释取消（将包含此代码段开头消除即可）
<dependency org="apache.org.gora" name="gora.hbase" rev=0.6.1 conf="*->default"/>
这是将Nutch的默认的结果存储方式变更为Hbase，并添加以下代码确保nutch包含hbase相关的jar包
<dependency org="org.apache.hbase" name="hbase-common“ rev="0.98.8-hadoop2" conf="*->default" />
3. 修改/conf文件夹中的nutch-site.xml文件
gedit conf/nutch-site.xml在<configuration></configuration>标签中添加以下设置
<property>
<name>storage.data.store.class</name>
<value>org.apache.gora.hbase.store.HBaseStore</value>
<description>Default class for storing data</description>
</property>
<property>
<name>http.agent.name</name>
<value>My Nutch Spider</value>
</property>
<property>
<name>plugin.includes</name>
<value>protocol-httpclient|urlfilter-regex|index-(basic|more)|query-(basic|site|url|lang)|indexer-solr|nutch-extensionpoints|protocol-httpclient|urlfilter-regex|parse-(text|html|msexcel|msword|mspowerpoint|pdf)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)protocol-http|urlfilter-regex|parse-(html|tika|metatags)|index-(basic|anchor|more|metadata)</value>
</property>
这三个property分别指的是Nutch的默认存储类型，爬虫的名字，和插件库的位置，如果错误中出现job-XXXXX的情况，那就是没有配置好插件库property
4. 修改/conf文件夹中的regex-urlfilter.txt文件
gedit conf/regex-urlfilter.txt 将最后部分修改为
# accept anything else
#+.
+^http://([a-z0-9]*\.)*nutch.apache.org/
这里写的是抓取过滤的正则表达式，表示除了抓取这个url指向的页面，其他页面不抓取，可按照自己的需求更改。
nutch的正则过滤时，采用的匹配函数式Patterm.matcher，而不是Patterm.matches。
Patterm.mather在匹配时，只要找到待爬取网页的url的子串和正则匹配，就通过。
Patterm.matcher要求待爬取网页的url和regex完全匹配。例如:
待爬取网页的网址是 http://www.xinhuanet.com/index.html
正则是^http://([a-z0-9]*\.)*xinhuanet.com
这个正则用Patterm.matcher和网页url可以匹配。因为网页url的字串http://www.xinhuanet.com和正则能匹配。
但是用Patterm.matches就不能匹配。正则需要改成^http://([a-z0-9]*\.)*xinhuanet.com.*才可以和网页的URL匹配。
也就是说nutch的正则其实是和找url中是否有字串符合正则。所以做nutch的正则配置文件时，要在http前加入^符号，如果正则没有加^符号，
例如+http://www.xinhuanet.com ,下面网址也是可以匹配的:
http://www.abc.com/index.[PHP](http://lib.csdn.net/base/php)?name=http://www.xinhuanet.com
5. 修改/conf文件夹中的gora.properties文件，添加以下配置，确保存储在Hbase上
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
6.在Nuctch目录下，开始ant编译
ant runtime 第一次编译因为要从maven网站下载文件，时间耗费较长，而且可能出现部分jar包不能下载的情况，要修改ivy/ivysettings.xml文件
<property name="repository.apache.org" value="http://maven.restlet.org/" override="false"/>
可能出现的情况
NUTCH You probably access the destination server through a proxy server that is not well configured
没别的意思，网不好，PING一下外网试试
[ivy:resolve] :: loading settings :: file = /home/appmon/release-2.2.1/ivy/ivysettings.xml
停在这里不表示出错，而是在联网监测，可能要好几分钟，耐心等待
编译完成后，在Nutch目录下会生成一个runtime文件夹
7. 在Nutch目录下，在/runtime/local文件下创建url文件夹，并在该文件夹下创建`seed.txt
mkdir url
cd url
touch seed.txt
在其中输入你要抓取页面的url
http://nutch.apache.org/
四、Solr安装与配置
1.下载、解压源码包
http://archive.apache.org/dist/lucene/solr/4.10.3
根据前人无数次的尝试，发现还是4.10.3版本能与以上版本的软件很好兼容，如果想验证下兼容性，可以试试其他版本。。。
tar -zxf solr-4.10.3.tgz
2.进入example子目录下运行
cd solr-4.10.3/example/
java –jar start.jar
3.结合Nutch
复制nutch/runtime/local/conf目录下的schema.xml到solr/example/solr/collection1/conf目录下，替换solr原来的文件
重启solr Ctrl+C
五、开始使用
1.进入Hbase安装目录的/bin/子目录下，启动HBase:
./start-hbase.sh
2.进入Solr安装目录的/example/子目录下，启动Solr:
java -jar start.jar
3.进入Nutch安装目录的/runtime/local/子目录下，启动Nutch:
./bin/crawl ./url/seed.txt mycrawl http://localhost:8983/solr 2
参数理解：
seed.txt 之前创建的url种子文件夹，是爬取网页的起点，mycrawl 爬虫ID，http://localhost:8983/solr 在浏览器中打开Solr页面，‘2’ 爬取深度
4.可能出现的情况
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/configuration
缺少java包
把hbase目录下
/lib/里有关hbase的jar文件复制到Nutch目录下/runtime/local/lib/里，这里可能存在操作权限的问题，可用chmod 777命令修改权限。SolrIndexerJob: java.lang.RuntimeException: job failed:
这里可能是找不到插件的原因，编辑nutch/runtime/conf/目录下的nutch-site.xml文件，加上
<property>
<name>plugin.folders</name>
<value>plugins</value>
</property>
网友评论