介绍 Nutch 网络爬虫 Hbase 分布式存储系统 Solr搜索服务器 版本说明 由于Nutch/Hbase/Solr他们都各自做在自己的版本修改,所以配置他们三者有不同的方法.这里也
介绍
Nutch 网络爬虫
Hbase 分布式存储系统
Solr搜索服务器
版本说明
由于Nutch/Hbase/Solr他们都各自做在自己的版本修改,所以配置他们三者有不同的方法.这里也是参考网络文档做了他们最新版本的配置 Nutch版本(2.2.1) apache-nutch-2.2.1-src.tar.gz;由于改版本的Nutch默认的Hbase版本是0.90.4 所以这里就使用的hbase-0.90.4.tar.gz ;同时Nutch默认的Solr版本是3.4.0版本,但由于Solr4与三的版本变化比较大，所以这里我使用的是当前最新的4版本solr-4.4.0.tgz。
apache-nutch-2.2.1-src.tar.gz
hbase-0.90.4.tar.gz
solr-4.4.0.tgz
下载
Nutch 首页http://nutch.apache.org/ 下载地址apache-nutch-2.2.1-src.tar.gz
Nutch 首页http://hbase.apache.org/ 下载地址hbase-0.90.4.tar.gz
Solr 首页http://lucene.apache.org/solr/ 下载地址 solr-4.4.0.tgz
安装JDK
参考： Linux安装JDK安装Hbase
单机版的HBase
由于Hbase是一个分布式的数据库，所以我们经常与Hadoop联系起来一起用。可以参考（Hbase入门——安装），但我们在开放中其实未必有条件使用。使用这里就可以不于hadoop一起使用，使用这里就直接安装单击版的Hbase。来在官方的安装和使用http://hbase.apache.org/book/quickstart.html。
解压hbase-0.90.4.tar.gz
先拷贝文件到/usr/local/目录下
$ tar xfz hbase-0.90.4.tar.gz$ chmod -R 777 hbase-0.90.4
编辑 conf/hbase-site.xml
在<configuration></configuration> 中添加如下内容。其实这里也可以不做修改，如果不做修改，就会把数据存放到tmp临时目录中，重启就没有数据。如果做简单的测试就不用麻烦去配置文件。<property> <name>hbase.rootdir</name> <value>file:////usr/local/hbase-0.90.4/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/usr/local/hbase-0.90.4/zookeeper</value> </property>启动Hbase
$./cp hbase-0.90.4$ bin/start-hbase.sh
查看Logs日志，如果不报错就证明启动成功。
安装Nutch
在安装Nutch与Hbase结合前，可以先参考官方文档https://wiki.apache.org/nutch/Nutch2Tutorial
网上有很多Nutch与Mysql结合的实力，但Nutch与Hbase结合的很少，这里也是参考官方文档做了相应操作。
解压apache-nutch-2.2.1-src.tar.gz
$ tar -zxvf apache-nutch-2.2.1-src.tar.gz$ mv apache-nutch-2.2.1-src nutch-2$ chmod -R 777 nutch-2修改conf/ nutch-site.xml
<property> <name>storage.data.store.class</name> <value>org.apache.gora.hbase.store.HBaseStore</value> <description>Default class for storing data</description> </property>修改ivy/ivy.xml
取消注释
<dependency org="org.apache.gora" name="gora-hbase" rev="0.3" conf="*->default" />配置conf/gora.properties
添加
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore安装ANT
由于nutch是基于ant安装的，使用首先要先安装ANT。安装可以参考 linux安装ant安装Nutch
Nutch的安装需要基于网络，由于原文件中还有很多jar没有包含，所以修要运行ant来自动下载$ cd nutch-2$ ant
在配置nutch-2/runtime/local/conf/nutch-site.xml
在添加如下配置信息
在添加如下配置信息<property><name>http.agent.name</name><value>Your Nutch Spider</value></property><property><name>http.accept.language</name><value>ja-jp, en-us,en-gb,en;q=0.7,*;q=0.3</value><description>Value of the “Accept-Language” request header field.This allows selecting non-English language as default one to retrieve.It is a useful setting for search engines build for certain national group.</description></property><property><name>parser.character.encoding.default</name><value>utf-8</value><description>The character encoding to fall back to when no other informationis available</description></property>配置抓取网址
可以参考 https://wiki.apache.org/nutch/NutchTutorial$ cd runtime/local$ mkdir -p urls$ cd urls$ vi seed.txthttp://nutch.apache.org/运行Nutch
$ /bin/nutch inject urls $ /bin/nutch readdb在Hbase测试
在运行
hbase shelllist
安装Solr
这里使用的是Solr4解压solr-4.4.0.tar.gz
拷贝到/usr/local目录
$ tar -zxvf solr-4.4.0.tar.gz$ mv solr-4.4.0 solr-4$ chmod -R 777 solr-4替换schema.xml文件
这里下载 http://nlp.solutions.asia/wp-content/uploads/2012/08/schema.xml（schema.xml ）
把下载的schema.xml文件替换掉 /usr/local/solr-4/example/solr/collection1/conf/schema.xml（这里正时solr4与nutch格式）
运行Solr
java -jar start.jar运行Nutch提交
在nutch-2/runtime/local/bin/下面执行nutch的全部抓取过程：
inject>generate>fetch>parse>updatedb之后，可以执行solrindex的操作，用法如下：
bin/nutch inject urlsbin/nutch generate -topN 3 . bin/nutch fetch -allbin/nutch parse -allbin/nutch updatedb . . .
bin/nutch solrindex http://127.0.0.1:8983/solr/ -reindex
参考文档:
http://blog.chinaunix.net/uid-8345138-id-3350686.html
http://nlp.solutions.asia/?p=180#tab-3
https://wiki.apache.org/nutch/Nutch2Tutorial
http://abloz.com/hbase/book.html（Hbase中文手册）
