在CentOS上配置Solr全文检索引擎

好记性不如烂Blog……为了以防万一我还是记下来

Solr是一个基于Java、lucene的全文检索引擎，很多大的互联网站点都在使用它，本文主要介绍如何在CentOS6上安装Solr 4.5、配置中文分词引擎mmseg4j以及从MySQL数据库中导入数据。

一、安装Java环境
首先需要卸载系统原本的Java环境
yum list installed | grep jdk

我的结果：
java-1.6.0-openjdk.x86_64            1:1.6.0.0-1.62.1.11.11.90.el6_4    @updates
java-1.6.0-openjdk-devel.x86_64      1:1.6.0.0-1.62.1.11.11.90.el6_4    @updates
jdk.x86_64                           2000:1.7.0_09-fcs                  installed

卸载它们
yum -y remove jdk.x86_64
yum -y remove java-1.6.0-openjdk.x86_64

去Oracle的官网下载最新的JDK
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
解压 tar xvzf jdk-7u40-linux-x64.tar.gz

移动下载的文件到/usr/local/
mv xvzf jdk-7u40-linux-x64 /usr/local/jdk1.7.0_40/


修改系统的环境变量
vim ~/.bash_profile
在末尾加上
export JAVA_HOME=/usr/local/jdk1.7.0_40
export CLASSPATH=.
export PATH=$JAVA_HOME/bin:$PATH

登出、然后再次登入
测试安装结果
java -version

二、安装Tomcat
去网站上下载最新的Tomcat，我选择的是Tomcat8.0rc3，下载地址是
http://tomcat.apache.org/download-80.cgi
下载之后解压
tar xvzf apache-tomcat-8.0.0-RC3.tar.gz

拷贝解压之后的文件到/usr/local/
mv apache-tomcat-8.0.0-RC3 /usr/local/apache-tomcat-8.0.8/

修改系统的环境变量
vim ~/.bash_profile
在末尾加上
export CATALINA_BASE=/usr/local/apache-tomcat-8.0.8
export CATALINA_HOME=/usr/local/apache-tomcat-8.0.8

修改和增加tomcat的管理员用户和GUI管理员
vim /usr/local/apache-tomcat-8.0.8/conf/tomcat-users.xml

XML文件改为：
<?xml version='1.0' encoding='utf-8'?>
    <tomcat-users>
    <role rolename="tomcat"/>
    <role rolename="manager-gui"/>
    <user username="root" password="root" roles="tomcat,manager-gui"/>
</tomcat-users>
（用户名为root，密码为root，可以根据需要变更，测试完毕后可移除或者修改gui管理界面地址）

启动tomcat
cd /usr/local/apache-tomcat-8.0.8/bin/
./startup.sh

访问8080端口确认安装完成
http://192.168.0.14:8080/

三、安装solr
下载solr 4.5
http://www.apache.org/dyn/closer.cgi/lucene/solr/4.5.0

解压
tar xzvf solr-4.5.0.tgz

拷贝war自动部署文件到tomcat的webapp目录让tomcat自动部署
cd solr-4.5.0
cp webapps/solr.war /usr/local/apache-tomcat-8.0.8/webapps/

Tomcat会自动的部署这个war包

编辑一下web.xml文件修改solr的home路径，路径指向解压的目录的example/solr目录
vim /usr/local/apache-tomcat-8.0.8/webapps/solr/WEB-INF/web.xml
我的路径如下：
<env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>/home/siglud/solr-4.5.0/example/solr</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
</env-entry>
需要修改的为红色标识部分

修改一下tomcat的设置让它支持中文
vim /usr/local/apache-tomcat-8.0.8/conf/server.xml
修改以下的配置，增加红色的字段
<Connector port="8080" protocol="HTTP/1.1"
               connectionTimeout="20000" URIEncoding="UTF-8" 
               redirectPort="8443" />

拷贝solr所需要的jar包
cp /home/siglud/solr-4.5.0/example/lib/* /usr/local/apache-tomcat-8.0.8/webapps/solr/WEB-INF/lib
cp /home/siglud/solr-4.5.0/example/resources/log4j.properties /usr/local/apache-tomcat-8.0.8/webapps/solr/WEB-INF/classes/

重启tomcat
/usr/local/apache-tomcat-8.0.8/bin/shutdown.sh
/usr/local/apache-tomcat-8.0.8/bin/startup.sh

访问solr管理界面确认solr安装完成
http://192.168.0.14:8080/solr/

三、配置solr的MySQL数据导入
修改配置文件增加MySQL导入的项目
vim /home/siglud/solr-4.5.0/example/solr/collection1/conf/solrconfig.xml
在中间插入
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
        <str name="config">mysql-data-config.xml</str>
    </lst>
</requestHandler>

在同级目录下建立刚才添加的mysql-data-config.xml文件
vim /home/siglud/solr-4.5.0/example/solr/collection1/conf/mysql-data-config.xml
我的内容如下：
<dataConfig>
    <dataSource
        type="JdbcDataSource"
        driver="com.mysql.jdbc.Driver"
        url="jdbc:mysql://192.168.0.11:3306/test?useUnicode=true&amp;characterEncoding=utf8"
        user="root" 
        password="" />
    <document name="documents">
    <entity name="user" pk="id"
        query="select TRIM(e.name_gb) AS name, e.id from allowed_ex e;"
        deltaImportQuery="select TRIM(e.name_gb) AS name, e.id from allowed_ex e where e.id='${dataimporter.delta.id}'"
        deltaQuery="select TRIM(e.name_gb) AS name, e.id from allowed_ex e where e.last_edit > '${dataimporter.last_index_time}'">
        <field column="id" name="id" />
        <field column="name" name="name" />
    </entity>
    </document>
</dataConfig>
理解也很简单
蓝色的代表了数据库链接字段，你要连接的数据库地址和数据库名称
粉色部分代表了数据库的用户名密码
红色的query中填入完整导入时所需要的SQL语句
土黄色的deltaImportQuery中填入单个导入时用的SQL语句
绿色的deltaQuery中填入增量导入时用到的SQL语句
最后两个field钟填入检索结果对应的solr的检索字段

把相关的jar包放入tomcat
cd /home/siglud/
cp solr-4.5.0/dist/solr-dataimporthandler-4.5.0.jar /usr/local/apache-tomcat-8.0.8/webapps/solr/WEB-INF/lib/
cp solr-4.5.0/dist/solr-dataimporthandler-extras-4.5.0.jar /usr/local/apache-tomcat-8.0.8/webapps/solr/WEB-INF/lib/

去网上下载MySQL for java的connector的jar包mysql-connector-java-5.1.6.jar放入/usr/local/apache-tomcat-8.0.8/webapps/solr/WEB-INF/lib/目录

四、配置solr的检索字段和中文分词
编辑solr的检索字段文件
vim /home/siglud/solr-4.5.0/example/solr/collection1/conf/schema.xml
我的最终结果：
<?xml version="1.0" encoding="UTF-8" ?>
<schema name="example" version="1.5">
 <fields>
   <field name="id" type="tint" indexed="true" stored="true" required="true" multiValued="false" />
   <field name="name" type="textComplex" indexed="true" stored="true"/>
   <field name="_version_" type="long" indexed="true" stored="true"/>
   <field name="_root_" type="string" indexed="true" stored="false"/>
 </fields>
 <uniqueKey>id</uniqueKey>
  <types>
    <fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/>
    <fieldType name="tint" class="solr.TrieIntField" precisionStep="8" positionIncrementGap="0"/>
    <fieldType name="textComplex" class="solr.TextField" >
        <analyzer>
            <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex"/>
        </analyzer>
    </fieldType>
    <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>
    <fieldType name="string" class="solr.StrField" sortMissingLast="true" />
    <fieldType name="date" class="solr.TrieDateField" precisionStep="0" positionIncrementGap="0"/>
 </types>

</schema>
值得注意的是_version_和_root_这两个field不可以删除，同理，他们对应的long类型和string类型的定义也不可以删除，其他的都可以统统干掉，更高级的语法，比如字段整合、搜索引擎优化之类的可以查阅这里

安装mmseg4j
下载它：
https://code.google.com/p/mmseg4j/
我下载的是1.41，官方说支持solr 4.1，我用4.5跑也没啥问题
解压，然后把/dist里面的
mmseg4j-analysis-1.9.1.jar
mmseg4j-core-1.9.1.jar
mmseg4j-solr-1.9.1.jar
拷贝到/usr/local/apache-tomcat-8.0.8/webapps/solr/WEB-INF/lib/

编辑elevate.xml
vim /home/siglud/solr-4.5.0/example/solr/collection1/conf/elevate.xml
把其中的内容删除掉只剩头尾
<elevate>
</elevate>
这个文件是做个性化检索排序的，就是强制让某个结果在某个结果集中排第一或者不出现的，暂时用不到就不管它，但是至少不要让它的默认值干扰到正常的搜索结果。

至此就安装完成了，在tomcat的管理界面中可以重启solr来检查
在solr的管理界面中可以实施导入数据操作
也可以在solr的管理界面中实施分词检验和搜索检验

我导入了8W条数据，每次检索+排序的耗时基本上都在30毫秒以下，内存占用在500M~1.5G左右，返回结果集支持Json、XML、Python和PHP的语句等，非常的丰富

评论

发表评论

此博客中的热门博文

转一下关于Fuck的用法

不得不说,不会国骂人的人那一定不是土生土长中国人,相对的,不会用这英文四字真经的绝对也不是土生土长美国人. “Fuck” 是现代英语中最强烈，最有争议的粗语之一，这个词可能也是世界上最著名的亵渎语。但何时这个词从一个友好用法变成亵渎用法却仍然无法解释。一些证明显示，在一些英语为母语的地区，这个词直到17世纪才有一种攻击和亵渎的含义; 而另外一些证明却表明，早在16世纪的英国，这个词已经变成粗语。因此一些诸如牛津大英字典的权威资料仍然无法确定这个粗语的来源，但倾向于相信撒克逊人(英国人)起源说，然后再流传到英国殖民地，再到全世界。 　　 　　在现代英语中，”Fuck”是一种高度冒犯性的用词，是最为严厉的4字母词。”Fuck” 原意就是性交(操，干)，但它往往被用作一个咒骂语和语气加强词。一些”Fuck”原意的例子有： 　　 　　”Let‘ s fuck.” (让我们操吧) 　　”That was a good fuck.” (那真是一次美妙的性交) 　　”I can‘t believe she‘s fucking him!” (我不能相信她正在操他！) 　　”I fucked my teacher!” (我干了我老师) 　　 　　其他则是一些粗直语用法，但这些用法往往牵涉到性，譬如强奸(fuck you)或者自慰(fuck yourself). 　　 　　”Fuck you!” or “Go fuck yourself!” (我不喜欢你，快滚开) 　　”He”s a dumb fuck.” (他是个白痴) 　　”Sorry, I fucked up your computer.” (不好意思，我弄坏了你的电脑) 　　”He‘ s pretty fucked up.” (他心理或者心情不稳定) 　　”I fucked up on this test.” (我这次测验做的很糟) 　　”Let‘s fuck around for a couple hours.” (让我们浪费2个小时好了) 　　”I‘m fucked.” (结果) 　　”What the fuck!” (到底刚才发生了什么?) 　　”Shut the fuck up!” (闭嘴) 　　”I‘m so fucked up right now.” (我已经烂醉或者被药物搞的晕晕乎乎了。) 　　其他一些粗直用法则...
阅读全文

远程记录OpenWRT日志

默认的OpenWRT日志放在/tmp/log下，这样有个问题就是每次重启就会丢失全部的日志，于是公司的路由器每次重启之后连为什么重启都不知道 于是就想办法把日志迁移出来，好在OpenWRT本身就附带了远程日志打印功能，于是直接在内网中开一个rsyslog服务器就可以了 在/etc/rsyslog.d/下新建一个router.conf 内容如下： module(load="imtcp") module(load="imudp") input(type="imudp"      port="514"      ruleset="routerSet") input(type="imtcp"      port="514"      ruleset="routerSet") # rsyslog RuleSets ruleset(name="routerSet") {     action(type="omfile"         File="/var/log/router.log") } （这个配置文件可以在 http://www.rsyslog.com/rsyslog-configuration-builder/ 生成） 接下来启动一下rsyslog服务就可以了 systemctl restart rsyslog 在OpenWRT端需要做的工作： vim /etc/config/system 在config system下增加这么几行         option log_remote '1'         option log_ip '192.168.0.13'  # 你的日志i服务器内网IP         option log_port '514'         option log_size '0'  # 如果不加这个可能会丢失部...
阅读全文

用OpenWRT打造自动翻墙路由器（详解篇）

最初先调整一下bash ，让它符合自己的工作习惯： 到vim /etc/profile，可以在里面设置自己想要的alias 比如我加了一行： alias ll='ls -al' 然后就装图形显示界面再说 首先update一下 opkg update 安装luci opkg install luci 设置luci自动启动 /etc/init.d/uhttpd enable 结果告诉我 /etc/rc.common: line 1: procd_add_reload_trigger: not found 坑爹，搜索了一下发现是因为我的固件版本与软件仓库的版本不符，导致软件与系统组件不搭配所致，后来发现是 新版的OpenWrt更新了而已，于是我升级了一下系统就好了 ，如果你无法升级系统，那么可以按照下述方式解决： 先把安装的那些个用不了的一个个卸载掉 opkg remove luci opkg remove uhttpd-mod-ubus opkg remove uhttpd 修改opkg的配置，修改到以前的仓库 vim /etc/opkg.conf 注释掉原有的仓库地址，改用旧的 #src/gz barrier_breaker http://downloads.openwrt.org/snapshots/trunk/ar71xx/packages src/gz barrier_breaker http://downloads.openwrt.org/attitude_adjustment/12.09/ar71xx/generic/packages 然后在opkg update一下，继续 opkg install luci opkg install luci-i18n-chinese 这次在/etc/init.d/uhttpd start 的时候就不会报错了 然后稳妥的进入luci的Web界面，修改一下时区、界面语言之类的 接下来的工作是 修改防火墙的设置，让远端的HTTP和SSH能够通过 vim /etc/config/firewall config rule                ...
阅读全文