网管联盟 | 网管论坛 | 网管u家 | 网管博客 | 网管软件 | 网管求职 | 小游戏 | 网管搜索 | 网管原创 | 网管聚合 | 网管读摘 | 网管焦点 | 世界素材 | 会员投稿 | 会员中心 
中国网管联盟
Windows Linux Cisco 网络技术 数据库 黑客攻防 DotNet Java PHP 认证 新闻资讯 服务器 存储资讯 网络设备 网管学堂 技术专题 焦点 网吧频道
 当前位置： > bitsCN.com > JAVA > 核心技术 > 高级编程 > 教你使用solr搭建你的全文检索  

教你使用solr搭建你的全文检索

2007-11-08  作者:bitsCN整理  来源:中国网管联盟  点评 投稿 收藏

　　Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟？那么建议先看看下面两篇文档：

网管bitscn_com

　　实战Lucene，第 1 部分： 初识 Lucene：http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/

网管网www_bitscn_com

　　用Lucene加速Web搜索应用程序的开发：http://www.ibm.com/developerworks/cn/web/wa-lucene2/ 中国网管论坛bbs.bitsCN.com

　　一、 solr介绍 网管联盟bitsCN_com

　　solr是基于Lucene Java搜索库的企业级全文搜索引擎，目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ .solr需要运行在一个servlet 容器里，例如tomcat5.5.solr在lucene的上层提供了一个基于HTTP/XML的Web Services，我们的应用需要通过这个服务与solr进行交互。

中国网管联盟bitsCN.com

　　二、 solr安装和配置

网管联盟bitsCN@com

　　关于solr的安装和配置，这里也有两篇非常好的文档，作者同时也是 Lucene Java 项目的提交人和发言人： 网管bitscn_com

　　使用Apache Solr实现更加灵巧的搜索：http://www.ibm.com/developerworks/cn/java/j-solr1/index.html

网管论坛bbs_bitsCN_com

　　http://www.ibm.com/developerworks/cn/java/j-solr2/index.html 中国网管联盟bitsCN.com

　　下面主要说说需要注意的地方。 网管联盟bitsCN_com

　　Solr的安装非常简单，下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java：comp/env/solr/home的一个JNDI指向solr的主目录（example目录下），建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

网管u家u.bitscn@com

<Context docBase="D:/solr.war" debug="0" crossContext="true" >
<Environment name="solr/home" type="java.lang.String" 
                  value="D:/solr/solr" override="true" />
</Context> 
网管联盟bitsCN@com
网管u家u.bitsCN.com

　　观察这个指定的solr主位置，里面存在两个文件夹：conf和data.其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml.data则用于存放索引文件。

网管联盟bitsCN_com

　　schema.xml主要包括types、fields和其他的一些缺省设置。 网管下载dl.bitscn.com

　　solrconfig.xml用来配置Solr的一些系统属性，例如与索引和查询处理有关的一些常见的配置选项，以及缓存、扩展等等。 网管论坛bbs_bitsCN_com

　　上面的文档对这两个文件有比较详细的说明，非常容易上手。注意到schema.xml里有一个 网管论坛bbs_bitsCN_com 

<uniqueKey>url</uniqueKey> 网管u家u.bitsCN.com

网管网www_bitscn_com

　　的配置，这里将url字段作为索引文档的唯一标识符，非常重要。

网管bitscn_com

　　三、 加入中文分词 网管网www.bitscn.com

　　对全文检索而言，中文分词非常的重要，这里采用了qieqie庖丁分词（非常不错：））。集成非常的容易，我下载的是2.0.4-alpha2版本，其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory.

网管论坛bbs_bitsCN_com

/**
 * Created by IntelliJ IDEA.
 * User: ronghao
 * Date: 2007-11-3
 * Time: 14:40:59
 * 中文切词 对庖丁切词的封装
 */
public class ChineseTokenizerFactory extends BaseTokenizerFactory {
    /**
     * 最多切分   默认模式
     */
    public static final String MOST_WORDS_MODE = "most-words";
    /**
     * 按最大切分
     */
    public static final String MAX_WORD_LENGTH_MODE = "max-word-length";
    private String mode = null;
    public void setMode(String mode) {
             if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)
                      || "default".equalsIgnoreCase(mode)) {
                  this.mode=MOST_WORDS_MODE;
             } else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
                  this.mode=MAX_WORD_LENGTH_MODE;
             }
             else {
                  throw new IllegalArgumentException("不合法的分析器Mode 
网管bitscn_com
 
                                                参数设置:" + mode);
             }
        }
    @Override
    public void init(Map args) {
        super.init(args);
        setMode(args.get("mode"));
    }
    public TokenStream create(Reader input) {
        return new PaodingTokenizer(input, PaodingMaker.make(),
                  createTokenCollector());
    }
    private TokenCollector createTokenCollector() {
        if( MOST_WORDS_MODE.equals(mode))
             return new MostWordsTokenCollector();
        if( MAX_WORD_LENGTH_MODE.equals(mode))
             return new MaxWordLengthTokenCollector();
        throw new Error("never happened");
    }
      } 中国网管联盟bitsCN.com
网管网www.bitscn.com

　　在schema.xml的字段text配置里加入该分词器。 网管联盟bitsCN@com 

<fieldtype name="text" class="solr.TextField" positionIncrementGap="100"> 网管联盟bitsCN@com 
        <analyzer type="index"> 
网管下载dl.bitscn.com
 
          <tokenizer class="com.ronghao.fulltextsearch.analyzer.
                     ChineseTokenizerFactory" mode="most-words"/>

          <filter class="solr.StopFilterFactory" ignoreCase="true" 
                                        words="stopwords.txt"/> 
中国网管联盟bitsCN.com
 
       <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1"
              generateNumberParts="1" catenateWords="1" catenateNumbers="1" 
                                                     catenateAll="0"/> 
网管bitscn_com
 
          <filter class="solr.LowerCaseFilterFactory"/> 网管联盟bitsCN@com 

           <filter class="solr.RemoveDuplicatesTokenFilterFactory"/> 
中国网管联盟bitsCN.com
 
         </analyzer> 网管下载dl.bitscn.com 
    <analyzer type="query"> 网管论坛bbs_bitsCN_com 
         <tokenizer class="com.ronghao.fulltextsearch.analyzer.
                            ChineseTokenizerFactory" mode="most-words"/>    网管下载dl.bitscn.com 
         <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" 
                                         ignoreCase="true" expand="true"/> 
网管下载dl.bitscn.com
 
         <filter class="solr.StopFilterFactory" ignoreCase="true" words="
                                                       stopwords.txt"/> 网管网www.bitscn.com 
      <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" 
             generateNumberParts="1" catenateWords="0" catenateNumbers="0" 
                             catenateAll="0"/> 
网管联盟bitsCN@com
 
         <filter class="solr.LowerCaseFilterFactory"/> 
网管网www_bitscn_com
 
          <filter class="solr.RemoveDuplicatesTokenFilterFactory"/> 网管u家u.bitsCN.com 
     </analyzer> 中国网管联盟bitsCN.com 
 </fieldtype> 
网管论坛bbs_bitsCN_com
网管网www_bitscn_com

　　完成后重启tomcat，即可在http://localhost：8080/solr/admin/analysis.jsp

网管u家u.bitsCN.com

　　体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下，注意修改jar包里字典的home. 中国网管联盟bitsCN.com

　　四、 与自己应用进行集成 网管下载dl.bitscn.com

　　Solr安装完毕，现在可以将自己的应用与solr集成。其实过程非常的简单，应用增加数据——>根据配置的字段构建add的xml文档——>post至solr/update.

网管u家u.bitscn@com

　　应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档——>post至solr/update.

网管下载dl.bitscn.com

　　检索数据à构建查询xml—>get至/solr/select/——>对solr返回的xml进行处理——>页面展现。 网管下载dl.bitscn.com

　　具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示，非常方便。 网管联盟bitsCN_com

　　关于中文，solr内核支持UTF-8编码，所以在tomcat里的server.xml需要进行配置

中国网管联盟bitsCN.com

<Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/> 网管bitscn_com
中国网管联盟bitsCN.com

　　另外，向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码，然后用“+”连接。 网管u家u.bitscn@com 

String[] array = StringUtils.split(query, null, 0);

        for (String str : array) {

            result = result + URLEncoder.encode(str, "UTF-8") + "+";

        }
 
网管论坛bbs_bitsCN_com
网管网www.bitscn.com


TAGs：
 上一篇：一个用JAVA写测算服务器响应速度程序   下一篇：Java中常用的加密算法MD5,SHA,RSA
相关文章列表
教你使用solr搭建你的全文检索 评论：
loading.. 评论加载中…
评论:请自觉遵守互联网相关政策法规，评论不得超过250字。

验证码： 注册用户
本类热门排行：
1.Android编程之实现GPS定位
2.一个用JAVA写测算服务器响应速度程序
3.Java中怎样遍历Map的所有的元素
4.三步教你改善Java代码质量
5.给大家个jquery $.getJSON的例子
6.java串口编程的实现
7.基于WCF和MSMQ构建发布/订阅消息总线
8.使用request.getInputStream() 获取POST
9.★Lotus Domino中基于Servlet的报表实现
10.HBCZT信息中心Weblogic Server性能调优
最新推荐文章：
1.该如何实践State模式
2.JFreeChart中柱状图的详细设置
3.Java Swing APIs可插拔式外观风格特性应
4.用信号量Semaphore实现互斥锁Mutex
5.使用Weblogic Integration的应用程序架构
6.设计Java应用程序
7.对Java嵌套类的讨论(上)
8.提高Java代码可重用性的三个措施
9.JAVA上加密算法的实现用例
10.总结篇：将内部类进行到底
网管论坛交流：
·不疯魔不成活
·令你大开眼界的真正标准化机房，已整理重
·华为HCSE OSPF路由协议培训教材 V3.0
·为赈灾，女孩舍身拍“裸照”
·Windows Server 2003服务器群集创建和配
·exchange2k3全套官方资料
·双儿一周岁了。。。特殊的礼物来啦。。
·存储备份技术版块守则
·无盘技术交流区守则
·DOS命令基础大全之命令详解<作者吐血