solr+庖丁中文分词(paoding)实例解析

luinstein

paoding分词器，最新的JAR文件为paoding-analysis-2.0.4-beta，不支持lucene3.0以上版本，作者提供了支持lucene3.0以上版本的源码，但没有打成JAR包发布。附件里有编译好的源码，支持lucene3.0以上版本，同时还添加了一个类，该类的作用是让庖丁分词器支持solr。

添加的类文件如下：

1. package net.paoding.analysis.analyzer.solr;
   
2. 
   
3. import java.io.Reader;
   
4. import java.util.Map;
   
5. 
   
6. import net.paoding.analysis.analyzer.PaodingTokenizer;
   
7. import net.paoding.analysis.analyzer.TokenCollector;
   
8. import net.paoding.analysis.analyzer.impl.MaxWordLengthTokenCollector;
   
9. import net.paoding.analysis.analyzer.impl.MostWordsTokenCollector;
   
10. import net.paoding.analysis.knife.PaodingMaker;
    
11. 
    
12. import org.apache.lucene.analysis.Tokenizer;
    
13. import org.apache.solr.analysis.BaseTokenizerFactory;
    
14. 
    
15. /**
    
16. * 实现Solr3.2分词器接口
    
17. * 基于PaodingTokenizer的实现
    
18. *
    
19. * @author sunlightcs
    
20. *
    
21. * http://hi.juziku.com/sunlightcs/
    
22. *
    
23. */
    
24. public class ChineseTokenizerFactory extends BaseTokenizerFactory{
    
25.         /**
    
26.      * 最多切分
    
27.      */  
    
28.     public static final String MOST_WORDS_MODE = "most-words";  
    
29.   
    
30.     /**
    
31.      * 按最大切分
    
32.      */  
    
33.     public static final String MAX_WORD_LENGTH_MODE = "max-word-length";  
    
34.   
    
35.     private String mode = null;  
    
36.    
    
37.     private TokenCollector tokenCollector = null;
    
38.   
    
39.    
    
40.     public void init(Map<String,String> args) {  
    
41.         setMode(args.get("mode"));
    
42.     }
    
43.   
    
44.     public Tokenizer create(Reader input) {  
    
45.         return new PaodingTokenizer(input, PaodingMaker.make(), tokenCollector);  
    
46.     }
    
47.    
    
48.     /**
    
49.      * 默认按最多切分
    
50.      */
    
51.     public void setMode(String mode) {  
    
52.         if (mode == null || "default".equalsIgnoreCase(mode) || MOST_WORDS_MODE.equalsIgnoreCase(mode)) {  
    
53.                 tokenCollector = new MostWordsTokenCollector();  
    
54.         } else {  
    
55.                 tokenCollector = new MaxWordLengthTokenCollector();  
    
56.         }
    
57.     }
    
58. }

复制代码

已经将该类文件与paoding源码打包成了paoding-analysis3.0.jar文件，附件里有下载。


在使用庖丁分词器时，要从http://code.google.com/p/paoding/处下载词典及配置文件。 其中，paoding-dic-home.properties配置文件里，要指定词典的路径，如果词典放在classes目录下面，则词典的路径为：paoding.dic.home=classpath:dic

将这些配置文件及词典放到apache-solr3.2.0/WEB-INF/classes目录下，并将paoding-analysis3.0.jar放到apache-solr3.2.0/WEB-INF/lib目录里。

然后在solr中加入paoding分词器，打开schema.xml文件，位置：solr/home/conf/schema.xml

1. <fieldType name="text" class="solr.TextField" positionIncrementGap="100">  
   
2.       <analyzer type="index">  
   
3. <!-- 使用paoding分词器，按最多切分 mode="most-words"这个是在上面哪个类里定义好的。-->
   
4.         <tokenizer class="net.paoding.analysis.analyzer.solr.ChineseTokenizerFactory" mode="most-words"/>  
   
5.       ··· ···  
   
6.       </analyzer>  
   
7.       <analyzer type="query">  
   
8.          <tokenizer class="net.paoding.analysis.analyzer.solr.ChineseTokenizerFactory" mode="most-words"/>   
   
9.         ··· ···  
   
10.       </analyzer>  
    
11. </fieldType>  

复制代码

再重启tomcat，solr3.2就可以使用paoding分词器了。

文章来源：http://go.cxweb.com.cn/jvyu5