Lucene.net常用功能说明_.NET_编程开发_程序员俱乐部

中国优秀的程序员网站程序员频道CXYCLUB技术地图
热搜:
更多>>
 
您所在的位置: 程序员俱乐部 > 编程开发 > .NET > Lucene.net常用功能说明

Lucene.net常用功能说明

 2013/12/20 3:09:11  xingxingxing  博客园  我要评论(0)
  • 摘要:Lucene.net是一个.net下的全文检索类库。配置简单,功能丰富,比较成熟。我在项目中用Lucene.net有一段时间了,这里我把常用一些功能写出来,与大家一起分享。Lucene.net用的是3.0版本,分词采用盘古分词。示例程序用VS2010进行编译。1索引在做索引时,有些参数是需要配置的,下面介绍下常用的参数配置。1)数据类型,如整形、时间、字符。每种类型生成的索引方式都是不同的。比如:字符串需要分词,整形数据则不需要。生成索引的方式会影响到检索,如果整形按照字符串的方式生成索引
  • 标签:.net 功能 常用 net lucene

 

Lucene.net是一个.net下的全文检索类库。配置简单,功能丰富,比较成熟。我在项目中用Lucene.net有一段时间了,这里我把常用一些功能写出来,与大家一起分享。

Lucene.net用的是3.0版本,分词采用盘古分词。示例程序用VS2010进行编译。

1         索引

在做索引时,有些参数是需要配置的,下面介绍下常用的参数配置。

1)      数据类型,如整形、时间、字符。

每种类型生成的索引方式都是不同的。比如:字符串需要分词,整形数据则不需要。生成索引的方式会影响到检索,如果整形按照字符串的方式生成索引,则比较不容易实现区域检索:如,ID>1000 and ID<2000。

时间索引比较特殊一些。Lucene.net无法对时间字段进行排序和区域检索,所以,要把时间字段转成长整形来实现。时间索引参考如下代码:

var time = DateTime.Now;

var timeField = new NumericField("Publish", Field.Store.YES, true).SetLongValue(time.Ticks);

2)      是否存储元数据。

如果进行存储,Lucene则会把索引数据与元数据同时进行存储。

好处:取数据比较容易。

坏处:索引比较大,可能会影响检索的速度

3)      是否进行排序

Lucene.net是支持排序的,包括整形排序、时间排序、字符串排序。

但排序和索引有什么关系呢?

我们知道Lucene.net做索引时,需要把字符串数据进行分词,便于实现全文检索。这时,如果一段文字已经分过词,如:“我的未来不是梦”,分词后应该是:我-的-未来-不是-梦,这样,一段文字分成若干个词进行索引,索引时,词的顺序也发生了变化。其中有一些词或符号在索引时会被滤掉,所以就无法进行排序了。如果要排序,则不应该进行分词。做索引时参考如下代码:

var filed = new Field("title_sort", "我的未来不是梦", Field.Store.NO, Field.Index.NOT_ANALYZED);

如果一个字段,既要实现模糊检索,又要实现精确匹配或排序,则应该把这个字段做两份索引,一份分词,一份不分词。

2         检索

1)      字符串检索

字符检索时,一般要对关键词进行分词。

var keywords = ParserKeyWord(keyword);

QueryParser parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_30, item.Column, analyzer);

query = parser.Parse(keywords);

2)      时间、整形检索

时间和整形都是通过NumericRangeQuery来实现。

NumericRangeQuery<long> query = NumericRangeQuery.NewLongRange("ID", 0, 10000000, true, true);

3)      全词匹配

如果要实现全词匹配,在做索引时,该字段就不能进行分词。

Term t = new Term(item.Column, item.Value.ToString());

query = new TermQuery(t);

4)      多条件检索

多条件进行检索可以通过BooleanQuery进行实现,参考如下代码:

bq.Add(query, Occur.MUST);

bq.Add(query1, Occur.MUST);

这里query可以是任意检索条件,BooleanQuery只是把条件进行拼接。在多条件的情况下,我们经常会遇到这样的检索条件:title =’a’ and (author=’x’ or author =’y’)

遇到这样的条件时,我们可以使用BooleanQuery进行嵌套。这里我们可以用两个BooleanQuery实现。

BooleanQuery1用来连接author=’x’和 author =’y’,逻辑运算符为OR

BooleanQuery2用来连接title =’a’和BooleanQuery1,逻辑运算会为And。

5)      多索引检索

多索引检索是指同时对多个索引目录进行检索。通过MultiSearcher来实现。参考如下代码:

MultiSearcher multiSearch = new MultiSearcher(allIndexSearch.ToArray());

MultiSearcher初始化时,需要指定多个索引目录,其它操作与单个索引检索基本相同。

6)      多索引并行检索

多索引并行检索是指同时对多个索引进行并行检索。当单个索引超过10G大小时,我们可以考虑做多个索引,然后利用并行检索提高检索性能。并行检索通过ParallelMultiSearcher来实现,参考如下代码:

ParallelMultiSearcher parallelMultiSearch = new ParallelMultiSearcher(allIndexSearch.ToArray());

ParallelMultiSearcher在初始化时,需要指定多个索引目录,其它操作与单个索引检索基本相同。

3         排序

Lucene.net支持常见字段的排序。默认按照相关度进行排序。在实现排序之前,一定要做好索引。当对特定字段进行排序时,会严重影响检索的性能,尤其是按字符串进行排序。当数据量比较大时,一定要先做好压力测试,以便确认lucene.net是否满足性能要求。

排序是在检索时,通过SortField来实现的。参考如下代码:

searcher.Search(query, null, limitCount, new Sort(new SortField("Title", SortField.STRING, true)));

注意SortField.STRING这个参数。这里是字符串,所以用SortField.STRING,如果是整形字段,则参数应该是:SortField.INT。

4         常见问题

1)      时间字段:如果要实现时间字段的排序或区域检索,一定要把时间字段的值转成长整形。细节请参考《索引》。

2)      分页:Lucene.net在检索时有一个参数:(int n),这个参数是用来取前n条记录,一般情况下,这个参数n最好不要太大,否则会影响检索性能。百度即使检索到1亿条记录,但最多也就显示760条记录。我一般都是取1000条记录,然后在内存中进行分页。

3)      关于Lucene.net的性能,可以参考:

http://www.cnblogs.com/xingzhang/p/LuceneProject.html

4)      检索不准:一般情况下检索不准都与分词有关。不同的分词效果会导致检索与预期的不一致。

5         总结

用Lucene.net有一段时间了,总体感觉很稳定、性能也不错、功能实现灵活。但Lucene.net毕竟是一个全文索引项目,所以,要完全实现关系型数据库的功能,如:增、删、改、查、联合检索、分组等,并不容易,而且没有必要。不要用Lucene.net去代替关系型数据库,应该把Lucene.net作为关系型数据库的一个补充。

上面的例子只给出了关键代码或逻辑代码,下面提供完整的源代码。

代码下载

 

发表评论
用户名: 匿名