在应用中加入全文检索功能
oxad}Y ——基于Java的全文索引引擎Lucene简介
|E?%Cj^W 作者: 车东 Email: chedongATbigfoot.com/chedongATchedong.com
neZ_TT/3K )p!dqlK 写于:2002/08 最后更新: 11/29/2006 17:23:30
esLY1c%"/ Feed Back >> (Read this before you ask question)
#}jf TM xK_$^c. 版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
^Jkj/n' http://www.chedong.com/tech/lucene.html -D
V;{8U4 3^`bf=R 关键词:Lucene java full-text search engine Chinese word segment
Ezml LFp. _wX'u,HrC 内容摘要:
'.^JN@ C8{CKrVE Lucene是一个基于Java的全文索引工具包。
RF6|zCWuI Dxu)by 基于Java的全文索引引擎Lucene简介:关于作者和Lucene的历史
L9AfLw5&X 全文检索的实现:Luene全文索引和数据库索引的比较
Dd{{d?;B 中文切分词机制简介:基于词库和自动切分词算法的比较
ev+NKUi= 具体的安装和使用简介:系统结构介绍和演示
#Io#OG<7b Hacking Lucene:简化的查询分析器,删除的实现,定制的排序,应用接口的扩展
||_F
/AD 从Lucene我们还可以学到什么
w{UU( 基于Java的全文索引/检索引擎——Lucene
^Cak/5^K A"P1B] Lucene不是一个完整的全文索引应用,而是是一个用Java写的全文索引引擎工具包,它可以方便的嵌入到各种应用中实现针对应用的全文索引/
9r)5d&,6 rAQ^:q 检索功能。
''WX (
NiuAy Lucene的作者:Lucene的贡献者Doug Cutting是一位资深全文索引/检索专家,曾经是V-Twin搜索引擎(Apple的Copland操作系统的成就之一)的
oYqC"g&4Z "\V:W%23W{ 主要开发者,后在Excite担任高级系统架构设计师,目前从事于一些INTERNET底层架构的研究。他贡献出的Lucene的目标是为各种中小型应用
`[ne<F?e KztF#[64W^ 程序加入全文检索功能。
lL83LhE}< G-:DMjvN Lucene的发展历程:早先发布在作者自己的
www.lucene.com,后来发布在SourceForge,2001年年底成为APACHE基金会jakarta的一个子项目:
WK<pZ *x @yek6E&9 http://jakarta.apache.org/lucene/ pYa<u,>pN YE-kdzff 已经有很多Java项目都使用了Lucene作为其后台的全文索引引擎,比较著名的有:
6!gGWn5>} E3KPjK Jive:WEB论坛系统;
|0Zj/1<$ Eyebrows:邮件列表HTML归档/浏览/查询系统,本文的主要参考文档“TheLucene search engine: Powerful, flexible, and free”作者就是
_p~
`nQ=7 z?i82B[Tm EyeBrows系统的主要开发者之一,而EyeBrows已经成为目前APACHE项目的主要邮件列表归档系统。
_e-a>y Cocoon:基于XML的web发布框架,全文检索部分使用了Lucene
@{$SjR8Q $ Eclipse:基于Java的开放开发平台,帮助部分的全文索引使用了Lucene
i?|SC= &!_Ko`b8K 对于中文用户来说,最关心的问题是其是否支持中文的全文检索。但通过后面对于Lucene的结构的介绍,你会了解到由于Lucene良好架构设计
?dTz?C.w 0umfC ,对中文的支持只需对其语言词法分析接口进行扩展就能实现对中文检索的支持。
"5YsBih
\(A>~D8Fo 全文检索的实现机制
?s_q|d_ Fm2t:,= Lucene的API接口设计的比较通用,输入输出结构都很像数据库的表==>记录==>字段,所以很多传统的应用的文件、数据库等都可以比较方便的
f.8L<<5 c x,1&ml5 映射到Lucene的存储结构/接口中。总体上看:可以先把Lucene当成一个支持全文索引的数据库系统。
=Of#Ps) ZERd#7@m+ 比较一下Lucene和数据库:
%Ajf|Go0/G pFG~XW Lucene 数据库
#:{u1sq; 索引数据源:doc(field1,field2...) doc(field1,field2...) \ indexer / _____________
R2;-WxnN] !}vz_6) | Lucene Index| -------------- / searcher \ 结果输出:Hits(doc(field1,field2) doc
0Ifd! +q2l,{|? (field1...))
gReaFnm 索引数据源:record(field1,field2...) record(field1..) \ SQL: insert/ _____________
Cf10 ud
t qER;L | DB Index | ------------- / SQL: select \结果输出:results(record(field1,field2..) record
~E`l4'g? GEvif4 (field1...))
W*_ifZ0s. 2h/`RefHJ Document:一个需要进行索引的“单元”
_x>u"w 一个Document由多个字段组成 Record:记录,包含多个字段
T&{EqsI=B Field:字段 Field:字段
swJwy~ Hits:查询结果集,由匹配的Document组成 RecordSet:查询结果集,由多个Record组成
00$W>Gr [qb#>P2G3 全文检索 ≠ like "%keyword%"
dFS+O;zE\ DLz~$TF^ 通常比较厚的书籍后面常常附关键词索引表(比如:北京:12, 34页,上海:3,77页……),它能够帮助读者比较快地找到相关内容的页码。
)X7ZX#ttH K1 $Z=]a+ 而数据库索引能够大大提高查询的速度原理也是一样,想像一下通过书后面的索引查找的速度要比一页一页地翻内容高多少倍……而索引之所
S]9xqiJW *=ALns?y 以效率高,另外一个原因是它是排好序的。对于检索系统来说核心是一个排序问题。
a(<nk5 AFY;;_Xks 由于数据库索引不是为全文索引设计的,因此,使用like "%keyword%"时,数据库索引是不起作用的,在使用like查询时,搜索过程又变成类
q_I ''L p2cKtk+ 似于一页页翻书的遍历过程了,所以对于含有模糊查询的数据库服务来说,LIKE对性能的危害是极大的。如果是需要对多个关键词进行模糊匹
0phGn+"R mH8"k+k 配:like"%keyword1%" and like "%keyword2%" ...其效率也就可想而知了。
K~Xt` DsP+#PX 所以建立一个高效检索系统的关键是建立一个类似于科技索引一样的反向索引机制,将数据源(比如多篇文章)排序顺序存储的同时,有另外
kdv>QZ /njN*rhx&Z 一个排好序的关键词列表,用于存储关键词==>文章映射关系,利用这样的映射关系索引:[关键词==>出现关键词的文章编号,出现次数(甚至
T}zOM%]] Z3Viil: 包括位置:起始偏移量,结束偏移量),出现频率],检索过程就是把模糊查询变成多个可以利用索引的精确查询的逻辑组合的过程。从而大大
`4$" mO>+ [jY_e`S 提高了多关键词查询的效率,所以,全文检索问题归结到最后是一个排序问题。
{=&