solr使用自定义QParser后同义词扩展及Token去重的感悟

好久没写博客了。近期在用solr做一套系统,期间有不少心得尚未记录。这里先记录一下solr中自定义QParser如何与SynonymFilter和RemoveDuplicatesTokenFilter配合以实现检索时Token同义词扩展与Token去重。

起初按照solr wiki上的说明,在schema.xml里配置了如下filter:

[xml]

<filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

[/xml]

但是在实际使用过程中,发现RemoveDuplicatesTokenFilterFactory并未能过滤掉重复的Token,例如:“摩托罗拉 motorola 里程碑2代”,经过同义词扩展后(此处的同义词扩展为品牌中英文扩展,下同)变成了“摩托罗拉 摩托 motorola moto motorola 摩托罗拉 摩托 moto 里程碑 2代”,其中的【摩托罗拉】、【摩托】、【motorola】、【moto】都重复了一次。而我使用了基于DisMaxQParser的自定义Qparser,因此扩展后的同义词会对min-should-match参数带来影响,降低匹配精度。

为了看看究竟为何RemoveDuplicatesTokenFilter不起作用,打开它的源码看了一下:

[java]
@Override
public boolean incrementToken() throws IOException {
while (input.incrementToken()) {
final char term[] = termAttribute.buffer();
final int length = termAttribute.length();
final int posIncrement = posIncAttribute.getPositionIncrement();
if (posIncrement > 0) {
previous.clear();
}
boolean duplicate = (posIncrement == 0 && previous.contains(term, 0, length));
// clone the term, and add to the set of seen terms.
char saved[] = new char[length];
System.arraycopy(term, 0, saved, 0, length);
previous.add(saved);
if (!duplicate) {
return true;
}
}
return false;
}
[/java]

可以看出来,RemoveDuplicatesTokenFilter只对positionIncrement为0的token进行判断是否重复;但是,经过SynonymFilter扩展出的同义词,虽然positionIncrement为0,但肯定不会与原Token重复的,后面可能出现的重复的Token则因为positionIncrement必然大于0而导致无法去重了。

针对这种情况,决定从自定义的QParser入手,采用以下思路来解决问题:

  1. 想办法在QParser中获得Solr的TokenizerChain,从中获取SynonymFilterFactory
  2. 在QParser中取得分词的Analyzer,并通过Analyzer的TokenStream构建SynonymFilter实例
  3. 通过SynonymFilter遍历Token(调用incrementToken方法),并针对同义词扩展的positionIncrement进行逻辑判断:

    • 若positionIncrement>0,则判断该词是否已经出现过,未出现则放行,并放在Set中待下次判断是否重复
    • 若positionIncrement==0,则只放在Set中供下次判断
      经过这样的处理逻辑,实际上除了过滤掉了重复的Token,还完成了Token“归一化”的过程。因为自定义QParser在solr检索的生命周期中要先于schema.xml中配置的TokenizerChain,因此在归一化之后,还会再进行一次同义词扩展,扩展之后,不会出现重复的Token,也不影响检索的精度了。

部分代码如下:

[java]
Analyzer analyzer = req.getSchema().getQueryAnalyzer();
final TokenizerChain tokennizerChain = (TokenizerChain) req.getSchema().getField("title").getType().getQueryAnalyzer();
SynonymFilterFactory sff = null;
for (TokenFilterFactory tf : tokennizerChain.getTokenFilterFactories()) {
if (tf instanceof SynonymFilterFactory) {
sff = (SynonymFilterFactory) tf;
}
}
if (null == analyzer) {
return;
}
…………
StringReader reader = new StringReader(qstr);
StringBuilder buffer = new StringBuilder(128);
Set tokenSet = new LinkedHashSet();
…………
TokenStream tokens = analyzer.reusableTokenStream("title", reader);
SynonymFilter sf = sff.create(tokens);
sf.reset();
TermAttribute termAtt = (TermAttribute) sf.getAttribute(TermAttribute.class);
PositionIncrementAttribute positionIncrementAttribute = sf.getAttribute(PositionIncrementAttribute.class);
OffsetAttribute offsetAttribute = sf.getAttribute(OffsetAttribute.class);
Set dumplicatedTokenSet = new HashSet();
while (sf.incrementToken()) {
final String token = (new String(termAtt.termBuffer(), 0, termAtt.termLength())).toLowerCase();
final int posIncr = positionIncrementAttribute.getPositionIncrement();
if (posIncr > 0) {
if (!dumplicatedTokenSet.contains(token)) {
dumplicatedTokenSet.add(token);
tokenSet.add(token);
}
} else {
dumplicatedTokenSet.add(token);
}
}
…………
for (String tok : tokenSet) {
buffer.append(tok).append(" ");
}
if (buffer.length() > 0) {
//<del>qstr = buffer.toString();</del>
setString(buffer.toString());
}
[/java]

后记:
solr的DisjunctionMaxQuery是个很有意思的东西,抽时间好好看一下代码,总结一下。

加载评论框需要翻墙