NepomukDaemons
cluceneanalyzer.cpp
Go to the documentation of this file.00001
00002
00003
00004
00005
00006
00007
00008
00009
00010
00011
00012
00013
00014
00015
00016
00017
00018
00019
00020
00021
00022
00023
00024 #include "cluceneanalyzer.h"
00025 #include "clucenetokenizer.h"
00026 #include "clucenefilter.h"
00027
00028 #include <CLucene/StdHeader.h>
00029 #include <CLucene/util/VoidMap.h>
00030 #include <CLucene/util/Reader.h>
00031 #include <CLucene/analysis/AnalysisHeader.h>
00032 #include <CLucene/analysis/Analyzers.h>
00033
00034 CL_NS_USE(util)
00035 CL_NS_USE(analysis)
00036
00037 namespace Nepomuk {
00038
00039 CLuceneAnalyzer::CLuceneAnalyzer()
00040 : stopSet(false)
00041 {
00042 CL_NS(analysis)::StopFilter::fillStopTable( &stopSet,CL_NS(analysis)::StopAnalyzer::ENGLISH_STOP_WORDS);
00043 }
00044
00045 CLuceneAnalyzer::CLuceneAnalyzer( const TCHAR** stopWords):
00046 stopSet(false)
00047 {
00048 CL_NS(analysis)::StopFilter::fillStopTable( &stopSet,stopWords );
00049 }
00050
00051 CLuceneAnalyzer::~CLuceneAnalyzer()
00052 {
00053 }
00054
00055
00056 CL_NS(analysis)::TokenStream* CLuceneAnalyzer::tokenStream(const TCHAR* fieldName, Reader* reader)
00057 {
00058 CL_NS(analysis)::TokenStream* ret = _CLNEW CLuceneTokenizer(reader);
00059 ret = _CLNEW CLuceneFilter(ret,true);
00060 ret = _CLNEW CL_NS(analysis)::LowerCaseFilter(ret,true);
00061 ret = _CLNEW CL_NS(analysis)::StopFilter(ret,true, &stopSet);
00062 return ret;
00063 }
00064 }