Solr: Utilisation de spellchecker avec un schéma de solr avancé

Question

J'essaie d'améliorer le comportement du vérificateur d'orthographe sur mon projet.

Je ne corrige l'orthographe que sur un seul champ ("title"). Conférences connexes au fond.

Raison si cette configs - supporte les objets avec des caractères spéciaux.

par exemple. :
- Guerres en colère: T70, le meilleur aquarium mondial!
- chipset moderne M74K34 # 11 $$ 1 - A: B: C - 100500bestprices !!! très cool-objet | title

pour couvrir la plupart des cas, j'utiliser le filtre configuré "solr.WordDelimiterFilterFactory".

Problème: dans les résultats du vérificateur d'orthographe: lorsque j'essaie de rechercher des "oiseaux angr", je reçois des "oiseaux en colère" au lieu de "oiseaux en colère". Possible, il suffira juste de couper les mots-clés par des caractères spéciaux (je veux dire de diviser "Guerres en colère: T70," => "fâché", "guerres", "T70", "T", "70"). Mais comment je peux couper les mots-clés par des caractères spéciaux? Ou quelqu'un a de meilleures idées?

<field name="title" type="text_en" indexed="true" stored="true" required="true" multiValued="false"/> 

où "text_en" est:

<fieldType name="text_en" class="solr.TextField" positionIncrementGap="100"> 
    <analyzer type="index"> 
    <tokenizer class="solr.WhitespaceTokenizerFactory"/> 
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> 
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="0" catenateWords="1" catenateNumbers="0" catenateAll="0" splitOnCaseChange="0" splitOnNumerics="0" preserveOriginal="1"/> 
    <filter class="solr.LowerCaseFilterFactory"/> 
    <filter class="solr.EnglishPossessiveFilterFactory"/> 
    <filter class="solr.KStemFilterFactory"/> 
    </analyzer> 
    <analyzer type="query"> 
    <tokenizer class="solr.WhitespaceTokenizerFactory"/> 
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="0" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="0" splitOnNumerics="0" preserveOriginal="1"/> 
    <filter class="solr.LowerCaseFilterFactory"/> 
    <filter class="solr.EnglishPossessiveFilterFactory"/> 
    <filter class="solr.KStemFilterFactory"/> 
    </analyzer> 
</fieldType> 

En SolrConfig J'utilise

<requestHandler name="/select" class="solr.SearchHandler"> 
<lst name="defaults"> 
    <str name="echoParams">explicit</str> 
    <int name="rows">10</int> 
    <str name="spellcheck.count">3</str> 
    <str name="spellcheck.dictionary">default</str> 
    <str name="spellcheck.dictionary">wordbreak</str> <!-- index --> 

    <str name="spellcheck.maxCollationTries">10</str> 
    <str name="spellcheck.maxCollations">5</str> 
</lst> 
<arr name="last-components"> 
    <str>spellcheck</str> 
</arr> 
</requestHandler> 


<searchComponent name="spellcheck" class="solr.SpellCheckComponent"> 

<str name="queryAnalyzerFieldType">textSpell</str> 
    <lst name="spellchecker"> 
    <str name="name">default</str> 
    <str name="field">title</str> 
    <!-- <str name="field">default_search_field</str> --> 
    <str name="classname">solr.DirectSolrSpellChecker</str> 
    <!-- the spellcheck distance measure used, the default is the internal levenshtein --> 
    <!-- <str name="distanceMeasure">internal</str> --> 
    <str name="distanceMeasure">org.apache.lucene.search.spell.JaroWinklerDistance</str> 

    <!-- minimum accuracy needed to be considered a valid spellcheck suggestion --> 
    <float name="accuracy">0.7</float> 
    <!-- the maximum #edits we consider when enumerating terms: can be 1 or 2 --> 
    <int name="maxEdits">2</int> 
    <!-- the minimum shared prefix when enumerating terms --> 
    <int name="minPrefix">1</int> 
    <!-- maximum number of inspections per result. --> 
    <int name="maxInspections">5</int> 
    <!-- minimum length of a query term to be considered for correction --> 
    <int name="minQueryLength">4</int> 
    <!-- maximum threshold of documents a query term can appear to be considered for correction --> 
    <float name="maxQueryFrequency">0.01</float> 
    <!-- uncomment this to require suggestions to occur in 1% of the documents 
    <float name="thresholdTokenFrequency">.01</float> 
    -->  
    <str name="buildOnCommit">false</str> 
    <str name="buildOnOptimize">true</str> 
    <str name="combineWords">true</str> 
    <str name="breakWords">true</str> 
    <str name="comparatorClass">freq</str> 
    <str name="collate">true</str> 
    <str name="count">5</str> 
</lst> 

<lst name="spellchecker"> 
    <str name="name">wordbreak</str> 
    <!-- <str name="classname">solr.DirectSolrSpellChecker</str> --> 
    <str name="classname">solr.WordBreakSolrSpellChecker</str> 
    <str name="field">title</str> 
    <str name="combineWords">true</str> 
    <str name="breakWords">true</str> 
    <int name="maxChanges">5</int> 
</lst> 

</searchComponent> 

Answer 1

Vous pouvez contrôler les caractères que vous souhaitez supprimer

<filter class="solr.PatternReplaceFilterFactory" pattern="(:)" replacement=" " replace="all"/>