Dans l'analyseur d'index je suis tokenizing avec le WhitespaceTokenizerFactory. Généralement, les chaînes sont divisées en deux jetons, et il s'avère que les étapes restantes de mon analyseur sont mieux adaptées au premier jeton plutôt qu'aux deux.Existe-t-il un moyen de supprimer le dernier jeton de WhitespaceTokenizerFactory dans Solr?
Existe-t-il un moyen de retirer ce second jeton de l'analyseur restant?
Merci pour tout commentaire.
Je ne suis pas familier avec un filtre qui vous permet de supprimer des jetons arbitraires (même si cela ne devrait pas être trop difficile à écrire), mais vous pouvez éventuellement contourner ce problème en utilisant un PatternReplaceCharFilter.
Si vous avez un séparateur commun (c'est-à-dire un espace/un espace), vous pouvez supprimer tout ce qui se trouve après le séparateur, ne laissant que le premier jeton présent. Cela ne fonctionnera pas si vous avez besoin de tokenization plus avancé, mais tant que vous l'exprimez comme une expression régulière, vous devriez être OK.
Oh vraiment? Comment pouvez-vous enlever quelque chose après le séparateur? Je suis en train de séparer strictement les espaces blancs. – Sam
Une expression régulière correspondant à tout sauf à un espace et l'utilisant comme clé de remplacement devrait fonctionner; essayez 'pattern =" ([^] +). * "replacement =" $ 1 "' et modifiez jusqu'à ce que vous obteniez le résultat souhaité. – MatsLindh