sqlite-fts3: tokenizer personnalisé?

Question

Quelqu'un a-t-il de l'expérience dans l'écriture de tokenizers personnalisés FTS3 (l'extension de recherche de texte intégral)? Je suis à la recherche d'un tokenizer qui ignore les balises HTML.

Merci.

Answer 1

Je n'ai aucune expérience directe, mais en faisant une recherche sur le web avec "sqlite3 registerTokenizer" j'ai trouvé deux tokenizers qui peuvent être utilisés comme base: a snowball tokenizer et a MeCab tokenizer.