Comment enregistrer tokenizer porter en python

Question

Comment le tokenizer par défaut est-il enregistré dans le module fts3?

une façon d'enregistrer des tokenizers définis par l'utilisateur est fts.register_tokenizer() mais quels sont ses arguments?

Étant donné que le porteur est un tokenizer intégré, doit-il même être enregistré?

Answer 1

Si votre tokenizer Porter est compilé dans votre Python, vous n'avez pas besoin de l'enregistrer.

Pour enregistrer un tokenizer défini par l'utilisateur, vous devez appeler la fonction SQL fts3_tokenizer() avec un pointeur vers une structure C contenant des pointeurs de fonction C; cela ne peut pas être facilement fait à partir de Python.