Comment définir les délimiteurs pour tokenizer PTB?

Question

J'utilise la PNL StanfordCore Library pour mon project.It utilise pour TBP Tokenizer tokenization.For une déclaration qui va comme this- go to room no. #2145 ou

go to room no. *2145 

est tokenizer division # 2145 en deux jetons: # 2145 . Est-il possible de paramétrer le tokenizer pour qu'il n'identifie pas #, * comme un délimiteur?

Answer 1

Une solution rapide est d'utiliser cette option:

(command-line) -tokenize.whitespace 
(in Java code) props.setProperty("tokenize.whitespace", "true"); 

Cela entraînera le tokenizer juste tokenize sur l'espace blanc. Avez-vous besoin de faire autre chose que de marquer les espaces blancs?