Différence entre la définition de jeton et les jetons lexer

Question

Quelle est la différence entre la définition d'un jeton dans le bloc de jetons et la définition d'un jeton en tant qu'index de lexeur?

Answer 1

Les jetons analyseurs lexicaux sont les jetons que antlr génère à travers l'analyse d'une certaine combinaison de caractères, par exemple:

fragment 
F_W : (' '|'\t'|'\r'|'\n'|'\f')* 
    ; 

Cependant, les jetons dans le bloc de jetons sont les jetons visuels créés par les utilisateurs pour les avantages de analyse syntaxique; ils n'ont pas de mappages directs à un ensemble de séries de caractères. Par exemple,

tokens { BLOCK; } 

vous donne un bloc de jeton visuel que vous pouvez mettre en avant ou sur le dessus de votre règle de blocage pour marquer la session de subsequest est une règle de bloc comme ceci:

block: 
'{' expression* '}' -> 
BLOCK^ expression* 
;