stade approprié pour la table des symboles de construction

Question

Y at-il des raisons de commencer à construire la table des symboles au stade lexer?

Dans le livre flex & bison: Text Processing Tools l'auteur donne un exemple de lexer avec une tentative de construire une table simple symbole. Il existe une solution dans le code suivant pour distinguer une définition de symbole de ses références:

/* declaration keywords */ 
auto | 
char | 
int | 
/* ... skip ... */ 
volatile { defining = 1; } 

/* ... skip ... */ 

/* punctuators */ 
"{"|"<%"|";" 
{ defining = 0; } 

Cette solution ne fonctionnera pas dans les cas plus complexes, tels que int a = b, c = d; (symbole c ne sera pas marqué comme une définition). En plus de cela, les étendues imbriquées ne peuvent pas être manipulées à l'étape du lexer.

Il est noté dans la question lex and yacc (symbol table generation) qu'accéder à la table de symboles de lexer est conventionnel, mais je ne peux toujours pas voir les avantages et pourquoi la table construite dans lexer pourrait être utile plus tard.

Answer 1

L'une des raisons est la gestion de la mémoire. Il est classique de faire passer une copie des chaînes de jetons de lexer à l'analyseur (au moins dans le cas des jetons d'identification), mais les identificateurs apparaissent généralement plus d'une fois dans le texte source et une seule copie est vraiment nécessaire.

Plutôt que d'effectuer la copie à chaque fois, il peut être pratique de « stagiaire » la chaîne dans une table de hachage des identifiants et il suffit de passer l'entrée de table de hachage. De cette façon, les apparitions secondaires et subséquentes de chaque symbole n'entraînent aucune allocation dynamique. En outre, l'ensemble du stockage de chaîne peut être conservé dans le cadre de la structure de données de la table de chaînes, ce qui peut simplifier la logique de libération du stockage alloué dynamiquement.

Ce n'est pas exactement une table de symbole, car il n'a pas (encore) comporte aucune information sémantique ou la portée. Mais la table de chaînes pourrait certainement être la structure de base qui contient la table de symboles, au moins assez pour être qualifiée de "début [de] la construction de la table de symboles". Dans certaines langues - C étant l'exemple canonique - le lexeur pourrait vouloir être en mesure de consulter les informations sémantiques dans la table des symboles, de sorte que le partage pourrait être plus imbriqué. Mais même sans ce piratage, le partage du mécanisme d'index de base peut s'avérer utile et ne rompt pas nécessairement le concept de séparation des préoccupations.