Construire un lexer en C

Question

Je veux construire un lexer en C et je suis le dragon book, je peux comprendre les transitions d'états mais comment les implémenter?

Y a-t-il un meilleur livre?

Le fait que je dois analyser une chaîne à travers un certain nombre d'états pour que je puisse dire si la chaîne est acceptable ou non!

Answer 1

G'day,

En supposant que vous voulez dire que le livre Dragon sur le compilateur conception, je recommande de jeter un oeil autour de this page sur les outils du compilateur.

La page elle-même est assez petite mais possède des liens vers d'excellentes ressources sur les analyseurs lexicaux.

HTH

acclamations,

Answer 2

Vous pouvez implémenter des transitions d'état simples avec une variable d'état unique, par exemple si vous voulez parcourir les états start-> part1-> part2-> end, vous pouvez utiliser une énumération pour garder une trace de l'état actuel et utilisez une instruction switch pour le code que vous voulez exécuter dans chaque état.

enum state { start=1, part1, part2, end} mystate; 

// ... 
mystate = start; 
do { 
    switch (mystate) { 
    case start: 
     // ... 
    case part1: 
     // ... 
    case part2: 
     // ... 
     if (part2_end_condition) mystate = end; // state++ will also work 
     // Note you could also set the state back to part1 on some condition here 
     // which creates a loop 
     break; 
    } 
} while (mystate != end); 

Pour les transitions d'état les plus complexes qui dépendent de plusieurs variables, vous devez utiliser des tables/tableaux comme celui-ci:

var1 var2 var_end next_state 
0  0  0   state1 
0  1  0   state2 
1  0  0   state3 
1  1  0   state4 
-1  -1  1   state_end // -1 represents "doesn't matter" here 

Answer 3

Si vous êtes à la recherche d'un traitement plus moderne que le livre de dragon (s): Andrew W. Appel et Maia Ginsburg, moderne Compiler Implementation in C, Cambridge University Press, 2008.

Le chapitre 2 est axé sur l'analyse lexicale: jetons lexicaux, expressions régulières, automates finis; Automates finis non déterministes; générateurs d'analyseur lexicaux

Regardez le Table of Contents

Answer 4

Il y a plus d'une façon de le faire. Chaque expression régulière correspond directement à un programme structuré simple. Par exemple, une expression pour le nombre pourrait être ceci:

// regular expression 
digit* [.digit*] 

et le code C correspondant serait:

// corresponding code 
while(DIGIT(*pc)) pc++; 
if (*pc=='.'){ 
    pc++; 
    while(DIGIT(*pc)) pc++; 
} 

La voie de transition table des lexers de construction est, à mon avis, inutilement compliqué, et évidemment court plus lentement.

Answer 5

Le programme flex (un clone de lex) va créer un lexer pour vous. Étant donné un fichier d'entrée avec les règles lexer, il produira un fichier C avec une implémentation d'un lexeur pour ces règles.

Vous pouvez ainsi vérifier la sortie de flex pour savoir comment écrire un lexer en C. est, si vous ne voulez pas seulement d'utiliser le lexer Flex ...