Comment faire pour tester la seconde expression régulière correspondante la plus longue?

Question

Cette question peut sembler un peu confuse. J'utilise Flex pour passer des jetons à Bison. Le comportement que je souhaite est que Flex corresponde à l'expression régulière la plus longue et passe ce jeton (cela fonctionne comme cela), mais si ce jeton ne fonctionne pas avec la grammaire, il correspond à la deuxième expression régulière la plus longue et passe ce jeton. J'ai du mal à trouver un moyen de créer ce comportement. Comment pourrais-je y arriver?

Pour clarifier les choses, par exemple, que j'ai deux règles:

"//" return TOKEN_1; 
"///" return TOKEN_2; 

Compte tenu de la chaîne "///", je voudrais que ce premier passage TOKEN_2 (il fait). Si TOKEN_2 ne correspond pas à la grammaire spécifiée dans Bison, il passe alors TOKEN_1 (ce qui est également valide).

Comment est-ce que je peux créer ce comportement?

Answer 1

Désolé mais vous ne pouvez pas faire cela. Je ne sais pas vraiment combien de flex parle aux bisons. Je sais qu'il existe un mode pour l'analyse syntaxique REPL et je sais qu'il existe un autre mode qui analyse tout.

Vous devrez respecter la règle. Par exemple au lieu de // et/vous écrivez une règle qui accepte /// alors une autre qui suppose /// signifie // /. Mais cela devient salissant et je l'ai fait seulement dans un cas spécifique dans mon code.

Answer 2

En flex, vous pouvez avoir une règle qui essaie de faire quelque chose, mais échoue et tente la deuxième meilleure règle à l'aide de la REJECT macro:

REJET Dirige le scanner pour procéder à la « deuxième meilleure "règle qui correspond à l'entrée (ou préfixe de l'entrée). La règle est choisie comme décrite ci-dessus dans "Comment l'entrée est appariée", et yytext et yyleng mis en place de façon appropriée. Il peut correspondre à autant de texte que la règle initialement choisie mais est apparu plus tard dans le fichier d'entrée flex , ou dans celui contenant moins de texte.

(source: The Flex Manual Page). Donc, pour répondre à votre question sur l'obtention de la deuxième expression la plus longue, vous pouvez le faire en utilisant REJECT (bien que vous deviez faire attention, car il pourrait juste choisir quelque chose de la même longueur avec la même priorité).

Notez que flex fonctionnera plus lentement avec REJECT étant utilisé car il a besoin de maintenir une logique supplémentaire pour "retomber" à des allumettes plus mauvaises à tout moment. Je suggère seulement d'utiliser ceci s'il n'y a pas d'autre moyen de résoudre votre problème.

Answer 3

Je voudrais juste que le lexer scanne deux jetons // et / et que l'analyseur traite les cas où ils sont censés être considérés comme un jeton, ou séparés. C'est à dire. une règle de grammaire commençant par /// peut être refactorisée en une règle commençant par // et /. En d'autres termes, ne pas avoir un TOKEN_2 du tout.Dans les mêmes cas, ce genre de chose peut être délicat, car l'analyseur LARL (1) n'a qu'un jeton de lookahead. Il doit faire un changement ou réduire la décision basée sur voir le // seulement, sans tenir compte du / qui suit.

J'ai eu une idée pour résoudre cela avec une approche hacky impliquant un lien lexical, mais il s'est avéré irréalisable.

Le défaut principal avec l'idée est qu'il n'y a aucun moyen facile de faire une récupération d'erreur dans yacc qui est cachée à l'utilisateur. Si une erreur de syntaxe est déclenchée, cela est visible. La fonction yyerror peut contenir un hack pour essayer de cacher cela, mais il manque les informations de contexte. En d'autres termes, vous ne pouvez pas vraiment utiliser les actions d'erreur Yacc pour déclencher une recherche backtracking pour une autre analyse.

Answer 4

Ceci est difficile pour bison/yacc à traiter, car il ne fait pas de retour en arrière. Même si vous utilisez un générateur d'analyseur backtracking comme btyacc, cela n'aide pas vraiment, sauf s'il retourne aussi à travers le lexer (ce qui nécessiterait probablement un générateur d'analyseur avec lexeur intégré.)

Ma suggestion serait de reconnaître le lexer une barre oblique immédiatement suivie d'une barre oblique spécialement et retourner un jeton différent:

\//\/  return SLASH; 
\/   return '/'; /* not needed if you have the catch-all rule: */ 
.   return *yytext; 

maintenant, vous devez « assembler » « jetons » que les non-terminaux multi-slash dans la Grammer.

single_slash: SLASH | '/' ; 
double_slash: SLASH SLASH | SLASH '/' ; 
triple_slash: SLASH SLASH SLASH | SLASH SLASH '/' ; 

Cependant, vous allez maintenant vous trouverez probablement avoir des conflits dans la grammaire en raison de la 1-token préanalyse ne pas être suffisant. Vous pouvez être en mesure de résoudre ceux-ci en utilisant btyacc ou l'option %glr-parser de bison.