Approche de l'analyse de texte dans Scala

Question

Je crée une application qui va analyser les commandes dans Scala. Un exemple d'une commande serait:

todo get milk for friday 

Donc, le plan est d'avoir un analyseur assez intelligent briser la ligne et de reconnaître la partie de commande et le fait qu'il ya une référence à temps dans la chaîne.

En général, j'ai besoin de faire un tokenizer dans Scala. Je me demande donc quelles sont mes options pour cela. Je connais des expressions régulières, mais je prévois de faire une requête SQL comme fonction de recherche aussi:

search todo for today with tags shopping 

Et je pense que les expressions régulières seront inflexibles commandes de mise en œuvre avec beaucoup de variation. Cela m'amène à penser à mettre en place une sorte de grammaire.

Quelles sont mes options à cet égard dans Scala?

Answer 1

Vous souhaitez rechercher des "combinateurs d'analyseurs". J'ai un billet de blog utilisant cette approche (http://cleverlytitled.blogspot.com/2009/04/shunting-yard-algorithm.html), mais je pense que la meilleure référence est cette série de messages par Stefan Zieger (http://szeiger.de/blog/2008/07/27/formal-language-processing-in-scala-part-1/)

Answer 2

Voici des diapositives d'une présentation que j'ai faite en septembre 2009 sur les combinateurs d'analyseurs Scala. (http://sites.google.com/site/compulsiontocode/files/lambdalounge/ImplementingExternalDSLsUsingScalaParserCombinators.ppt) Une implémentation d'un langage simple de type Logo est démontrée. Cela pourrait fournir quelques idées.

Answer 3

Scala possède une bibliothèque d'analyseurs (scala.util.parsing.combinator) qui permet d'écrire un analyseur directement à partir de sa spécification EBNF. Si vous avez un EBNF pour votre langue, il devrait être facile d'écrire l'analyseur Scala. Sinon, vous feriez mieux d'essayer d'abord de définir votre langue de manière formelle.