ANTLR: Balayage de caractères Unicode

Question

Problème: impossible d'imprimer correctement le caractère Unicode.

Voici ma grammaire:

options { k=1; filter=true; 
// Allow any char but \uFFFF (16 bit -1) 
charVocabulary='\u0000'..'\uFFFE'; 
} 

ANYCHAR :'$' 
| '_' { System.out.println("Found underscore: "+getText()); } 
| 'a'..'z' { System.out.println("Found alpha: "+getText()); } 
| '\u0080'..'\ufffe' { System.out.println("Found unicode: "+getText()); } 
; 

extrait de code de la méthode principale invoquant le lexer:

public static void main(String[] args) { 
SimpleLexer simpleLexer = new SimpleLexer(System.in); 
while(true) { 
try { 
Token t = simpleLexer.nextToken(); 
System.out.println("Token : "+t); 

} catch(Exception e) {} 

} 
} 

Pour l'entrée "ठ", je reçois la sortie suivante:

Found unicode: 
Token : ["à",<5>,line=1,col=7] 
Found unicode: 
Token : ["¤",<5>,line=1,col=8] 
Found unicode: 
Token : [" ",<5>,line=1,col=9] 

Il semble que le lexer traite ch Unicode ar "ठ" comme trois caractères distincts. Mon but est de numériser et d'imprimer "ठ".

Answer 1

Votre problème ne réside pas dans le lexeur généré par ANTLR, mais dans le flux Java que vous lui transmettez. Le flux lit les octets seulement (ne les interprète pas dans un encodage), et ce que vous voyez est une séquence UTF-8.

Si son ANTLR 3, vous pouvez utiliser le constructeur ANTLRInputStream qui prend un ancoding comme paramètre:

ANTLRInputStream (InputStream input, String encoding) throws IOException