tokenize programme C++ en python

Question

J'ai besoin de tokenize le fichier C++ pour mon projet. Pour cela, j'utilise tokenize.generate_tokens. Dans chaque ligne, je reçois un caractère étrange en raison de '\ r' et il est analysé comme un jeton. Je dois éviter que ce personnage compte le jeton. Je ne suis pas sûr de savoir comment faire quand je passe le fichier à tokenize. ci-dessous est mon code J'utilise:

f = open("BM1A1.cpp","r") 
g = tokenize.generate_tokens(f.readline) 

J'ai essayé bande() mais donne donne erreur

g = tokenize.generate_tokens(f.readline.strip()) 
error: 
'builtin_function_or_method' object has no attribute 'strip' 

Answer 1

Depuis generate_tokens exigent appelable comme argument d'entrée, vous devez créer votre fonction personnalisée.

Le générateur generate_tokens() nécessite un argument, readline, qui doit être un objet appelable qui fournit la même interface que la méthode readline() de objets intégrés de fichiers (voir la section Objets de fichier). Chaque appel à la fonction doit renvoyer une ligne d'entrée sous la forme d'une chaîne. Alternativement, readline peut être un objet appelable qui signale l'achèvement en augmentant StopIteration.

plus simple est de créer un lambda:

f = open("BM1A1.cpp","r") 
g = tokenize.generate_tokens(lambda: f.readline().strip()) 

De toute évidence, vous rencontrerez des problèmes étranges de l'analyse syntaxique, car le module tokenize est défini pour la syntaxe Python, pas C++ syntaxe.