Comment lire les jetons d'un fichier un par un en Python?

Question

Le problème que je rencontre est que dans mon code, je ne suis pas en mesure d'obtenir des mots/jetons individuels pour correspondre avec les mots d'arrêt à supprimer du texte original. Au lieu de cela, je reçois une phrase entière et je ne suis donc pas capable de faire correspondre les mots d'arrêt. S'il vous plaît montrez-moi un moyen par lequel je peux obtenir des jetons individuels et ensuite correspondre à ceux avec des mots d'arrêt et les supprimer. Aidez-moi, s'il vous plaît.

from nltk.corpus import stopwords 
import string, os 
def remove_stopwords(ifile): 
    processed_word_list = [] 
    stopword = stopwords.words("urdu") 
    text = open(ifile, 'r').readlines() 
    for word in text: 
     print(word) 
     if word not in stopword: 
       processed_word_list.append('*') 
       print(processed_word_list) 
       return processed_word_list 

if __name__ == "__main__": 
    print ("Input file path: ") 
    ifile = input() 
    remove_stopwords(ifile) 

Answer 1

Essayez ceci:

from nltk.corpus import stopwords 
from nltk.tokenize import word_tokenize 
import string, os, ast 
def remove_stopwords(ifile): 
    processed_word_list = [] 
    stopword = stopwords.words("urdu") 
    words = ast.literal_eval(open(ifile, 'r').read()) 
    for word in words: 
     print(word) 
     if word not in stopword: 
      processed_word_list.append('*') 
     else: 
      processed_word_list.append(word) 
    print(processed_word_list) 
    return processed_word_list 

if __name__ == "__main__": 
    print ("Input file path: ") 
    ifile = input() 
    remove_stopwords(ifile)