nltk suppression des mots vides donne la mauvaise sortie

Question

J'ai un problème avec la suppression des mots vides. Quand j'exécute mon script: `

import nltk 
from nltk.corpus import stopwords 
file1=open('english.txt', 'r') 
english=file1.read() 
file1.close() 
english_corpus_lowercase =([w.lower() for w in english]) 
english_without_punc=''.join([c for c in english_corpus_lowercase if c not in (",", "``", "`", "?", ".", ";", ":", "!", "''", "'", '"', "-", "(", ")")]) 
print(english_without_punc) 
print(type(english_without_punc)) 
stopwords = nltk.corpus.stopwords.words('english') 
print(stopwords) 
english_corpus_sans_stopwords = set() 
for w in english_without_punc: 
    if w not in stopwords: 
     english_corpus_sans_stopwords.add(w) 
     print(english_corpus_sans_stopwords) 

Cela me donne ce qui suit. Comment pourrais-je le réparer?

{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 
{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 
{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 
{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 
{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 
{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 
{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 
{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 
{'b', 'n', 'f', 'l', 'v', 'h', 'k', 'e', 'r', ' ', 'w', '“', 'g', 'u', 'p', 'c'} 

Answer 1

Essayez le ci-dessous:

import nltk 
from nltk.corpus import stopwords 
from nltk import word_tokenize 

file1 = open('english.txt', 'r') 
english = file1.read() 
file1.close() 

english_corpus_lowercase = [w.lower() for w in word_tokenize(english)] 
english_without_punc = [c for c in english_corpus_lowercase if c not in (",", "``", "`", "?", ".", ";", ":", "!", "''", "'", '"', "-", "(", ")")] 
english_corpus_sans_stopwords = [] 
stopwords = nltk.corpus.stopwords.words('english') 

for w in english_without_punc: 
    if w not in stopwords: 
     english_corpus_sans_stopwords.append(w) 
print(english_corpus_sans_stopwords)