Rendre l'écriture dans un processus de fichier plus efficace

Question

Je suis novice en programmation et j'utilise ce script pour nettoyer un gros fichier texte (plus de 12 000 lignes) et l'écrire dans un autre fichier .txt. Le problème est quand exécuter ceci avec un fichier plus petit (environ 500 lignes), il s'exécute rapidement, donc ma conclusion était qu'il prend du temps en raison de la taille du fichier. Donc, si quelqu'un peut me guider pour rendre ce code efficace, il sera très apprécié.

input_file = open('bNEG.txt', 'rt', encoding='utf-8') 
    l_p = LanguageProcessing() 
    sentences=[] 
    for lines in input_file.readlines(): 
     tokeniz = l_p.tokeniz(lines) 
     cleaned_url = l_p.clean_URL(tokeniz) 
     remove_words = l_p.remove_non_englishwords(cleaned_url) 
     stopwords_removed = l_p.remove_stopwords(remove_words) 
     cleaned_sentence=' '.join(str(s) for s in stopwords_removed)+"\n" 
     output_file = open('cNEG.txt', 'w', encoding='utf-8') 
     sentences.append(cleaned_sentence) 
     output_file.writelines(sentences) 
    input_file.close() 
    output_file.close() 

EDIT: est le code corrigé ci-dessous comme mentionné dans la réponse avec quelques autres modifications pour répondre à mes besoins

input_file = open('chromehistory_log.txt', 'rt', encoding='utf-8') 
    output_file = open('dNEG.txt', 'w', encoding='utf-8') 
    l_p = LanguageProcessing() 
    #sentences=[] 
    for lines in input_file.readlines(): 
     #print(lines) 
     tokeniz = l_p.tokeniz(lines) 
     cleaned_url = l_p.clean_URL(tokeniz) 
     remove_words = l_p.remove_non_englishwords(cleaned_url) 
     stopwords_removed = l_p.remove_stopwords(remove_words) 
     #print(stopwords_removed) 
     if stopwords_removed==[]: 
      continue 
     else: 
      cleaned_sentence=' '.join(str(s) for s in stopwords_removed)+"\n" 

     #sentences.append(cleaned_sentence) 
     output_file.writelines(cleaned_sentence) 
    input_file.close() 
    output_file.close() 

Answer 1

Pour avoir la discussion réponse:

Deux problèmes sont ici:

Vous ouvrez/créez le fichier de sortie et écrivez les données dans la boucle - pour chaque ligne du fichier d'entrée e. En plus vous collectez toutes les données dans un tableau (phrases).

Vous avez deux possibilités:

a) créer le fichier avant que la boucle, et écrire dans la boucle juste « cleaned_sentence » (et supprimer les « phrases collecte »).

b) Rassemblez tout dans "phrases" et écrivez "phrases" immédiatement après la boucle. Inconvénient de a) est: c'est un peu plus lent que b) (tant que l'OS n'a pas à changer de mémoire pour b). Mais l'avantage est: Cela consomme beaucoup moins de mémoire et fonctionnera quelle que soit la taille du fichier et la quantité de mémoire installée sur l'ordinateur.