Tempête de lecture des fichiers jette "Java.lang.OutOfMemoryError: GC overhead limite dépassée"

Question

J'ai travaillé sur une topologie Storm, j'ai lu à partir d'un fichier dans la méthode "Execute (tuple)" et java me jette un "Java .lang.OutOfMemoryError: limite de surcharge du GC dépassée ". Le programme fonctionne correctement jusqu'à ce qu'il renvoie cette erreur, en raison de l'utilisation excessive de GarbageCollector (je pense). Le même code utilisé une fois fonctionne parfaitement, le problème est l'accord extrême de mon implémentation Storm. Je pense que c'est parce que le programme passe trop de temps sur le garbage collector, et la façon dont je l'ai programmé, je pense qu'il crée beaucoup de lecteurs pour le même fichier et Bolt chaque fois qu'il exécute un tuple. Je me demandais s'il est possible de lire le fichier dans la méthode "Prepare()", enregistrez-le dans un tableau String, et si oui, je demande: cela créerait-il seulement un lecteur et un tableau String pour une occurrence Bolt?

Voici un échantillon de mon Bolt:

public static class FilterSomeBolt extends BaseRichBolt { 
     OutputCollector _collector; 

     public void prepare(Map conf, TopologyContext context, OutputCollector collector) { 
      _collector = collector; 
     } 

     public void execute(Tuple tuple) { 

      String entr = tuple.getString(1); 

      boolean flagRet=false; 

      try { 
       String fileName2 = (String)"file.csv"; 
       BufferedReader reader2 = new BufferedReader(new FileReader(fileName2)); 
       // read and ignore the header if one exists 

      String line2 =reader2.readLine(); 
      while(line2!= null){ 
        if(line2.toLowerCase().contains("something")&&line2.toLowerCase().contains(entr.substring(1, 8).toLowerCase())){ 

         flagRet=true; 
        }//end if 
      line2 =reader2.readLine(); 

     }//end while 
}.......................... 
............................//tuple sent 

J'essaie de comprendre ces méthodes, et apprécierait l'aide. Merci d'avance!

Answer 1

Votre logique de lecture de fichier crée le problème. Si la première ligne du fichier n'est pas nulle alors votre boucle while s'exécutera un nombre infini de fois. S'il vous plaît mettre à jour suivant extrait de code:

while((line2 =reader2.readLine())!= null){ 
    ....//do anything you want 
} 

Hope this helps.