Comment puis-je filtré avec les meilleures performances? (JAVA)

Question

Je travaille dans un petit bureau, j'ai une application, elle génère un gros fichier texte avec 14000 lignes;

après chaque génération je dois le filtrer et c'est vraiment ennuyeux;

Je veux écrire une application avec java jusqu'à ce que je puisse la gérer le plus rapidement possible.

Aidez-moi s'il vous plaît; J'ai écrit une application avec scanner (bien sûr avec de l'aide :)) mais ce n'est pas bon car c'était très lent;

Par exemple, il est mon fichier:

SET CELL:NAME=CELL:0,CELLID=3; 
SET LSCID:NAME=LSC:0,NETITYPE=MDCS,T32=5,EACT=FILTER-NOFILTER-MINR-FILTER-NOFILTER,ENSUP=GV2&NCR,MINCELL=6,MSV=PFR,OVLHR=9500,OTHR=80,BVLH=TRUE,CELLID=3,BTLH=TRUE,MSLH=TRUE,EIHO=DISABLED,ENCHO=ENABLED,NARD=NAP_STLP,AMH=ENABLED(3)-ENABLED(6)-ENABLED(9) 

et je veux cette sortie (filtre :)

CELLID : 3 
ENSUP : GV2&NCR 
ENCHO : ENABLED 
MSLH : TRUE 
------------------------ 
Count of CELLID : 2 

quelle solution est la meilleure et la plus rapide que l'autre?

c'est mon code source:

public static void main(String[] args) throws FileNotFoundException { 
     Scanner scanner = new Scanner(new File("i:\\1\\2.txt")); 
     scanner.useDelimiter(";|,"); 
     Pattern words = Pattern.compile("(CELLID=|ENSUP=|ENCHO=)"); 

     while (scanner.hasNextLine()) { 
      String key = scanner.findInLine(words); 

      while (key != null) { 
      String value = scanner.next(); 
      if (key.equals("CELLID=")) 
       System.out.print("CELLID:" + value+"\n"); 
      //continue with else ifs for other keys 
       else if (key.equals("ENSUP=")) 
      System.out.print("ENSUP:" + value+"\n"); 

      else if (key.equals("ENCHO=")) 
      System.out.print("ENCHO:" + value+"\n"); 
      key = scanner.findInLine(words); 
      } 
      scanner.nextLine(); 
     } 

} 

Merci beaucoup en effet ...

Answer 1

Comme votre code a des problèmes de performances, vous devez d'abord trouver le goulot d'étranglement. Vous pouvez le profiler avec profiler disponible avec IDE que vous utilisez.

Cependant, puisque votre code n'est pas élevé dans le calcul mais IO intensif, à la fois dans le fichier de lecture et de sortie en utilisant System.out.print, c'est là que je vous suggère d'améliorer pour améliorer le fichier IO.

.

Remplacer cette ligne de code

Scanner scanner = new Scanner(new File("i:\\1\\2.txt")); 

.

Avec cette lignes de code

File file = new File("i:\\1\\2.txt"); 
BufferedReader br = new BufferedReader(new FileReader(file) ); 
Scanner scanner = new Scanner(br); 

Faites nous savoir si cela aide.

.

Comme la solution précédente n'a pas beaucoup aidé, j'ai apporté quelques changements supplémentaires pour améliorer votre code. Vous devrez peut-être corriger les erreurs d'analyse, le cas échéant. J'étais capable d'afficher la sortie de l'analyse de 392832 lignes en 5 secondes environ. La solution d'origine prend plus de 50 secondes.

Chages sont comme ci-dessous:

1. Utilisation d'StringTokenizer au lieu de Scanner
2. Utilisation d'BufferedReader pour la lecture du fichier
3. Utilisation de StringBuilder au tampon de sortie

.

public class FileParse { 

    private static final int FLUSH_LIMIT = 1024 * 1024; 
    private static StringBuilder outputBuffer = new StringBuilder(
      FLUSH_LIMIT + 1024); 
    private static final long countCellId; 

    public static void main(String[] args) throws IOException { 
     long start = System.currentTimeMillis(); 
     String fileName = "i:\\1\\2.txt"; 
     File file = new File(fileName); 
     BufferedReader br = new BufferedReader(new FileReader(file)); 
     String line; 
     while ((line = br.readLine()) != null) { 
      StringTokenizer st = new StringTokenizer(line, ";|, "); 
      while (st.hasMoreTokens()) { 
       String token = st.nextToken(); 
       processToken(token); 
      } 
     } 
     flushOutputBuffer(); 
     System.out.println("----------------------------"); 
     System.out.println("CELLID Count: " + countCellId); 
     long end = System.currentTimeMillis(); 
     System.out.println("Time: " + (end - start)); 
    } 

    private static void processToken(String token) { 
     if (token.startsWith("CELLID=")) { 
      String value = getTokenValue(token); 
      outputBuffer.append("CELLID:").append(value).append("\n"); 
      countCellId++; 
     } else if (token.startsWith("ENSUP=")) { 
      String value = getTokenValue(token); 
      outputBuffer.append("ENSUP:").append(value).append("\n"); 
     } else if (token.startsWith("ENCHO=")) { 
      String value = getTokenValue(token); 
      outputBuffer.append("ENCHO:").append(value).append("\n"); 
     } 
     if (outputBuffer.length() > FLUSH_LIMIT) { 
      flushOutputBuffer(); 
     } 
    } 

    private static String getTokenValue(String token) { 
     int start = token.indexOf('=') + 1; 
     int end = token.length(); 
     String value = token.substring(start, end); 
     return value; 
    } 

    private static void flushOutputBuffer() { 
     System.out.print(outputBuffer); 
     outputBuffer = new StringBuilder(FLUSH_LIMIT + 1024); 
    } 

} 

.

Mise à jour sur ENSup et MSLH:

Pour moi, il semble que vous avez changé ENSup et MSLH si la déclaration ci-dessous. Vous voyez donc la valeur "MSLH" pour "ENSUP" et vice versa.

} else if (token.startsWith("MSLH=")) { 
    String value = getTokenValue(token); 
    outputBuffer.append("ENSUP:").append(value).append("\n"); 
} else if (token.startsWith("ENSUP=")) { 
    String value = getTokenValue(token); 
    outputBuffer.append("MSLH:").append(value).append("\n"); 
} 

Answer 2

filtrage texte simple est probablement plus facile d'écrire en Perl (mon choix parce que je l'ai utilisé pendant des années) ou Python (ce que je recommande aux nouvelles personnes parce que c'est une langue plus moderne).

Answer 3

Plusieurs solutions à un problème similaire en utilisant Java Scanner ou StreamTokenizer ont été récemment discutées here.