Comparaison de chaînes Java

Question

Je compare des sous-chaînes dans deux gros fichiers texte. Très simple, tokenizing en deux conteneurs jetons, en comparant avec 2 pour les boucles. Les performances sont désastreuses! Est-ce que quelqu'un a un conseil ou une idée pour améliorer la performance?

for (int s = 0; s < txtA.TokenContainer.size(); s++) { 
    String strTxtA = txtA.getSubStr(s); 
    strLengthA = txtA.getNumToken(s); 

    if (strLengthA >= dp.getMinStrLength()) { 
     int tokenFileB = 1; 

     for (int t = 0; t < txtB.TokenContainer.size(); t++) { 
      String strTxtB = txtB.getSubStr(t); 
      strLengthB = txtB.getNumToken(t); 

      if (strTxtA.equalsIgnoreCase(strTxtB)) { 
       try { 
        subStrTemp = new SubStrTemp(
         txtA.ID, txtB.ID, tokenFileA, tokenFileB, 
         (tokenFileA + strLengthA - 1), 
         (tokenFileB + strLengthB - 1)); 

        if (subStrContainer.contains(subStrTemp) == false) { 
         subStrContainer.addElement(subStrTemp); 
        } 
       } catch (Exception ex) { 
        logger.error("error"); 
       } 
      } 
      tokenFileB += strLengthB; 
     } 
     tokenFileA += strLengthA; 
    } 
} 

En général, mon code de lecture deux grandes chaînes avec Java Tokonizer dans des conteneurs A et B. Et puis essayer de comparer substrings.Possision de Substrgs qui sont en vigueur dans les deux chaînes pour stocker dans un vecteur. Mais la performance est horrible, aussi ne savent pas vraiment comment le résoudre avec HashMap.

Answer 1

Votre problème principal est que vous passez par tout txtB pour chaque jeton dans txtA.

Vous devez stocker des informations sur le jeton de txtA (dans un HashMap par exemple) puis dans une seconde boucle (mais pas une imbriquée), vous comparez les chaînes avec la chaîne existante dans la carte.

---

Sur le même sujet:

• term frequency using java program
• How to count words in java

Answer 2

Vous effectuez une jointure avec des boucles imbriquées? Oui, c'est O (n^2). Que diriez-vous de faire une jointure de hachage à la place? C'est-à-dire, créer une carte à partir de strText (en minuscules) vers t et faire des recherches avec cette carte plutôt que d'itérer sur le conteneur de jetons?

Answer 3

Placez les jetons de fileA dans une structure de données trie. Ensuite, quand tokenising fileB vous pouvez vérifier assez rapidement si ces jetons sont dans le trie. Quelques commentaires de code aideraient.

Answer 4

A dit, ceci est une question de la complexité et vous êtes algorithme court dans O (n^2) au lieu de O (n) en utilisant le hachage.

Pour la seconde améliorations d'ordre essayer d'appeler moins de fonctions, par exemple, vous pouvez obtenir la taille une fois

sizeB = txtB.TokenContainer.size();

Depeneds sur la taille, vous pouvez appeler le récipient une fois pour obtenir un tableau de chaînes pour sauver la getStr ....

Roni