Suppression de tous les caractères ASCII du fichier texte

Question

Je fais des recherches sur un langage appelé Malyalam et j'essaie de créer un graphique de fréquences de mots avec les mots les plus courants. Cependant, le fichier que j'ai contient des caractères spéciaux avec l'alphabet. Je veux juste les supprimer du fichier texte. Cependant, j'ai beaucoup de problèmes avec ça. Je suis très novice en programmation et je n'arrive pas à comprendre. Quelqu'un peut-il aider?

import java.io.BufferedReader; 
import java.io.File; 
import java.io.FileReader;  
import java.io.FileWriter; 
import java.io.IOException;   
import java.io.Reader; 

public class Delete { 

    public static void replaceInFile(File file) throws IOException { 

     File tempFile = File.createTempFile("buffer", ".tmp"); 
     FileWriter fw = new FileWriter(tempFile); 

     Reader fr = new FileReader(file); 
     BufferedReader br = new BufferedReader(fr); 

     while(br.ready()) { 
      fw.write(br.readLine().replaceAll("<", "")); 
     } 

     fw.close(); 
     br.close(); 
     fr.close(); 

     tempFile.renameTo(file); 
    } 
    public static void main(String[] args) throws IOException 

    { 
     File jyothis = null; 
     replaceInFile(jyothis); 
    } 
} 

Answer 1

Si vous voulez trouver des séquences de caractères de la MALAYALAM Script, vous pouvez utiliser la regex \p{IsMalayalam}.

Vous pouvez également choisir la recherche de caractères dans le MALAYALAM Block, en utilisant regex \p{InMalayalam}. Je ne sais pas s'il y a vraiment une différence.

Pour éliminer tous les caractères non Malayalam, vous devez conserver des espaces, afin de conserver les séquences des caractères Malayalam séparés. Si les caractères Malayalam sont séparés uniquement par des caractères non Malayalam autres que les espaces, vous voudrez probablement les remplacer par un espace.

Pour de meilleures performances, vous ne voulez pas utiliser String.replaceAll() dans une boucle, de sorte que vous feriez comme ceci:

File tempFile = File.createTempFile("buffer", ".tmp"); 
try (PrintWriter out = new PrintWriter(new BufferedWriter(new FileWriter(tempFile))); 
    BufferedReader in = new BufferedReader(new FileReader(file))) { 

    Pattern p = Pattern.compile("\\p{IsMalayalam}+"); 
    StringBuilder buf = new StringBuilder(); 
    for (String line; (line = in.readLine()) != null;) { 
     buf.setLength(0); 
     for (Matcher m = p.matcher(line); m.find();) { 
      if (buf.length() != 0) 
       buf.append(' '); 
      buf.append(m.group()); 
     } 
     if (buf.length() != 0) 
      out.println(buf); 
    } 
} 

Pour une implémentation plus simple, vous pouvez le faire (remarquez l'utilisation de majuscule P dans la regex):

File tempFile = File.createTempFile("buffer", ".tmp"); 
try (PrintWriter out = new PrintWriter(new BufferedWriter(new FileWriter(tempFile))); 
    BufferedReader in = new BufferedReader(new FileReader(file))) { 

    Pattern p = Pattern.compile("\\P{IsMalayalam}+"); 
    for (String line; (line = in.readLine()) != null;) 
     out.println(p.matcher(line).replaceAll(" ").trim()); 
}