Comment extraire tout le texte d'une page Web

Question

J'utilise la bibliothèque JSoup pour extraire des textes dans des pages Web. Voici mon code

Document doc; 

try { 
URL url = new URL(text); 


doc = Jsoup.parse(url, 70000); 

Elements paragraphs = doc.select("p"); 
for(Element p : paragraphs) 
{ 

    textField.append(p.text()); 
    textField.append("\n"); 
} 
} 
catch (Exception ex) 
{ 

    ex.printStackTrace(); 

} 

Ici, je ne peux obtenir du texte qu'à partir de balises «p». Mais j'ai besoin de tous les textes de la page. Comment puis-je le faire? Cela pourrait être en bouclant à travers les nœuds, mais j'ai juste commencé à utiliser JSoup et pas très bien avec. S'il vous plaît aider.

Answer 1

Essayez ceci:

String text = Jsoup.parse(new URL("https://www.google.com"), 10000).text(); 
System.out.println(text); 

Ici, 10000 est en millisecondes et fait référence à délai d'attente.

Answer 2

Vous pouvez utiliser Boilerpipe, car vous n'avez pas besoin de l'analyse HTML, mais uniquement de l'extraction de texte. Cela devrait être plus rapide et moins consommateur de CPU.

Exemple:

URL url = new URL("http://www.example.com/some-location/index.html"); 
// NOTE: Use ArticleExtractor unless DefaultExtractor gives better results for you 
String text = ArticleExtractor.INSTANCE.getText(url); 

Extrait de: https://code.google.com/p/boilerpipe/wiki/QuickStart