indexeur Web utilisant Java

Question

Le système parallèle ou le système distribué est-il meilleur pour les robots d'indexation de sites Web et les indexeurs Web lorsqu'ils sont développés en Java? Quels sont les cadres disponibles?

Answer 1

L'un des meilleurs combos robot/indexeur que vous trouverez jamais pour Java est Nutch, qui est maintenant un projet Apache (voir Wiki) et donc open source.

Caractéristiques:

1. récupération, analyse et indexation en parallèle et/òû distribués
2. Plugins: texte brut, HTML, XML, ZIP, OpenDocument (OpenOffice.org), Microsoft Office (Word , Excel, Powerpoint), PDF, JavaScript, RSS, RTF, MP3 (tags ID3)
3. ontologie
4. Clustering
5. MapReduce
6. système de fichiers distribué (via Hadoop)
7. LienBase-graph
8. authentification NTLM (Windows/Exchange/etc)

Answer 2

Nutch est imbattable. Un autre lib plus simple que j'ai utilisé avec succès dans les projets est https://crawler.dev.java.net/. Vous trouverez des exemples sur https://crawler.dev.java.net/samples.html.