Apache nutch: Manipulation du DOM avant l'analyse

Question

Je souhaite supprimer des éléments spécifiques de la réponse de la page, avant de la transmettre à nutch. Plus précisément, je veux marquer des parties de mes pages avec à savoir

<div class="noindex">I shall not be indexed</div> 

et que vous voulez les supprimer avant nutch Parse, de sorte que « je ne serai pas indexé » est pas présent dans le NutchDocument après. Je prévois mourir entourer ma navigation, l'en-tête, le contenu de pied de page avec ceci parce que maintenant, ils sont présents dans chaque document dans l'index.

Merci, Paul

Answer 1

Vous avez des Alternativer pour le faire:

• Vous pouvez écrire un plugin pour nutch pour le faire. Ce blog a un exemple exécutable de faire un plugin en nutch: http://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and-add.html

• Utilisation d'un contenu d'extracteur: Ici http://tomazkovacic.com/blog/122/evaluating-text-extraction-algorithms/ ont quelques algorithmes. Peut-être que la meilleure façon de le faire est aussi dans un pluggin in nutch.