Comment extraire des liens dans JavaScript qui pointent vers des pages HTML en Perl?

Question

Je veux extraire tous les liens d'une page. J'utilise HTML:LinkExtor. Comment puis-je extraire tous les liens pointant vers des pages de contenu HTML uniquement?

Je ne peux pas non extraire ces types de liens:

javascript:openpopup('http://www.admissions.college.harvard.edu/financial_aid/index.html'), 

EDIT: pages HTML - text/html. Je n'indexe pas les images, etc.

Answer 1

Oui, HTML :: LinkExtor ne comprend pas le javascript. En fait, il est peu probable que vous obtiendrez quoi que ce soit qui reconnaît les URL intégrées dans javascript, tout simplement parce que cela nécessiterait généralement l'exécution de code réel.

Answer 2

Perl va avoir beaucoup de façons de le faire grâce à la force brute. Vous pouvez utiliser l'analyseur Push/Pull pour passer d'une balise à l'autre. Vous pourriez être en mesure de juste slurp la page entière et l'utiliser pour les liens, ou pour les liens dans JavaScript. Avez-vous regardé WWW::Mechanize::Plugin::JavaScript? Le module WWW::Mechanize est un meilleur ami de Botting Web (pas que vous essayez de bot). J'ai déjà utilisé ce module et je peux dire que c'est l'un des meilleurs modules Perl sur CPAN.

Voici un exemple de CPAN: Définit la variable nommée à la valeur donnée

$m->plugin('JavaScript')->set(
     'document', 'location', 'href' => 'http://www.perl.org/'); 

Answer 3

j'utiliser WWW::Mechanize pour la plupart la collecte de lien. Autre que cela je ferais ma propre correspondance:

my @links = $content =~ m`javascript:openpopup\('([^\']+)'`g;