java analyseur html ne marche pas lire toutes les pages

Question

J'analyse pas les pages html pour obtenir des informations spécifiques, mais il y a quelques pages que je ne peux pas obtenir toutes les informations affichées sur la page Web, par exemple dans this page

Je ne peux pas obtenir les informations sur les critiques. Par ailleurs, si vous voyez le code source de la page, il y a beaucoup de lignes vides, et les informations sur les avis n'apparaissent pas.

Savez-vous pourquoi? Une bibliothèque pour lire ce type de pages?

Merci

Answer 1

Je suis prêt à parier qu'ils utilisent une sorte de javascript pour charger les informations d'examen. Pour accéder à cette information, vous devrez soit imiter la requête, soit évaluer le javascript, puis analyser la page résultante. Je suggère d'examiner leur javascript et d'imiter la demande qu'ils utilisent pour télécharger les informations de révision, car cela sera beaucoup plus facile que d'essayer d'évaluer le javascript dans votre code.