comment construire un scanner web? numériser la page Web si le contenu a été modifié et l'enregistrer

J'ai besoin de construire un scanner Web. cette application Web doit analyser n'importe quelle page Web et enregistrer le résultat si certaines données ont été modifiées. il devrait rechercher des mots clés et chercher si leurs valeurs ont été modifiées/changées. je vais créer cette application avec asp.net mvc. Que devrais-je utiliser pour scanner une page Web? si je vais insérer dans ma page toute URL de la page que je vais scanner, que se passe-t-il? sont-ils des robots qui le cherchent si certains contenus changent? s'il vous plaît aidez-moi à comprendre ce dont j'ai besoin pour construire une telle chose.comment construire un scanner web? numériser la page Web si le contenu a été modifié et l'enregistrer

Source

2011-01-20 r.r

Changer? Par rapport à quand? Sauvegarder? Jusqu'où? – spender

changez entre hier et aujourd'hui. enregistrer dans une base de données. Je veux dire que dois-je faire pour ça? mettre en œuvre un robot en tant qu'application qui lit une page Web pour une clé donnée donnée par l'utilisateur? –

Vous pouvez charger le balisage de la page, l'utiliser pour générer une somme de contrôle, puis l'enregistrer pour la comparer à la page du jour suivant.

Source

2011-01-20 13:44:02 5arx

Vrai, mais que se passe-t-il si certains contenus ("date d'aujourd'hui") changent naturellement? Qu'en est-il des choses comme viewstate que vous ne vous souciez pas? –

D'accord. Ce sont des considérations pour qui que ce soit définit les exigences. Je donne simplement au PO un aperçu d'une solution technique possible. @Ragim vous devez définir ce qui constitue exactement un «changement» et intégrer cette compréhension dans la logique utilisée pour charger une partie ou la totalité du balisage. Certains peuvent vous suggérer d'utiliser RegExp pour analyser le code HTML et l'utiliser pour inclure/exclure des parties non pertinentes de la page, comme les dates dans les en-têtes, etc. Ceci n'est pas recommandé: http://stackoverflow.com/questions/1732348/regex-match -open-tags-except-xhtml-self-contained-tags Bonne chance. – 5arx

comment construire un scanner web? numériser la page Web si le contenu a été modifié et l'enregistrer

Répondre

Questions connexes