Scraper monobloc le plus léger

Il existe un site Web qui publie des données en constante évolution. Il n'y a pas d'API mais j'ai besoin d'accéder à cette valeur par programmation en js. C'est un problème commun pour moi. Je suis en train d'écrire un simple script js (HTML/js) hackyAPI, HTML/js ou côté client est suffisant pour toutes les manipulations que je veux faire sur les données.Scraper monobloc le plus léger

Mais le problème est XMLHttpRequest et les autorisations de serveur croisées. Je ne veux pas introduire des éléments de serveur juste pour cela. Y at-il une solution de contournement étant donné que je veux juste un respone html typique?

Source

2017-10-03 praneeth mendu

L'élément serveur n'est pas évité ici. Les navigateurs sont * extrêmement * restrictifs. – tadman

vous pouvez envoyer des requêtes proxy via votre serveur pour contourner le mécanisme de protection des ressources CORS - il n'y a pas d'autre moyen de contourner la protection des ressources que de faire des demandes de serveur à serveur - votre serveur utilise beaucoup plus de bande passante que une mise en cache intelligente si vous voyez cela comme un problème –

Les restrictions CORS sont appliquées par les navigateurs explicitement pour empêcher ce type de script (ainsi que d'autres scripts XSS malveillants); Celui qui gère ce site fournit ces ressources (et paye pour les servir), donc à moins d'offrir une API publique, il n'est pas vraiment juste d'utiliser ces données de la manière que vous essayez de faire. Dans ce cas particulier, il semble être directement en conflit avec les conditions d'utilisation du site.

Source

2017-10-03 02:36:17 Truffula

Scraper monobloc le plus léger

Répondre

Questions connexes