Comment graver dynamiquement des sites de commerce électronique (comme paytm.com) en python?

Question

Comment gratter un chargement dynamique (c'est-à-dire charger plus de produits lorsque vous faites défiler vers le bas) Site Web de commerce électronique (paytm.com, jabong.com).

Merci d'avance.

Answer 1

Comme vous l'avez dit, paytm est un site dyncamic. Ils envoient des requêtes JSON pour chaque segment de transactions. Par défaut, le nombre de transactions par demande est de 10.

Pour le scrap, vous devez effectuer des demandes de publication JSON pour un bloc de transactions. En réponse, vous obtiendrez des données JSON qui seront faciles à analyser. Je viens de vérifier et la logique tient pendant l'écriture de la réponse.

Pour envoyer des requêtes JSON en utilisant python Scrappy

from scrapy.http import FormRequest 
my_data = {'field1': 'value1', 'field2': 'value2'} 
request = scrapy.Request(url, method='POST', 
         body=json.dumps(my_data), 
         headers={'Content-Type':'application/json'}) 

Je ne vais pas écrire un code comme cela pourrait être atteinte à la vie privée sans raison valable.