Utilisation de Python pour automatiser les recherches Web

Question

Je voudrais automatiser ce que j'ai fait en allant sur un site Web et en effectuant des recherches répétées. En particulier, je suis allé à This Website, en faisant défiler vers le bas près du fond, en cliquant sur l'onglet "À venir", et la recherche dans diverses villes. Je suis novice chez Python et j'aimerais pouvoir taper une liste de villes à saisir pour la recherche, et obtenir une sortie qui agrège tous les résultats de recherche. Ainsi, par exemple, les fonctionnalités suivantes serait génial:

cities = ['NEW YORK, NY', 'LOS ANGELES, CA'] 
print getLocations(cities) 

et il imprimerait

Palm Canyon Theatre PALM SPRINGS, CA 01/22/2016 02/07/2016 
... 

et ainsi de suite, la liste de tous les résultats de la recherche pour un rayon de 100 mile autour de chacune des villes entré.

J'ai essayé de regarder la documentation du module requests de Apache2 et j'ai couru

r = requests.get('http://www.tamswitmark.com/shows/anything-goes-beaumont-1987/') 
r.content 

Et il imprimé tous le code HTML de la page Web, de sorte que sonne comme une petite victoire même si je suis Je ne sais pas quoi en faire.

Une aide serait grandement appréciée, merci.

Answer 1

Vous avez deux questions regroupées en une, alors voici une réponse partielle pour vous lancer. La première tâche concerne l'analyse HTML, utilisons donc les bibliothèques python: requests, et beautifulsoup4 (pip installe beautifulsoup4 au cas où vous ne l'auriez pas déjà fait).

import requests 
from bs4 import BeautifulSoup 

r = requests.get('http://www.tamswithmark.com/shows/anything-goes-beaumont-1987/') 
soup = BeautifulSoup(r.content, 'html.parser') 
rows = soup.findAll('tr', {"class": "upcoming_performance"}) 

La soupe est une structure de données navigable du contenu de la page. Nous utilisons la méthode findAll sur la soupe pour extraire les éléments 'tr' avec la classe 'future_performance'. Un seul élément dans les lignes ressemble à:

print(rows[0]) # debug statement to examine the content 
""" 
<tr class="upcoming_performance" data-lat="47.6007" data-lng="-120.655" data-zip="98826"> 
<td class="table-margin"></td> 
<td class="performance_organization">Leavenworth Summer Theater</td> 
<td class="performance_city-state">LEAVENWORTH, WA</td> 
<td class="performance_date-from">07/15/2015</td> 
<td class="performance_date_to">08/28/2015</td> 
<td class="table-margin"></td> 
</tr> 
""" 

Maintenant, extrayons les données de ces lignes dans notre propre structure de données. Pour chaque ligne, nous allons créer un dictionnaire pour cette performance.

Les attributs data- * de chaque élément tr sont disponibles via la recherche par clé de dictionnaire.

Les éléments 'td' à l'intérieur de chaque élément tr peuvent être accédés en utilisant l'attribut .children (ou .contents).

performances = [] # list of dicts, one per performance 
for tr in rows: 
    # extract the data-* using dictionary key lookup on tr 
    p = dict(
     lat=float(tr['data-lat']), 
     lng=float(tr['data-lng']), 
     zipcode=tr['data-zip'] 
    ) 
    # extract the td children into a list called tds 
    tds = [child for child in tr.children if child != "\n"] 
    # the class of each td indicates what type of content it holds 
    for td in tds: 
     key = td['class'][0] # get first element of class list 
     p[key] = td.string # get the string inside the td tag 
    # add to our list of performances 
    performances.append(p) 

À ce stade, nous avons une liste de dictionnaires dans les performances. Les clés de chaque dict sont:

lat: float

lng: flotter

code postal: str

performance_city-état: str

performance_organization: str

etc

L'extraction HTML est fait ne. L'étape suivante consiste à utiliser un service d'API de mappage qui compare la distance entre votre emplacement souhaité et les valeurs lat/lng des performances.Par exemple, vous pouvez choisir d'utiliser l'API de géocodage Google Maps. Il y a beaucoup de réponses aux questions sur SO pour vous guider.