Web Scraping Python (BeautifulSoup, demandes)

Question

J'apprends le web scraping en utilisant python mais je ne peux pas obtenir le résultat désiré. Ci-dessous mon code et la sortie

Code

import bs4,requests 
url = "https://twitter.com/24x7chess" 
r = requests.get(url) 
soup = bs4.BeautifulSoup(r.text,"html.parser") 
soup.find_all("span",{"class":"account-group-inner"}) 
[] 

Voici ce que je cherchais à gratter

https://i.stack.imgur.com/tHo5S.png

Je continue à obtenir un tableau vide. S'il vous plaît aidez.

Answer 1

Essayez ceci. Il vous donnera les articles que vous recherchez probablement. Selenium avec BeautifulSoup est facile à manipuler. Je l'ai écrit de cette façon. C'est ici.

from bs4 import BeautifulSoup 
from selenium import webdriver 

driver = webdriver.Chrome() 

driver.get("https://twitter.com/24x7chess") 
soup = BeautifulSoup(driver.page_source,"lxml") 
driver.quit() 
for title in soup.select("#page-container"): 
    name = title.select(".ProfileHeaderCard-nameLink")[0].text.strip() 
    location = title.select(".ProfileHeaderCard-locationText")[0].text.strip() 
    tweets = title.select(".ProfileNav-value")[0].text.strip() 
    following = title.select(".ProfileNav-value")[1].text.strip() 
    followers = title.select(".ProfileNav-value")[2].text.strip() 
    likes = title.select(".ProfileNav-value")[3].text.strip() 
    print(name,location,tweets,following,followers,likes) 

Sortie:

akul chhillar New Delhi, India 214 44 17 5 

Answer 2

Des sites comme Twitter chargent dynamiquement le contenu, ce qui dépend parfois du navigateur que vous utilisez, etc. En raison du chargement dynamique, certains éléments de la page sont chargés paresseusement, ce qui signifie que le DOM est gonflé dynamiquement. en fonction des actions de l'utilisateur, le tag que vous inspectez dans votre navigateur inspecter l'élément, est inspecté le HTML entièrement dynamiquement gonflé, mais la réponse que vous obtenez en utilisant les requêtes, est gonflée HTML, ou un simple DOM attendant de charger les éléments dynamiquement sur le actions de l'utilisateur qui, dans votre cas, lors de la récupération du module de requêtes est None.

Je vous suggère d'utiliser le pilote web selenium pour graver des pages web javascript dynamiques.