requests.get retourne 400 mauvaises url quand on leur donne une variable contenant une URL, mais pas quand on leur donne une chaîne avec la même URL

Question

J'ai un programme qui lit certaines URL depuis un fichier texte, obtient la source de la page avec requests.get, puis utilise beautifulsoup4 pour trouver des informations.

f = open('inputfile.txt') 
session = requests.Session() 
session.headers.update({'User-Agent': 'Mozilla/5.0'}) 
for line in f: 
    x = 0 
    z = len(line) 
    r = session.get(line[x:z]) 
    soup = bs4.BeautifulSoup(r.text, "html.parser") 

Ceci renvoie une demande incorrecte HTTP 400 - URL non valide. Cependant, quand je fais la même chose sauf taper dehors l'URL comme chaîne, tout fonctionne (bien que j'aie seulement une URL).

f = open('inputfile.txt') 
session = requests.Session() 
session.headers.update({'User-Agent': 'Mozilla/5.0'}) 
for line in f: 
    r = session.get('http://www.ExactSameUrlAsEarlier.com') 
    soup = bs4.BeautifulSoup(r.text, "html.parser") 

Comment pourrais-je corriger/modifier cela me permet de faire défiler les différentes URL que j'ai dans le fichier? Juste pour clarifier, c'est ce que le inputfile.txt ressemble:

http://www.url1.com/something1 
http://www.url2.com/something2 

etc.

Merci à l'avance.

Answer 1

Vous devez effectuer une boucle sur les lignes du fichier et non sur le descripteur de fichier. Votre boucle doit être:

for line in f.readlines(): 
    url = line.strip() 

Il existe d'autres moyens de décapage des espaces de la ligne, un coup d'oeil à ce poste: Getting rid of \n when using .readlines()