Analyse du nom de fichier à partir de la liste des liens d'URL

Question

Ok, j'utilise donc un script qui télécharge des fichiers à partir d'URL répertoriées dans un fichier urls.txt.

import urllib.request 

with open("urls.txt", "r") as file: 
    linkList = file.readlines() 
for link in linkList: 
    urllib.request.urlretrieve(link) 

Malheureusement, ils sont enregistrés sous forme de fichiers temporaires en raison de l'absence de deuxième argument dans ma fonction urllib.request.urlretrieve. Comme il y a des milliers de liens dans mon fichier texte, les nommer séparément n'est pas une option. La chose est que le nom du fichier est contenu dans ces liens, à savoir /DocumentXML2XLSDownload.vm?firsttime=true & repengback = true & d ocumentId = XXXXX & xsl = FileName rher2xml.xs l & outputFileName = XXX X_2017_06_25_4 .xls où le nom du fichier vient après outputFileName =

Existe-t-il un moyen facile d'analyser les noms de fichiers, puis les utiliser dans la fonction urllib.request.urlretrieve comme argument secondaire? Je pensais à extraire ces noms dans Excel et à les placer dans un autre fichier texte qui serait lu de la même manière que urls.txt mais je ne suis pas sûr de savoir comment l'implémenter en Python. Ou y a-t-il un moyen de le faire exclusivement en python sans utiliser Excel?

Answer 1

Vous pouvez analyser le lien sur la route.

Exemple avec un regular expression:

import re 

with open("urls.txt", "r") as file: 
    linkList = file.readlines() 
for link in linkList: 
    regexp = '((?<=\?outputFileName=)|(?<=\&outputFileName=))[^&]+' 
    match = re.search(regexp, link.rstrip()) 

    if match is None: 
     # Make the user aware that something went wrong, e.g. raise exception 
     # and/or just print something 
     print("WARNING: Couldn't find file name in link [" + link + "]. Skipping...") 
    else: 
     file_name = match.group(0) 
     urllib.request.urlretrieve(link, file_name) 

Answer 2

Vous pouvez utiliser urlparse et parse_qs pour obtenir la chaîne de requête

from urlparse import urlparse,parse_qs 
parse = urlparse('http://www.cwi.nl:80/%7Eguido/Python.html?name=Python&version=2') 
print(parse_qs(parse.query)['name'][0]) # prints Python