Faire une boucle dans un répertoire sur le web et afficher son contenu (fichiers et autres répertoires) via Python

Question

Dans la même veine que Process a set of files from a source directory to a destination directory in Python Je me demande s'il est possible de créer une fonction qui, lorsqu'on lui donne un répertoire web, listera les fichiers dans le répertoire. Quelque chose comme ...

files[] 

for file in urllib.listdir(dir): 
    if file.isdir: 
     # handle this as directory 
    else: 
     # handle as file 

Je suppose que je besoin d'utiliser la bibliothèque urllib, mais il ne semble pas être un moyen facile de faire cela, que je l'ai vu au moins.

Answer 1

Qu'est-ce qu'un répertoire Web?

Une page web a des liens. La page avec les liens peut, ou ne peut pas, être générée par le serveur Web en fonction du contenu du répertoire.

Un exemple de liens générant automatiquement est trouvé here, et est probablement le résultat de quelque chose comme mod_dir configuration dans le serveur Web, Apache.

Quels outils comme wget, et curl, font, prennent une page et téléchargent tous les liens sur cette page, peut-être récursivement. Je pense que c'est le meilleur que vous pouvez réaliser. Et j'ai l'impression que les questions sur python + curl sont abondantes ici dans SO.

Answer 2

Vous pourriez avoir le concept confus. Le répertoire est le concept de système de fichiers. L'URL n'a pas de concept de répertoire. Il ressemble au nom de chemin d'un système de fichiers et correspond souvent à un répertoire. Mais il n'y a aucune exigence pour qu'il soit soutenu par un système de fichiers.

Par exemple, Process a set of files from a source directory to a destination directory in Python peut correspondre à un répertoire

/htdocs/questions/2593399/

Mais plus il est généré à partir d'une requête de base de données et ne correspond pas à quoi que ce soit dans le système de fichiers.