script make pour télécharger tous les fichiers MP3 à partir d'une page

Question

J'ai une page qui contient des liens vers .mp3/fichiers .wav dans ce format

<a href="http://siteName/subfolder/filename.mp3">File Name</a> 

ce que je dois faire un script qui télécharge toutes ces fichiers au lieu de les télécharger moi-même

Je sais que je peux utiliser l'expression régulière pour faire quelque chose comme ça, mais je ne sais pas comment? et quel est le meilleur choix pour le faire (Java, C#, JavaScript)?

Toute aide sera appréciée

Merci à l'avance

Answer 1

Vous pouvez utiliser SgmlReader pour analyser les DOM et extraire tous les liens d'ancrage et télécharger les ressources correspondantes:

class Program 
{ 
    static void Main() 
    { 
     using (var reader = new SgmlReader()) 
     { 
      reader.DocType = "HTML"; 
      reader.Href = "http://www.example.com"; 
      var doc = new XmlDocument(); 
      doc.Load(reader); 
      var anchors = doc.SelectNodes("//a/@href[contains(., 'mp3') or contains(., 'wav')]"); 
      foreach (XmlAttribute href in anchors) 
      { 
       using (var client = new WebClient()) 
       { 
        var data = client.DownloadData(href.Value); 
        // TODO: do something with the downloaded data 
       } 
      } 
     } 
    } 
} 

Answer 2

Eh bien, Si vous voulez aller hard-core, je pense que l'analyse de la page avec DOMDocument (http://php.net/manual/en/class.domdocument.php) et la récupération des fichiers avec cURL le feraient si vous êtes d'accord avec PHP.

De combien de fichiers parlons-nous ici?

Answer 3

Belle bibliothèque de soupe de Python est bien adapté à cette tâche: http://www.crummy.com/software/BeautifulSoup/

pourrait être utilisé de cette façon:

import urllib2, re 
from BeautifulSoup import BeautifulSoup 

#open the URL 
page = urllib2.urlopen("http://www.foo.com") 
#parse the page 
soup = BeautifulSoup(page) 
#get all anchor elements 
anchors = soup.findAll("a") 
#filter anchors based on their href attribute 
filteredAnchors = filter(lambda a : re.search("\.wav",a["href"]) or re.search("\.mp3",a["href"]), anchors) 
urlsToDownload = map(lambda a : a["href"],filteredAnchors) 
#download each anchor url... 

Voir ici pour obtenir des instructions sur le téléchargement des années mp3 de leurs URL: How do I download a file over HTTP using Python?