Télécharger un site Web entier en C#

Question

Pardonne mon ignorance sur le sujet

J'utilise

string p="http://" + Textbox2.text; 
string r= textBox3.Text; 
System.Net.WebClient webclient=new 
System.Net.Webclient(); 
webclient.DownloadFile(p,r); 

télécharger une page Web. Pouvez-vous s'il vous plaît m'aider à améliorer le code afin qu'il télécharge l'ensemble du site Web. Essayé en utilisant HTML Screen Scraping mais il me renvoie seulement les liens href des fichiers index.html. Comment puis-je procéder avant

Merci

Answer 1

Grattage un site Web est en fait beaucoup de travail, avec beaucoup de cas d'angle.

Appelez plutôt wget. Le manual explique comment utiliser les options "recursive retrieval".

Answer 2

protected string GetWebString(string url) 
    { 
     string appURL = url; 
     HttpWebRequest wrWebRequest = WebRequest.Create(appURL) as HttpWebRequest; 
     HttpWebResponse hwrWebResponse = (HttpWebResponse)wrWebRequest.GetResponse(); 

     StreamReader srResponseReader = new StreamReader(hwrWebResponse.GetResponseStream()); 
     string strResponseData = srResponseReader.ReadToEnd(); 
     srResponseReader.Close(); 
     return strResponseData; 
    } 

Ceci place la page Web dans une chaîne à partir de l'URL fournie.

Vous pouvez ensuite utiliser REGEX pour analyser la chaîne.

Cette petite pièce obtient des liens spécifiques hors craigslist et les ajoute à un arraylist ... Modifiez à votre but.

protected ArrayList GetListings(int pages) 
    { 
      ArrayList list = new ArrayList(); 
      string page = GetWebString("http://albany.craigslist.org/bik/"); 

      MatchCollection listingMatches = Regex.Matches(page, "(<p><a href=\")(?<LINK>/.+/.+[.]html)(\">)(?<TITLE>.*)(-</a>)"); 
      foreach (Match m in listingMatches) 
      { 
       list.Add("http://albany.craigslist.org" + m.Groups["LINK"].Value.ToString()); 
      } 
      return list; 
    }