En C#, comment enregistrer une page Web dans un fichier sans détruire l'encodage?

Question

Voici ce que j'ai obtenu jusqu'ici (ça ne marche pas). À ce stade, je pensais que ma cible était codée Ansi, mais je ne veux vraiment pas avoir à le savoir à ce stade. Mon navigateur semble être capable de déterminer quel encodage utiliser, comment puis-je?

static void GetUrl(Uri uri, string localFileName) 
{ 
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); 
    HttpWebResponse response; 

    response = (HttpWebResponse)request.GetResponse(); 

    // Save the stream to file 
    Stream responseStream = response.GetResponseStream(); 
    StreamReader reader = new StreamReader(responseStream, Encoding.Default); 
    Stream fileStream = File.OpenWrite(localFileName); 
    using (StreamWriter sw = new StreamWriter(fileStream, Encoding.Default)) 
    { 
     sw.Write(reader.ReadToEnd()); 
     sw.Flush(); 
     sw.Close(); 
    } 
} 

---

Après des réponses (actuellement uniquement testé sur un UTF-8 site):

static void GetUrl(Uri uri, string localFileName) 
{ 
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); 
    HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
    try 
    { 
     // Hope GetEncoding() knows how to parse the CharacterSet 
     Encoding encoding = Encoding.GetEncoding(response.CharacterSet); 
     StreamReader reader = new StreamReader(response.GetResponseStream(), encoding); 
     using (StreamWriter sw = new StreamWriter(localFileName, false, encoding)) 
     { 
      sw.Write(reader.ReadToEnd()); 
      sw.Flush(); 
      sw.Close(); 
     } 
    } 
    finally 
    { 
     response.Close(); 
    } 
} 

Answer 1

Il existe trois façons comment les navigateurs web tentent de détecter le codage de caractères.

Rechercher (si elle est HTML):

<meta http-equiv="Content-Type" content="text/html; charset=US-ASCII"> 

ou (XHTML)

<?xml version="1.0" encoding="ISO-8859-1"?> 

ou parfois il est même précisé l'en-tête http

Content-Type: text/html; charset=ISO-8859-1 

Answer 2

Vous devriez regarder pour l'encodage, le serveur envoie la réponse. Encoding.Default ne coupe pas la moutarde ici. :-)

Stream responseStream = response.GetResponseStream(); 
Encoding enc = Encoding.GetEncoding(response.CharacterSet); 
StreamReader reader = new StreamReader(responseStream, enc); 
Stream fileStream = File.OpenWrite(localFileName); 
using (StreamWriter sw = new StreamWriter(fileStream, enc)) 
{ /* ... */ } 

Pour être sûr, vous pouvez convertir tout en UTF-8 et stocker votre fichier en UTF-8 toujours. De cette façon, vous n'êtes jamais obligé de deviner l'encodage lors de la lecture du fichier.