Comment générer tous les caractères dans le jeu de caractères UTF-8 dans .net

Question

J'ai été chargé de générer tous les caractères dans le jeu de caractères UTF-8 pour tester comment un système gère chacun d'entre eux. Je n'ai pas beaucoup d'expérience avec l'encodage de caractères. L'approche que j'allais essayer était d'incrémenter un compteur, puis d'essayer de traduire ce nombre base dix en son équivalent UTF-8, mais jusqu'à présent je n'ai pas réussi à trouver un moyen efficace de le faire en C# 3.5

Toutes les suggestions seraient grandement appréciées.

Answer 1

UTF-8 est pas un caractère défini - il est un caractère codage qui est capable de coder tous les caractères dans le jeu de caractères Unicode en données binaires.

Pourriez-vous plus d'informations sur ce que vous essayez de faire? Vous pouvez encoder tous les caractères Unicode possibles (y compris ceux qui ne sont pas alloués pour le moment) mais si vous devez gérer des caractères en dehors du plan multilingue de base (ie au dessus de U + FFFF), cela devient un peu plus compliqué ...

Answer 2

UTF-8 n'est pas un charset, c'est un encodage. Toute valeur dans Unicode peut être codée en UTF-8 avec différentes longueurs d'octets.

Pour .net, les personnages sont 16 bits (ce n'est pas l'ensemble complet de unicode, mais est le plus pratique), vous pouvez essayer ceci:

for (char i = 0; i < 65536; i++) { 
    string s = "" + i; 
    byte[] bytes = Encoding.UTF8.GetBytes(s); 
    // do something with bytes 
} 

Answer 3

Il n'y a pas de « caractères UTF-8 ". Voulez-vous dire les caractères Unicode ou l'encodage UTF-8 des caractères Unicode?

Il est facile de convertir un int en un caractère Unicode, à condition bien sûr qu'il ya une correspondance pour ce code:

char c = (char)theNumber; 

Si vous voulez l'encodage UTF-8 pour ce caractère, qui est pas très difficile soit:

byte[] encoded = Encoding.UTF8.GetBytes(c.ToString()) 

Vous devez vérifier la norme Unicode pour voir les plages de numéros où des caractères Unicode sont définis.

Answer 4

Comme d'autres l'ont dit, UTF/Unicode est un encodage et non un jeu de caractères.

Si vous parcourez http://www.joelonsoftware.com/articles/Unicode.html cela devrait aider à clarifier ce qu'est unicode.

Answer 5

Même lorsque vous générez tous les caractères, vous trouverez que ce n'est pas un test efficace. Certains des caractères sont combinant marques, ce qui signifie qu'ils vont se combiner avec le prochain personnage à venir après eux - avoir une chaîne pleine de marques de combinaison n'aura pas beaucoup de sens. Il y a d'autres cas spéciaux aussi. Il vaudra beaucoup mieux utiliser le texte dans les langues que vous devez prendre en charge.

Answer 6

System.Net.WebClient client = new System.Net.WebClient(); 
string definedCodePoints = client.DownloadString(
         "http://unicode.org/Public/UNIDATA/UnicodeData.txt"); 
System.IO.StringReader reader = new System.IO.StringReader(definedCodePoints); 
System.Text.UTF8Encoding encoder = new System.Text.UTF8Encoding(); 
while(true) { 
    string line = reader.ReadLine(); 
    if(line == null) break; 
    int codePoint = Convert.ToInt32(line.Substring(0, line.IndexOf(";")), 16); 
    if(codePoint >= 0xD800 && codePoint <= 0xDFFF) { 
    //surrogate boundary; not valid codePoint, but listed in the document 
    } else { 
    string utf16 = char.ConvertFromUtf32(codePoint); 
    byte[] utf8 = encoder.GetBytes(utf16); 
    //TODO: something with the UTF-8-encoded character 
    } 
} 

Le code ci-dessus doit parcourir les caractères Unicode actuellement attribués. Vous voudrez probablement analyser le fichier UnicodeData localement et corriger les erreurs C# que j'ai faites.

L'ensemble des caractères Unicode actuellement attribués est inférieur à l'ensemble qui pourrait être défini.Bien sûr, le fait que vous voyiez un personnage lorsque vous en imprimez un dépend de beaucoup d'autres facteurs, comme les polices et les autres applications qu'il transmettra avant qu'il ne soit émis dans votre globe oculaire.

Answer 7

Cela vous donnera tous les personnages dans un jeu de caractères - assurez-vous de spécifier un jeu de caractères lors de la spécification du codage:

var results = new ConcurrentBag<int>(); 
Parallel.For (0, 10, set => { 
    var encoding = Encoding.GetEncoding ("ISO-8859-1"); 
    var c = encoding.GetEncoder(); 
    c.Fallback = new EncoderExceptionFallback(); 
    var start = set * 1000; 
    var end = start + 1000; 
    Console.WriteLine ("Worker #{0}: {1} - {2}", set, start, end); 

    char[] input = new char[1]; 
    byte[] output = new byte[5]; 
    for (int i = start; i < end; i++) { 
     try { 
      input[0] = (char)i; 
      c.GetBytes (input, 0, 1, output, 0, true); 
      results.Add (i); 
     } 
     catch { 
     } 
    } 
}); 
var hashSet = new HashSet<int> (results); 
//hashSet.Remove ((int)'\r'); 
//hashSet.Remove ((int)'\n'); 
var sorted = hashSet.ToArray(); 
Array.Sort (sorted); 
var charset = new string (sorted.Select (i => (char)i).ToArray()); 

Answer 8

Ce code produira la sortie dans un fichier. Tous les caractères imprimables ou non seront là.

Encoding enc = (Encoding)Encoding.GetEncoding("utf-8").Clone(); 
enc.EncoderFallback = new EncoderReplacementFallback(""); 
char[] chars = new char[1]; 
byte[] bytes = new byte[16]; 

using (StreamWriter sw = new StreamWriter(@"C:\utf-8.txt")) 
{ 
    for (int i = 0; i <= char.MaxValue; i++) 
    { 
     chars[0] = (char)i; 
     int count = enc.GetBytes(chars, 0, 1, bytes, 0); 

     if (count != 0) 
     { 
      sw.WriteLine(chars[0]); 
     } 
    } 
} 

Answer 9

Vous pouvez-force brute un Encoding à déterminer quel code indique qu'il prend en charge. Pour ce faire, il suffit de parcourir tous les points de code possibles, de les convertir en chaînes et de voir si Encoding.GetBytes() déclenche une exception ou non (après avoir défini Encoding.EncoderFallback à EncoderExceptionFallback).

IEnumerable<int> GetAllWritableCodepoints(Encoding encoding) 
{ 
    encoding = Encoding.GetEncoding(encoding.WebName, new EncoderExceptionFallback(), new DecoderExceptionFallback()); 

    var i = -1; 
    // Docs for char.ConvertFromUtf32() say that 0x10ffff is the maximum code point value. 
    while (i != 0x10ffff) 
    { 
     i++; 

     var success = false; 
     try 
     { 
      encoding.GetByteCount(char.ConvertFromUtf32(i)); 
      success = true; 
     } 
     catch (ArgumentException) 
     { 
     } 
     if (success) 
     { 
      yield return i; 
     } 
    } 
} 

Cette méthode doit supporter des caractères représentés par la découverte de paires de substitution de Char en .net. Cependant, il est très lent (prend quelques minutes à courir sur ma machine) et probablement impraticable.