Bibliothèque C pour convertir les points de code Unicode en UTF8?

Question

Je dois passer par du texte et écrire une sortie UTF8 selon les modèles de caractères. Je pensais que ce serait facile si je pouvais travailler avec les points de code et le convertir en UTF8. J'ai lu sur unicode et UTF8 mais je n'ai pas trouvé une bonne solution. Toute aide serait appréciée.

Answer 1

Conversion des points de code Unicode UTF-8 est si trivial que faire appel à une bibliothèque prend probablement plus de code que simplement faire vous-même:

if (c<0x80) *b++=c; 
else if (c<0x800) *b++=192+c/64, *b++=128+c%64; 
else if (c-0xd800u<0x800) goto error; 
else if (c<0x10000) *b++=224+c/4096, *b++=128+c/64%64, *b++=128+c%64; 
else if (c<0x110000) *b++=240+c/262144, *b++=128+c/4096%64, *b++=128+c/64%64, *b++=128+c%64; 
else goto error; 

en outre, faire vous-même signifie que vous pouvez régler le api du type de w ork dont vous avez besoin (personnage à la fois? Ou chaînes longues?) Vous pouvez supprimer les cas d'erreur si vous savez que votre entrée est une valeur scalaire Unicode valide.

L'autre direction est un peu plus difficile à obtenir. Je recommande une approche d'automate fini plutôt que les boucles arithmétiques typiques qui décodent parfois des séquences invalides comme des alias pour des caractères réels (ce qui est très dangereux et peut entraîner des problèmes de sécurité).

Éditer: Même si vous finissez avec une bibliothèque, je pense que vous devriez soit essayer de l'écrire vous-même, soit au moins sérieusement étudier la spécification UTF-8 avant d'aller plus loin. Le traitement de l'UTF-8 en tant que boîte noire peut être une mauvaise idée car il ne s'agit pas d'une boîte noire, mais de trop de propriétés, et trop de programmeurs en UTF-8 ne le voient pas avant ils ont beaucoup travaillé avec eux.

Answer 2

Quelle plateforme? Sous Windows, vous pouvez utiliser WideCharToMultiByte (CP_UTF8, ...)

Vous pouvez argumenter que le code source doit être codé en UTF-16, ce qui signifie que vous devez pouvoir effectuer un tel encodage. Dans certains cas (paires de substitution), ce n'est pas trivial.

Je crois comprendre que vous avez du texte dans une page de codes donnée et que vous voulez le convertir en Unicode (UTF-16). Droite? Un tour MultiByteToWideChar (codePage, sourceText, ...)/WideCharToMultiByte (CP_UTF8, utf16Text, ...) fera l'affaire.

Answer 3

libiconv.

Answer 4

iconv pourrait être utilisé Je figure.

#include <iconv.h> 

iconv_t cd; 
char out[7]; 
wchar_t in = CODE_POINT_VALUE; 
size_t inlen = sizeof(in), outlen = sizeof(out); 

cd = iconv_open("utf-8", "wchar_t"); 
iconv(cd, (char **)&in, &inl, &out, &outlen); 
iconv_close(cd); 

Mais je crains que wchar_t pourrait ne pas représenter les points de code Unicode, mais les valeurs arbitraires .. EDIT: Je suppose que vous pouvez le faire en utilisant simplement une source Unicode:

uint16_t in = UNICODE_POINT_VALUE; 
cd = iconv_open("utf-8", "ucs-2");