Comment encoder/décoder des tableaux d'octets UTF-16LE avec une nomenclature?

Question

J'ai besoin de coder/décoder des tableaux d'octets UTF-16 vers et à partir de java.lang.String. Les tableaux d'octets me sont donnés avec un Byte Order Marker (BOM), et j'ai besoin d'encoder des tableaux d'octets avec une nomenclature.

En outre, parce que j'ai affaire à un client/serveur Microsoft, j'aimerais émettre l'encodage en little endian (avec le LE BOM) pour éviter tout malentendu. Je me rends compte qu'avec la nomenclature, cela devrait fonctionner, mais je ne veux pas nager en amont dans le monde de Windows.

À titre d'exemple, est une méthode ici qui code pour une java.lang.String comme dans UTF-16 little endian avec une nomenclature:

public static byte[] encodeString(String message) { 

    byte[] tmp = null; 
    try { 
     tmp = message.getBytes("UTF-16LE"); 
    } catch(UnsupportedEncodingException e) { 
     // should not possible 
     AssertionError ae = 
     new AssertionError("Could not encode UTF-16LE"); 
     ae.initCause(e); 
     throw ae; 
    } 

    // use brute force method to add BOM 
    byte[] utf16lemessage = new byte[2 + tmp.length]; 
    utf16lemessage[0] = (byte)0xFF; 
    utf16lemessage[1] = (byte)0xFE; 
    System.arraycopy(tmp, 0, 
        utf16lemessage, 2, 
        tmp.length); 
    return utf16lemessage; 
} 

Quelle est la meilleure façon de le faire en Java? Idéalement, je voudrais éviter de copier tout le tableau d'octets dans un nouveau tableau d'octets qui a deux octets supplémentaires alloués au début.

va de même pour le décodage d'une telle chaîne, mais qui est beaucoup plus simple en utilisant le java.lang.String constructor:

public String(byte[] bytes, 
       int offset, 
       int length, 
       String charsetName) 

Answer 1

Le nom charset « UTF-16 » sera toujours encoder avec une nomenclature et décode données à l'aide big/little endianness, mais "UnicodeBig" et "UnicodeLittle" sont utiles pour l'encodage dans un ordre d'octets spécifique. Utilisez UTF-16LE ou UTF-16BE pour aucune BOM - see this post pour savoir comment utiliser "\ uFEFF" pour gérer les nomenclatures manuellement. Voir here pour la dénomination canonique des noms de chaînes charset ou (de préférence) la classe Charset. Prenez également note que seulement limited subset of encodings sont absolument nécessaires pour être pris en charge.

Answer 2

ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream(string.length() * 2 + 2); 
    byteArrayOutputStream.write(new byte[]{(byte)0xFF,(byte)0xFE}); 
    byteArrayOutputStream.write(string.getBytes("UTF-16LE")); 
    return byteArrayOutputStream.toByteArray(); 

EDIT: En relisant votre question, je vois que vous préféreriez éviter complètement l'allocation de double matrice. Malheureusement, l'API ne vous donne pas cela, autant que je sache. (Il y avait une méthode, mais elle est déconseillée, et vous ne pouvez pas spécifier d'encodage avec).

J'ai écrit ce qui précède avant que j'ai vu votre commentaire, je pense que la réponse à utiliser les classes nio est sur la bonne voie. Je regardais cela, mais je ne suis pas assez familier avec l'API pour savoir comment vous y arrivez.

Answer 3

Tout d'abord, pour le décodage, vous pouvez utiliser le jeu de caractères "UTF-16"; qui détecte automatiquement une nomenclature initiale. Pour l'encodage UTF-16BE, vous pouvez également utiliser le jeu de caractères "UTF-16" - qui écrira une nomenclature correcte, puis affichera des caractères big endian.

Pour encoder à little endian avec une nomenclature, je ne pense pas que votre code actuel soit trop mauvais, même avec la double allocation (sauf si vos chaînes sont vraiment monstrueuses). Ce que vous voudrez peut-être faire si ce n'est pas un tableau d'octets, mais plutôt un ByteBuffer java.nio, et utilisez la classe java.nio.charset.CharsetEncoder. (Ce que vous pouvez obtenir à partir de Charset.forName ("UTF-16LE"). NewEncoder()).

Answer 4

Voici comment vous le faites dans NIO:

return Charset.forName("UTF-16LE").encode(message) 
      .put(0, (byte) 0xFF) 
      .put(1, (byte) 0xFE) 
      .array(); 

Il est certainement censé être plus rapide, mais je ne sais pas combien de tableaux il est sous les couvertures, mais ma compréhension du point de l'API est qu'il est censé minimiser cela.

Answer 5

Ceci est une vieille question, mais encore, je ne pouvais pas trouver une réponse acceptable pour ma situation. Fondamentalement, Java n'a pas de codeur intégré pour UTF-16LE avec une nomenclature. Et donc, vous devez déployer votre propre implémentation.

Voici ce que j'ai fini avec:

private byte[] encodeUTF16LEWithBOM(final String s) { 
    ByteBuffer content = Charset.forName("UTF-16LE").encode(s); 
    byte[] bom = { (byte) 0xff, (byte) 0xfe }; 
    return ByteBuffer.allocate(content.capacity() + bom.length).put(bom).put(content).array(); 
}