Réparation d'un codage incorrect dans les fichiers XML

Question

L'un de nos fournisseurs envoie parfois des flux XML étiquetés en tant que documents codés en UTF-8, mais inclut des caractères qui ne sont pas inclus dans le jeu de caractères UTF-8. Cela provoque l'analyseur de lancer une exception et d'arrêter la construction de l'objet DOM lorsque ces caractères sont rencontrés:

DocumentBuilder.parse(ByteArrayInputStream bais) 

lève l'exception suivante:

org.xml.sax.SAXParseException: Invalid byte 2 of 2-byte UTF-8 sequence. 

est-il un moyen de « capturer » ces problèmes au début et éviter l'exception (c'est-à-dire trouver et supprimer ces caractères du flux)? Ce que je cherche est un type de repli de «meilleur effort» pour les documents mal encodés. La solution correcte serait évidemment d'attaquer le problème à la source et de s'assurer que seuls les bons documents sont livrés, mais quelle est une bonne approche lorsque cela n'est pas possible?

Answer 1

Si le problème est vraiment un mauvais codage (par opposition à un codage mixte), vous n'avez pas besoin de réencoder le document pour l'analyser. analyser tout comme un lecteur au lieu d'un InputStream et l'analyseur de dom ignorera l'en-tête:

DocumentBuilder.parse(new InpputSource(new InputStreamReader(inputStream, "<real encoding>"))); 

Answer 2

Vous devriez regarder manuellement les documents non valides et voir quel est leur problème commun. Il est très probable qu'ils sont en fait dans un autre encodage (très probablement windows-1252), et la meilleure solution serait alors de prendre chaque document du système cassé et de le recoder en UTF-8 avant l'analyse.

Une autre cause possible est les codages mixtes (le contenu de certains éléments est codé et le contenu des autres éléments est codé de manière différente). Ce serait plus difficile à réparer.

Vous auriez également besoin d'un moyen de savoir quand le système cassé est fixé afin que vous puissiez arrêter d'utiliser votre solution de contournement.

Answer 3

Vous devez leur dire de vous envoyer correcte UTF-8. À défaut de toute solution devrait ré-encoder les mauvais caractères comme UTF-8 valide puis le passer à l'analyseur. La raison en est que si les mauvais caractères sont conservés, différents programmes peuvent interpréter n'importe quelle sortie de différentes façons, ce qui peut entraîner des failles de sécurité.