Comment puis-je deviner si une chaîne contient du texte ou des données binaires en Perl?

Question

Quel est le meilleur moyen de savoir si la valeur scalaire est ASCII/UTF8 (texte) ou une donnée binaire en Perl? Est-ce bon code ?:

if (is_utf8($scalar, 1) or ($scalar =~ m/\A [[:ascii:]]* \Z/xms)) { 
    # $scalar is a text 
} 
else { 
    # $scalar is a binary 
} 

Y at-il une meilleure façon?

Answer 1

is_utf8 teste si l'indicateur Perl utf8 est activé ou non. Il est possible qu'un scalaire contienne correctement utf-8 et que le drapeau ne soit pas activé. Je pense qu'il est possible d'activer délibérément le drapeau même avec un utf-8 mal formé, mais je ne suis pas sûr.

Pour vérifier si le scalaire contient des données UTF-8, vous devez vérifier le drapeau, et si ce n'est pas, essayez aussi quelque chose comme

eval { 
    my $utf8 = decode_utf8 ($scalar); 
} 

puis vérifier les erreurs dans $@.

Pour vérifier si un scalaire non-UTF-8 contient des données non-ASCII, votre idée $scalar =~ m/\A [[:ascii:]]* \Z/xms semble correcte.

Answer 2

Le meilleur meilleur, de toute évidence, est de simplement garder la trace lorsque vous lisez les données. Vous, en tant que programmeur, devriez déjà savoir si vous obtenez du texte (et de son encodage) ou des données binaires. Lorsque vous lisez du texte, vous le voyez (voir http://p3rl.org/UNI pour plus de détails) dans les chaînes de texte Perl.

Si vous ne savez vraiment pas à l'avance, les -T and -B file tests offrent une heuristique. Ne tenez pas compte de la réponse de Kinopiko, dans la grande majorité des cas, vous ne devriez pas avoir besoin de connaître la représentation interne des données, et ne pas utiliser les fonctions utilitaires du module utf8 pragma est une mauvaise approche.