Je suis en train de tester comment une partie de mon code gère les mauvaises données, et j'ai besoin de quelques séries d'octets qui sont invalides UTF-8.Exemple de chaîne utf8 non valide?
Pouvez-vous en poster, et idéalement, une explication de pourquoi ils sont mauvais/où vous les avez?
Jetez un oeil à Markus Kuhn's UTF-8 decoder capability and stress test file
Vous trouverez des exemples de nombreux UTF-8 irrégularités, y compris solitaires octets de début, la poursuite octets manquants, des séquences trop longues, etc.
Fuzz Testing - générer une séquence aléatoire d'octets. Vous aurez probablement des séquences illégales plus tôt que plus tard.
Il n'y a rien de pire que d'avoir heisenbugs ou eisentests. Les tests passent 10 fois, vous libérez le produit, le test échoue. –
@EricDuminil jamais entendu parler de srand()? – shoosh
Assez juste. Pourriez-vous s'il vous plaît mentionner dans la réponse afin que je puisse inverser mon downvote? –
En PHP:
$examples = array(
'Valid ASCII' => "a",
'Valid 2 Octet Sequence' => "\xc3\xb1",
'Invalid 2 Octet Sequence' => "\xc3\x28",
'Invalid Sequence Identifier' => "\xa0\xa1",
'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);
De http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805
L'idée de modèles d'octets séquences mal formé peut être obtenir de la table des séquences d'octets bien formés. Voir "Table 3-7. Well-Formed UTF-8 Byte Sequences" dans la norme Unicode 6.2.
Code Points First Byte Second Byte Third Byte Fourth Byte
U+0000 - U+007F 00 - 7F
U+0080 - U+07FF C2 - DF 80 - BF
U+0800 - U+0FFF E0 A0 - BF 80 - BF
U+1000 - U+CFFF E1 - EC 80 - BF 80 - BF
U+D000 - U+D7FF ED 80 - 9F 80 - BF
U+E000 - U+FFFF EE - EF 80 - BF 80 - BF
U+10000 - U+3FFFF F0 90 - BF 80 - BF 80 - BF
U+40000 - U+FFFFF F1 - F3 80 - BF 80 - BF 80 - BF
U+100000 - U+10FFFF F4 80 - 8F 80 - BF 80 - BF
Voici les exemples générés à partir de U + 24B62. Je les ai utilisés pour un rapport de bogue: Bug #65045 mb_convert_encoding breaks well-formed character
// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD" ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"
Le simplisme de la gamme d'octets de fuite ([0x80, 0xBF]) peut être vu dans les différentes bibliothèques.
// U+0800 - U+0FFF
\xE0\x80\x80
// U+D000 - U+D7FF
\xED\xBF\xBF
// U+10000 - U+3FFFF
\xF0\x80\x80\x80
// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF
, était particulièrement maléfique. Je le vois comme combiné sur Ubuntu.
par des virgules
breve double possible de [vraiment bon, mauvais données de test par exemple UTF-8] (http://stackoverflow.com/questions/1319022/really-good-bad-utf-8-example- test-data) – Claudiu