MySQL renvoie des caractères étendus UTF8 incorrects dans certains cas seulement

Question

Remarque: Dans la question suivante, vous pouvez voir? ou des blocs au lieu de caractères, c'est parce que vous n'avez pas la police appropriée. S'il vous plaît ignorer cela.

Contexte

J'ai une table avec des données structurées comme suit:

CREATE TABLE `decomposition_dup` (
`id` int(11) NOT NULL AUTO_INCREMENT, 
`parent` varchar(50) COLLATE utf8mb4_unicode_ci NOT NULL, 
`structure` varchar(50) COLLATE utf8mb4_unicode_ci NOT NULL, 
`child` varchar(50) COLLATE utf8mb4_unicode_ci NOT NULL, 
PRIMARY KEY (`id`), 
KEY `parent` (`parent`), 
KEY `child` (`child`), 
KEY `parent_2` (`parent`,`child`) 
) ENGINE=InnoDB AUTO_INCREMENT=211929 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci 

Et quelques exemples de données:

INSERT INTO `decomposition_dup` (`id`, `parent`, `structure`, `child`) VALUES 
(154647, '锦', 'a', '钅'), 
(154648, '锦', 'a', '帛'), 
(185775, '钅', 'd', '二'), 
(185774, '钅', 'd', '㇟'), 
(21195, '钅', 'd', ''), 
(21178, '⻐', 'd', '乇'), 
(21177, '⻐', 'd', ''); 

Et les jeux de caractères sont tous réglés correctement:

Problème

Il est très important de noter que:

• 154647, 185775, 185774 & 21195 se réfèrent à ce caractère: http://unicode.scarfboy.com/?s=%E9%92%85
• 21178 et 21177 se réfèrent à ce caractère: http://unicode.scarfboy.com/?s=%E2%BB%90

Comme vous pouvez le voir, ce sont des caractères différents. Cependant, dans certains cas, ils sont traités comme le même caractère.

Cas 1

Quand je lance la requête suivante, il ne retourne que l'enfant correct (c.-à-ne retourne pas la même apparence, mais un enfant différent de caractères):

SELECT * 
FROM decomposition_dup 
WHERE parent = '锦' 

Ce comportement est correct.

Cas n ° 2

Cependant, quand je lance la requête suivante à l'aide 钅 (http://unicode.scarfboy.com/?s=%E9%92%85), elle retourne les deux personnages similaires:

SELECT * 
FROM decomposition_dup 
WHERE parent = '钅' 

Cela ne devrait revenir 185775, 185774 & 21195.

Cas 3

Et quand je lance la requête suivante à l'aide ⻐ (http://unicode.scarfboy.com/?s=%E2%BB%90), il retourne aussi les deux personnages similaires:

SELECT * 
FROM decomposition_dup 
WHERE parent = '⻐' 

Cela ne devrait revenir 21178 et 21177.

Cas 4

Si je remplace = avec LIKE pour les requêtes brisées (à savoir le cas 2 et 3 cas), ils reviennent correctement.

Par exemple, la requête suivante est le même que le cas 3, mais en utilisant LIKE:

SELECT * 
FROM decomposition_dup 
WHERE parent LIKE '⻐' 

Cela renvoie les caractères corrects mais ralentit la requête.

Question

Est-ce un bogue dans MySQL ou est-il quelque chose que je méconnais lors de l'interrogation des caractères étendus UTF8?

Answer 1

Si vous voulez qu'ils soient les mêmes, régler la COLLATION des colonnes à utf8mb4_unicode_ci ou utf8mb4_unicode_520_ci.
Si vous voulez qu'ils soient différents, utilisez utf8mb4_general_ci, à la place:

mysql> SELECT CONVERT(UNHEX('e99285') USING utf8mb4) = 
    ->  CONVERT(UNHEX('e2bb90') USING utf8mb4) COLLATE utf8mb4_general_ci AS general; 
+---------+ 
| general | 
+---------+ 
|  0 | 
+---------+ 

mysql> SELECT CONVERT(UNHEX('e99285') USING utf8mb4) = 
    ->  CONVERT(UNHEX('e2bb90') USING utf8mb4) COLLATE utf8mb4_unicode_ci AS unicode; 
+---------+ 
| unicode | 
+---------+ 
|  1 | 
+---------+ 

mysql> SELECT CONVERT(UNHEX('e99285') USING utf8mb4) = 
    ->  CONVERT(UNHEX('e2bb90') USING utf8mb4) COLLATE utf8mb4_unicode_520_ci AS unicode_520; 
+-------------+ 
| unicode_520 | 
+-------------+ 
|   1 | 
+-------------+ 

Answer 2

D'après ce que je peux faire le problème se trouve dans le côté SQL des choses sur la recherche, vous verrez que ce code d'erreur signifie que

permis de UTF8 de MySQL uniquement les caractères Unicode qui peuvent être représentés par 3 octets en UTF-8.

Il pourrait donc être les caractères que vous utilisez dans les cas de SQL