Comment puis-je effectuer une recherche par emoji dans MySQL en utilisant utf8mb4?

Question

S'il vous plaît aidez-moi à comprendre comment les caractères multi-octets comme les emoji sont gérés dans les champs MySQL utf8mb4.

Voir ci-dessous pour un test SQL simple pour illustrer les défis.

/* Clear Previous Test */ 
DROP TABLE IF EXISTS `emoji_test`; 
DROP TABLE IF EXISTS `emoji_test_with_unique_key`; 

/* Build Schema */ 
CREATE TABLE `emoji_test` (
    `id` int(11) NOT NULL AUTO_INCREMENT, 
    `string` varchar(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '', 
    `status` tinyint(1) NOT NULL DEFAULT '1', 
    PRIMARY KEY (`id`) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 
CREATE TABLE `emoji_test_with_unique_key` (
    `id` int(11) NOT NULL AUTO_INCREMENT, 
    `string` varchar(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '', 
    `status` tinyint(1) NOT NULL DEFAULT '1', 
    PRIMARY KEY (`id`), 
    UNIQUE KEY `idx_string_status` (`string`,`status`) USING BTREE 
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 

/* INSERT data */ 
# Expected Result is successful insert for each of these. 
# However some fail. See comments. 
INSERT INTO emoji_test (`string`, `status`) VALUES ('', 1);     # SUCCESS 
INSERT INTO emoji_test (`string`, `status`) VALUES ('', 1);     # SUCCESS 
INSERT INTO emoji_test (`string`, `status`) VALUES ('', 1);     # SUCCESS 
INSERT INTO emoji_test (`string`, `status`) VALUES ('', 1);     # SUCCESS 
INSERT INTO emoji_test_with_unique_key (`string`, `status`) VALUES ('', 1); # SUCCESS 
INSERT INTO emoji_test_with_unique_key (`string`, `status`) VALUES ('', 1); # FAIL: Duplicate entry '?-1' for key 'idx_string_status' 
INSERT INTO emoji_test_with_unique_key (`string`, `status`) VALUES ('', 1); # SUCCESS 
INSERT INTO emoji_test_with_unique_key (`string`, `status`) VALUES ('', 1); # FAIL: Duplicate entry '??-1' for key 'idx_string_status' 

/* Test data */ 

    /* Simple Table */ 
SELECT * FROM emoji_test WHERE `string` IN ('','','',''); # SUCCESS (all 4 are found) 
SELECT * FROM emoji_test WHERE `string` IN ('');      # FAIL: Returns both and 
SELECT * FROM emoji_test WHERE `string` IN ('');      # FAIL: Returns both and 
SELECT * FROM emoji_test;            # SUCCESS (all 4 are found) 

    /* Table with Unique Key */ 
SELECT * FROM emoji_test_with_unique_key WHERE `string` IN ('','','',''); # FAIL: Only 2 are found (due to insert errors above) 
SELECT * FROM emoji_test_with_unique_key WHERE `string` IN ('');      # SUCCESS 
SELECT * FROM emoji_test_with_unique_key WHERE `string` IN ('');      # FAIL: found instead of 
SELECT * FROM emoji_test_with_unique_key;            # FAIL: Only 2 records found (and) 

Je suis intéressé à apprendre ce qui cause les FAIL s ci-dessus et comment je peux contourner ce problème.

Plus précisément:

1. Pourquoi choisit pour un résultat de retour de caractères multi-octets pour tout caractères multi-octets?
2. Comment puis-je configurer un index pour gérer les caractères multi-octets au lieu de ??
3. Pouvez-vous recommander des modifications au deuxième CREATE TABLE (celui avec une clé unique) ci-dessus de manière à ce que toutes les requêtes de test reviennent avec succès?

Answer 1

Vous utilisez utf8mb4_unicode_ci pour vos colonnes, donc la vérification est insensible à la casse. Si vous utilisez utf8mb4_bin à la place, puis les emoji et sont correctement identifiés comme des lettres différentes.

Avec WEIGHT_STRING, vous pouvez obtenir les valeurs utilisées pour le tri et la comparaison pour la chaîne d'entrée.

Si vous écrivez:

SELECT 
    WEIGHT_STRING ('' COLLATE 'utf8mb4_unicode_ci'), 
    WEIGHT_STRING ('' COLLATE 'utf8mb4_unicode_ci') 

vous pouvez voir que les deux sont 0xfffd. En Unicode Character Sets ils disent:

Pour les caractères supplémentaires en principe, les poids est le poids pour 0xfffd CARACTÈRE DE REMPLACEMENT.

Si vous écrivez:

SELECT 
    WEIGHT_STRING('' COLLATE 'utf8mb4_bin'), 
    WEIGHT_STRING('' COLLATE 'utf8mb4_bin') 

Vous obtiendrez leur unicode valeurs à la place 0x01f32e et 0x01f336.

Pour d'autres lettres comme Ä, Á et A qui sont égaux si vous utilisez utf8mb4_unicode_ci, la différence peut être vu dans:

SELECT 
    WEIGHT_STRING ('Ä' COLLATE 'utf8mb4_unicode_ci'), 
    WEIGHT_STRING ('A' COLLATE 'utf8mb4_unicode_ci') 

Ceux carte pour le poids 0x0E33

Ä: 00C4 ; [.0E33.0020.0008.0041][.0000.0047.0002.0308] # LATIN CAPITAL LETTER A WITH DIAERESIS; QQCM 
A: 0041 ; [.0E33.0020.0008.0041] # LATIN CAPITAL LETTER A 

Selon à: Difference between utf8mb4_unicode_ci and utf8mb4_unicode_520_ci collations in MariaDB/MySQL? les poids utilisés pour utf8mb4_unicode_ci sont basés sur UCA 4.0.0 parce que les emoji n'apparaissent pas là, le nous mappés ight est 0xfffd

Si vous avez besoin insensible à la casse et compare sortes de lettres régulières avec emoji alors ce problème est résolu en utilisant utf8mb4_unicode_520_ci:

SELECT 
    WEIGHT_STRING('' COLLATE 'utf8mb4_unicode_520_ci'), 
    WEIGHT_STRING('' COLLATE 'utf8mb4_unicode_520_ci') 

il y aura aussi des poids différents pour ceux emoji 0xfbc3f32e et 0xfbc3f336.