Comment puis-je optimiser l'importation de cet ensemble de données dans mysql?

Question

J'ai le schéma tableau suivant:

CREATE TABLE `alexa` (
    `id` int(10) unsigned NOT NULL, 
    `rank` int(10) unsigned NOT NULL, 
    `domain` varchar(63) NOT NULL, 
    `domainStatus` varchar(6) DEFAULT NULL, 
    PRIMARY KEY (`rank`), 
    KEY `domain` (`domain`), 
    KEY `id` (`id`) 
) ENGINE=MyISAM DEFAULT CHARSET=latin1 

Il faut plusieurs minutes pour importer les données. Pour moi, cela semble plutôt lent car nous ne parlons que d'un million de lignes de données.

Que puis-je faire pour optimiser l'insertion de ces données? (utilisez déjà des clés désactivées)

Answer 1

Utilisez LOAD DATA INFILE ou l'outil de ligne de commande équivalent mysqlimport. Cela peut être 20 fois plus rapide que toute autre méthode.

Vous pouvez également lire Speed of INSERT Statements dans le manuel MySQL. Cela a beaucoup de conseils pour améliorer les performances d'insertion en vrac. Vous ne dites pas grand-chose sur comment vous insérez actuellement des données (en plus de désactiver les clés), il est donc difficile de recommander quelque chose de plus spécifique sur la façon dont vous pouvez améliorer cela. Par exemple, quel langage de codage utilisez-vous? Utilisez-vous des requêtes préparées?

Answer 2

journal Assurez-bin est désactivé si vous n'utilisez pas la réplication:

set sql_log_bin=off;