Meilleur moteur de stockage pour base de données avec 10 000 000 lignes

Question

J'ai une table de base de données avec 10 000 000+ lignes que je traite pour créer une nouvelle table. Quel est le meilleur type de moteur de stockage pour la lecture?

Actuellement j'utilise:

$sql = "UPDATE `packages_unsorted` SET `acv_return_viadetails` = '0';"; 

ensuite pour sélectionner les enregistrements:

$sql = "SELECT * FROM `packages_unsorted` WHERE `acv_return_viadetails` = '0' LIMIT 1000;"; 

Je collectionne la clé primaire id dans un tableau appelé ids $ et je traite les dossiers et écrire les données un fichier CSV à importer à la fin de chaque 1000 lignes. mettre à jour puis le champ acv_return_viadetails avec:

$sql = "UPDATE `packages_unsorted` SET `acv_return_viadetails` = '1' WHERE `id` IN ('".implode("','",$ids)."') LIMIT 1000;"; 

Comme ci-dessus est la seule écriture à la table et je sélectionner tous les champs à chaque fois. Dois-je utiliser une table de mémoire ou un autre type de moteur de stockage pour accélérer les choses? Ou y a-t-il d'autres optimisations que je pourrais introduire pour accélérer les choses?

Aussi ce qui serait une configuration my.cnf raisonnable pour une telle opération.

Merci à l'avance :)

Answer 1

Quelques suggestions:

1) Remplacer

$sql = "SELECT * FROM `packages_unsorted` WHERE `acv_return_viadetails` = '0' LIMIT 1000;"; 

avec

$sql = "SELECT `id` FROM `packages_unsorted` WHERE `acv_return_viadetails` = '0' LIMIT 1000;"; 

2) Vérifiez s'il est possible de charger tous les ids à la fois sans la limite 1000. Avec 10M enregistrements, il ne devrait prendre que quelques centaines de Mo pour charger tous les ids.

$sql = "SELECT `id` FROM `packages_unsorted`"; 

Si ce n'est pas le cas, envisagez d'augmenter la limite.

3) Vous pouvez essayer quelque chose comme ce qui suit au lieu d'utiliser acv_return_viadetails:

$sql = "SELECT `id` FROM `packages_unsorted` LIMIT 0, 1000;"; 
$sql = "SELECT `id` FROM `packages_unsorted` LIMIT 1000, 1000;"; 
$sql = "SELECT `id` FROM `packages_unsorted` LIMIT 2000, 1000;"; 

Answer 2

Avez-vous un index sur le champ acv_return_viadetails?

Si vous cherchez à accélérer l'importation, je viens de créer un programme en C++ pour importer un fichier de 300 Mo dans mysql en 65s. Peut-être que vous pouvez l'adapter pour votre usage.

Voir https://github.com/homer6/import-geoip-data