Modification d'un fichier de vidage/de texte SQL très volumineux (sous Linux)

Question

Je dois importer une sauvegarde MySQL de grande taille (jusqu'à 10G). Cependant, le vidage sql est déjà prédéfini avec une structure de base de données avec définition d'index. Je veux accélérer l'insertion db en supprimant l'index et la définition de la table.

Cela signifie que je dois supprimer/modifier les premières lignes d'un fichier texte 10G . Quel est le moyen le plus efficace de le faire? sur linux?

Les programmes qui nécessitent le chargement de l'ensemble du fichier dans la RAM seront une surcharge pour moi.

Answer 1

Plutôt que en supprimant les premières lignes, essayez de les modifier pour être des espaces. Le programme hexedit peut faire ceci: il lit les fichiers en morceaux, donc l'ouverture d'un fichier de 10 Go n'est pas différente de l'ouverture d'un fichier de 100 Ko.

$ hexedit largefile.sql.dump 
tab (switch to ASCII side) 
space (repeat as needed until your header is gone) 
F2 (save)/Ctrl-X (save and exit)/Ctrl-C (exit without saving) 

Answer 2

Perl peut lire le fichier ligne par ligne:

perl -pi.bak -e 's/^ create index/- créer un index /'

Answer 3

joe est un éditeur qui fonctionne bien avec de gros fichiers. Je l'ai juste utilisé pour éditer un fichier de vidage SQL de ~ 5G. Il a fallu environ une minute pour ouvrir le fichier et quelques minutes pour le sauvegarder, avec très peu d'utilisation de swap (sur un système avec 4G de RAM).

Answer 4

sed 's/OLD_TEXT/NEW_TEXT/g' <oldfile> newfile 

ou

cat file | sed 's/OLD_TEXT/NEW_TEXT/g' > newfile