Utilisation de sed pour introduire une nouvelle ligne après chaque> dans un fichier texte d'une ligne d'un gigaoctet +1 gigaoctet

Question

J'ai un fichier texte géant (environ 1,5 gigaoctet) contenant des données xml. Tout le texte dans le fichier est sur une seule ligne, et tenter de l'ouvrir dans n'importe quel éditeur de texte (même ceux mentionnés dans ce fil: Text editor to open big (giant, huge, large) text files) échoue horriblement ou est totalement inutilisable en raison de l'éditeur de texte suspendu en essayant de faire défiler.

J'espérais d'introduire les nouvelles lignes dans le fichier en utilisant la commande sed suivante

sed 's/>/>\n/g' data.xml > data_with_newlines.xml 

Malheureusement, cela a causé sed de me donner une erreur de segmentation. D'après ce que je comprends, sed lit le fichier ligne par ligne ce qui dans ce cas signifierait qu'il essaye de lire le fichier entier de 1,5 gig sur une ligne ce qui expliquerait certainement le segfault. Cependant, le problème demeure. Comment puis-je introduire des nouvelles lignes après chaque> dans le fichier XML? Dois-je recourir à un petit programme pour faire cela en lisant le fichier caractère par caractère?

Answer 1

certains sed a une limite à cela. GNU sed n'a pas de limite tant qu'il peut plus de mémoire (virtuelle) `malloc() ', vous pouvez nourrir ou construire des lignes aussi longtemps que vous le souhaitez. (de la doc)

Je suggérerais, si possible, de changer la façon dont vous créez ce fichier xml. (Pourquoi est-ce tout dans une ligne en premier lieu?). Sinon, vous pourriez le lire un caractère par caractère. par exemple en utilisant le shell

while read -n 1 ch 
do 
    case "$ch" in 
    ">") printf "%s\n" "$ch";; 
    *) printf "%s" $ch;; 
    esac 
done <"file" 

ou

while read -n 1000 str ; do 
echo "${str//>/> 
}" 
done < file 

Answer 2

This peut travailler pour vous.