Cat plusieurs milliers de fichiers

Question

J'ai plusieurs (60.000) fichiers dans un dossier qui doivent être combinés en 3 fichiers distincts. Comment pourrais-je chatter cela afin que je puisse avoir chaque fichier contenant le contenu de ~ 20 000 de ces fichiers?

Je sais que ce serait comme une boucle:

for i in {1..20000} 
do 
cat file-$i > new_file_part_1 
done 

Answer 1

Faire:

cat file-$i > new_file_part_1 

tronque new_file_part_1 chaque itération de la boucle. Vous voulez ajouter au fichier:

cat file-$i >> new_file_part_1 

Answer 2

En supposant qu'il n'a pas d'importance quel fichier d'entrée va vers lequel le fichier de sortie:

for i in {1..60000} 
do 
    cat file$i >> out$(($i % 3)) 
done 

Ce script utilise l'opérateur modulo % pour diviser l'entrée en 3 bacs; il va générer 3 fichiers de sortie:

• out0 contient file3 file6, file9, ...
• OUT1 contient fichier1, fichier4, File7, ...
• OUT2 contient fichier2, fichier5, file8,. ..

Answer 3

Les autres réponses referment et ouvrent le fichier à chaque itération. Je préférerais

for i in {1..20000} 
do 
    cat file-$i 
done > new_file_part_1 

de sorte que la sortie de tous cat runs sont acheminés dans un fichier opend une fois pour toutes.

Answer 4

#!/bin/bash 

cat file-{1..20000} > new_file_part_1 

Cette lance cat qu'une seule fois et ouvre et ferme le fichier de sortie une seule fois. Aucune boucle requise, puisque cat peut accepter tous les 20000 arguments. Un observateur astucieux a noté que sur certains systèmes, les 20000 arguments peuvent dépasser la limite ARG_MAX du système. Dans un tel cas, xargs peut être utilisé, avec la pénalité que cat sera lancé plus d'une fois (mais toujours nettement moins de 20000 fois).

echo file-{1..20000} | xargs cat > new_file_part_1 

Cela fonctionne parce que, dans Bash, echo est une coque intégrée et en tant que tels ne sont pas soumis à ARG_MAX.