0
Quel est le moyen le plus rapide de fusionner des milliers de petits fichiers en un seul fichier?perl, unix: moyen le plus rapide de fusionner des milliers de petits fichiers en un seul fichier
grâce
A
Répondre
14
La commande cat fonctionne bien:
cat *someglob* > output.txt
son nom (abréviation de con chat enate) donne même loin son but.
Si votre liste d'arguments est trop longue (c'est-à-dire que trop de fichiers correspondent à la glob), vous pouvez toujours utiliser la commande find et acheminer les arguments vers xargs.
find . -name \*someglob\* -print0 | xargs -0 cat > output.txt
0
Je suis sûr que cat est plus rapide et plus simple, mais voici une version perl, juste parce que vous avez demandé à ce sujet.
perl -pe1 *.txt > all.txt
Avec l'aimable autorisation de ikegami
+2
Vous traitez les résultats du glob comme glob. C'est un bug. Par exemple, il échoue si vous avez un fichier nommé 'foo bar.txt'. Correction: 'perl -pe1 * .txt> all.csv' – ikegami
+0
@ikegami qui me donne l'erreur" Impossible d'ouvrir * .txt: Argument invalide. " Je suis sur Windows, peut-être que le shell bash étend les variables de Perl avant qu'elles ne soient passées, je ne pourrais pas le dire. Sur mon système, les variables (même les globs) sont transmises telles quelles. Cela fonctionne très bien avec 'foo bar.txt'. – TLP
+0
@TLP, Bouilloire noire? Votre solution ne s'exécute pas non plus dans le shell cmd. Plus important encore, il ne fonctionne pas dans bash, ce qui est certainement ce que l'OP veut. – ikegami
0
Dans le cas où il est plus utile, voici un exemple de la façon dont vous pouvez le faire sur la ligne de commande:
cd dir_with_thousand_files
cat *.txt > onebigfile.txt
Questions connexes
- 1. Un moyen plus rapide d'importer des milliers d'enregistrements à partir d'un seul fichier txt dans la base de données MySQL?
- 2. Stockage de données XML dans des milliers de petits fichiers
- 3. Le moyen le plus rapide de combiner des milliers de tableaux de manière unique en PHP
- 4. Le moyen le plus rapide de trouver des différences entre deux fichiers dans unix?
- 5. Fusionner plusieurs fichiers texte en un seul
- 6. Un seul liner pour diviser un très grand répertoire en répertoires plus petits sur Unix
- 7. moyen le plus rapide pour convertir un horodatage UNIX
- 8. Quel est le moyen le plus rapide de fusionner des fichiers et quelle est la manière la plus rapide de diviser un tableau?
- 9. Quel est le moyen le plus rapide de fusionner les valeurs de cette structure Python en un seul dictionnaire?
- 10. Un moyen de diviser un énorme fichier XML en fichiers xml plus petits avec XSL
- 11. Le moyen le plus rapide de fusionner des n-dictionnaires et d'ajouter des valeurs sur 2.6
- 12. Le moyen le plus simple de fusionner des partitions sous debian (unix)?
- 13. Le moyen le plus rapide pour déterminer le chevauchement de portée en Perl
- 14. Comment fusionner des fichiers PDF avec Perl?
- 15. Existe-t-il un moyen plus rapide de vérifier si des milliers d'éléments NSManagedObject existent?
- 16. PhpED: moyen le plus rapide d'ouvrir un fichier?
- 17. Bash diviser un gros fichier en fichiers plus petits
- 18. Comment fusionner plusieurs fichiers PDF en un seul fichier PDF
- 19. Quel est le moyen le plus rapide d'utiliser lsof pour trouver un seul fichier ouvert?
- 20. Quel est le moyen le plus rapide de retirer quelques valeurs d'éléments de fichiers XML en Perl?
- 21. Quel est le moyen le plus rapide d'écraser un fichier entier avec des zéros en C?
- 22. Quel est le moyen le plus rapide de compiler des fichiers Scala en utilisant maven?
- 23. Tuyauterie Contenu des fichiers des chemins de fichiers vers un seul fichier - UNIX
- 24. Meilleur/le plus simple/le moyen le plus rapide d'obtenir un chemin relatif entre deux fichiers?
- 25. Diviser un gros fichier en fichiers plus petits par le nombre de lignes en C#?
- 26. Le moyen le plus rapide de lire des données à partir de nombreux fichiers ASCII
- 27. Le moyen le plus rapide pour convertir un fichier binaire en base de données SQLite
- 28. Rendre le fichier IO avec LINQ plus efficace avec un grand nombre de petits fichiers XML?
- 29. Le moyen le plus rapide d'analyser un gros fichier en ruby
- 30. Quel est le moyen le plus rapide pour lire des fichiers volumineux dans Delphi?
aussi court pour « catenate. » – Sean
Belle réponse, mais quand il vient de Windows n'aura aucune idée de ce que vous voulez dire avec * someglob *;) – jm666
@ jm666: Le titre de la question et les balises comprennent "unix". Mais la vérité est, un "glob" a la même signification sur les systèmes de type Unix et Windows ... C'est un modèle qui peut être utilisé pour faire correspondre un tas de chaînes –