Puis-je obtenir un tube de sortie plus rapide que/dev/null?

Question

Je cours une tâche énorme [traduction automatique scriptée avec perl + base de données etc] pour fonctionner pendant environ 2 semaines non-stop. En réfléchissant à la manière de l'accélérer, j'ai vu que le traducteur restituait tout (toutes les phrases traduites, toutes les infos en chemin) vers STDOUT tout le temps. Cela rend le travail visiblement plus lent lorsque je reçois la sortie sur la console.

J'ai évidemment passé la sortie à /dev/null, mais j'ai alors pensé "pourrait-il y avoir quelque chose d'encore plus rapide?" C'est tellement de sortie que ça ferait vraiment une différence.

Et c'est la question que je vous pose, car pour autant que je sache, il n'y a rien de plus rapide ... (Mais je suis loin d'être un gourou ayant utilisé linux quotidiennement depuis 3 ans)

Answer 1

La sortie vers/dev/null est implémentée dans le noyau, ce qui est assez rapide. Le tube de sortie n'est pas votre problème maintenant, c'est le temps qu'il faut pour construire les chaînes qui sont envoyées à/dev/null. Je vous recommande de passer par le programme et de commenter (ou de protéger avec if $be_verbose) toutes les lignes qui sont des instructions d'impression inutiles. Je suis sûr que ça va vous donner une accélération notable.

Answer 2

Je peux (par dd) vider 20 gigaoctets de données par seconde/dev/null. Ce n'est pas votre goulot d'étranglement :-p

La première manière de le rendre plus rapide est de ne pas générer les données en premier lieu - supprimez complètement les instructions de journalisation. Le coût de production de tous les messages de journal dépasse probablement le coût de les jeter un peu.