Comment connaître le nombre de lignes dans un fichier sans charger son contenu dans la mémoire en JavaScript?

Question

Brève:
Un système qui charge les fichiers CSV, mais ils devraient être énormes (lignes + 1M). J'ai déjà une idée sur la façon de les traiter en utilisant les files d'attente et les tâches/tâches d'arrière-plan.

Mais,
Je veux afficher à l'utilisateur un progrès dans son dossier, la ligne de quelque chose: 2165 de 1.246.875 ou peut-être le pourcentage de celui-ci. Pour archiver cela, j'ai besoin de connaître le nombre de lignes dans le fichier, mais je dois le faire sans charger son contenu dans la mémoire, donc il peut être rapide, dès que je reçois un téléchargement et peut enregistrer le nom de fichier dans le des lignes totales y sont trouvées.

En PHP cela est possible en utilisantSplFileObject essayant de seek() au PHP_MAX_INT, il va à la plus haute ligne, il peut dans le fichier et key() rendements ligne.

Mais le système est en cours de construction entièrement dans JavaScript/Node.js donc, par commodité, je veux aussi construire cette partie du système en JavaScript.

Comment pourrais-je accomplir cela? Déjà jeté un coup d'oeil à FS API, mais n'a pas trouvé comment à cela.

[EDIT]
Idées jusqu'à présent:

1. child_process.exec + wc -l (Unix uniquement)
2. obtenir cette information du client à l'aide FileReader (ressources délégué à l'utilisateur)

Answer 1

Vous utiliseriez un flux tel que documenté here

L'exemple suivant pourrait indiquer le nombre de lignes dans un fichier, en utilisant le premier argument comme nom de fichier.

ie: noeud countlines.js nameoffiletocountthelines.csv

var fs = require("fs"); 

var lines = 0; 
//Using the first argument as the filename 
var filename = process.argv[2]; 

var stream = fs.createReadStream(filename) 

//When data is received, check all the character codes and 
//if we find a carriage return, increment the line counter 
stream.on("data", function(chunk) { 
    for(var i = 0; i < chunk.length; i++) { 
     if (chunk[i] == 10 || chunk[i] == 13) lines++; 
    } 
}); 

//When the file processing is done, echo the number of lines 
stream.on("end", function() { 
    console.log("Lines: " + lines); 
}); 

Answer 2

Ceci est impossible.

Les lignes sont un concept humain concernant un fichier. Pour les ordinateurs, les fichiers ne sont qu'un tas d'octets; vous pouvez connaître le nombre total d'octets, vous pouvez rechercher la longueur des octets de pensée, mais sachant combien de lignes ont ces octets envolves compter les sauts de ligne et compter les sauts de ligne envolves de les lire.

Les deux wc et PHP SplFileObject flux le fichier entier, ils ne font pas magie. La meilleure réponse est donc la méthode la plus efficace. Ce qui signifie que le GC fonctionnerait mieux. En revanche, si la précision n'est pas une exigence, vous pouvez essayer de deviner. Si toutes les lignes ont une longueur d'octets fixe, vous pouvez le diviser par le nombre total d'octets du fichier.Ou, comme pointed by Aikon, vous pouvez lire seulement quelques octets (ils se séparent en lignes) obtenir la longueur moyenne d'entre eux et diviser par le nombre total d'octets du fichier.

Bien qu'il apporte le contenu du fichier dans la mémoire, la réponse Joel Lord est la réponse pour une solution Node.js. Vous pouvez également jeter un oeil à readline module.