Manière plus rapide de lire le fichier ligne par ligne?

Question

En PHP, j'utilise fopen(), , et fclose() pour lire un fichier ligne par ligne. Ça marche bien. Mais j'ai un script (exécuté à partir de la CLI) qui doit traiter trois centaines de fichiers texte de 5 Go. C'est environ 3 milliards fgets(). Donc, cela fonctionne assez bien, mais à cette échelle, les économies de vitesse minuscules vont s'accumuler extrêmement vite. Alors je me demande s'il y a des astuces pour accélérer le processus?

La seule chose à laquelle je pensais était d'obtenir fgets() pour lire plus d'une ligne à la fois. Il ne semble pas que cela prenne en charge cela, mais je pourrais en théorie dire 20 consécutifs $line[] = fgets($file); puis traiter le tableau. Ce n'est pas tout à fait la même chose que de lire plusieurs lignes dans une même commande, cela n'a donc aucun effet. Mais je sais mettre en file d'attente vos insertions mysql et les envoyer comme un insert géant (une autre astuce que je vais mettre en œuvre dans ce script après plus de tests et de benchmarking) permettra d'économiser beaucoup de temps.

Answer 1

Une approche possible qui pourrait être plus rapide serait de lire de gros morceaux du fichier avec fread(), de le diviser par des retours à la ligne, puis de traiter les lignes. Vous devez prendre en compte le fait que les morceaux peuvent couper des lignes et vous devez le détecter et les recoller ensemble. En règle générale, plus le morceau que vous pouvez lire en une seule fois est important, plus votre processus devrait devenir rapide. Dans les limites de votre mémoire disponible.

De fread() docs:

Notez que fread() lit de la position actuelle du pointeur de fichier. Utilisez ftell() pour trouver la position actuelle du pointeur et rembobinez() pour rembobiner la position du pointeur.