Modifier le fichier en cours de traitement par le script python

Question

J'essaie d'utiliser un fichier (csv, json, txt, format non décidé) dans lequel je peux laisser tomber quelques lignes de données. Un script python sera lancé sur cron toutes les 5 minutes et vérifiez le fichier s'il y a quelque chose de nouveau et s'il y en a, traitez-le et supprimez chaque ligne au fur et à mesure de son traitement.

J'essaie d'éviter une situation où j'ouvre le fichier, faire quelques changements et l'enregistrer alors que le processus est venu a saisi les données et vidé le fichier, mais mon sauver l'écrit avant.

Je pensais que le Le seul moyen de sécuriser ce processus est de le faire traiter dans un dossier et de rechercher de nouveaux fichiers, toutes les modifications seront supprimées dans un nouveau fichier. Il n'y a donc jamais de risque que cela se produise.

Y a-t-il un meilleur moyen, ou est-ce la meilleure approche?

Answer 1

Vous pouvez utiliser les étapes ci-dessous:

1. script Python qui fonctionne en Cron vérifiera si le fichier est ouvert par un autre processus. Sous Linux, cela peut être fait en utilisant lsof.
2. Si le fichier est ouvert, lorsque cron s'exécute, il ne traitera pas les données du fichier.
3. La même logique peut ajouter pour le script qui ajoutera des données au fichier, si le fichier est utilisé par d'autres scripts.

Answer 2

Vérifiez this answer to see if the file is already open et si elle est, attendez 5 minutes de plus jusqu'à ce que, ou dormir alternativement à l'intérieur et essayez à nouveau toutes les 10 secondes jusqu'à ce que cela fonctionne, mais pas plus de 4 minutes, par exemple:

for i in range(attempts): 
    if not fileInUse(): 
     processFile() 
    else: 
     time.sleep(10)