décompression énorme fichier gzip json provoquant une erreur de mémoire en python

Question

J'ai le problème suivant. Je travaille avec une petite machine avec peu de mémoire (1 Go). mon programme télécharger un énorme fichier gzip à partir d'une URL. Et je dois décompresser à dict Je sais avec certitude que le fichier est au format json. Mon problème est que quand je lance la commande suivante je suis une erreur de mémoire :

data = zlib.decompress(url, 16 + zlib.MAX_WBITS).decode('utf8') 
results_list.append(json.loads(data)) 

maintenant pour les petits fichiers, cela fonctionne très bien, mais pour les grands que je suis l'erreur. mon intuition me dit que je devrais diviser le fichier en morceaux, mais parce que je m'attends à un fichier json, je ne pourrai pas restaurer les morceaux en json (car chaque partie ne sera pas une chaîne json valide).

que dois-je faire?

Merci beaucoup!

Answer 1

Créer un objet de décompression en utilisant z=zlib.decompressobj(), puis faire z.decompress(some_compressed_data, max), qui retournera pas plus de max octets de données non compressées. Vous appelez ensuite à nouveau avec z.decompress(z.unconsumed_tail, max) jusqu'à ce que le reste de some_compressed_data soit consommé, puis alimentez plus de données compressées.

Vous devrez ensuite pouvoir traiter les données non compressées résultantes en un morceau à la fois.