Sélectionnez parquet selon la date de partition

Question

J'ai quelques bûches lourdes sur mon groupe, je l'ai parqueté tous avec le schéma de partition suivante:

PARTITION_YEAR=2017/PARTITION_MONTH=07/PARTITION_DAY=12 

Par exemple, si je veux tout sélectionner mon journal entre 2017/07/12 et 2017/08/10 y a-t-il un moyen de le faire efficacement? Ou dois-je faire une boucle tous les jours pour lire les partitions une par une?

Merci,

Answer 1

Vous pouvez utiliser des expressions régulières lorsque le chargement des fichiers dans pyspark:

input_path = "PARTITION_YEAR=2017/PARTITION_MONTH=0{7/PARTITION_DAY={1[2-9],[2-3]*},8/PARTITION_DAY={0[1-9],10}}" 
df = spark.read.parquet(input_path) 

Vous pouvez également générer une liste de chemins séparés par des virgules:

input_path = ",".join(["PARTITION_YEAR=2017/PARTITION_MONTH=07/PARTITION_DAY=" + str(x) for x in range(12, 32)]) \ 
+ ",".join(["PARTITION_YEAR=2017/PARTITION_MONTH=08/PARTITION_DAY=" + str(x) for x in range(1, 11)]) 

ou à l'aide dates:

import datetime as dt 
d1 = dt.date(2017,7,12) 
d2 = dt.date(2017,8,10) 

date_list = [d1 + dt.timedelta(days=x) for x in range(0, (d2 - d1).days + 1)] 
input_path = ",".join(["PARTITION_YEAR=2017/PARTITION_MONTH=%02d/PARTITION_DAY=%02d" % (d.month, d.day) for d in date_list])