Google Big Query - Tables partitionnées par date avec des données éventuelles

Question

Notre cas d'utilisation pour BigQuery est un peu unique. Je veux commencer à utiliser Date-Partitioned Tables mais nos données sont très nombreuses. Il n'est pas inséré quand il se produit, mais finalement quand il est fourni au serveur. Parfois, cela peut prendre des jours, voire des mois, avant que des données ne soient insérées. Ainsi, l'attribut _PARTITION_LOAD_TIME est inutile pour nous.

Ma question est là une manière que je peux spécifier la colonne qui agirait comme l'argument _PARTITION_LOAD_TIME et avoir toujours les avantages d'une table partitionnée par date? Si je pouvais l'émuler manuellement et mettre BigQuery à jour en conséquence, alors je peux commencer à utiliser les tables Date-Partitionnées.

Quelqu'un at-il une bonne solution ici?

Answer 1

Vous n'avez pas besoin de créer votre propre colonne.
La pseudo colonne _PARTITIONTIME fonctionne encore pour vous! Le seul que vous devez faire est d'insérer/charger le lot de données respectif dans la partition respective en référençant non seulement le nom de table mais plutôt la table avec le décorateur de partition - comme yourtable $ 20160718
De cette façon vous pouvez charger des données dans la partition à laquelle il appartient