2017-09-29 1 views
0

Lorsque nous exécutons bigfery transfert (youtube) de remplissage.comment fonctionne le remblai bigquery? at-il supprimé les anciens et réinsérer à nouveau?

Comment bigquery transfert backfill garantit-il qu'aucun enregistrement dupliqué n'est inséré?

Ce n'est pas une base de données que vous pourriez faire "si nouvelle insertion, si ancienne mise à jour". Bigquery transfert est supprimer et insérer, non?

Le renvoi de transfert bigquery supprime donc les anciennes données de la date de remplacement du renvoi, puis réinsère les données?

J'essaie de comprendre quand parfois je reçois zéro données, mais l'état de transfert est terminée.

Dans mes nombreux tests, il semble que les anciennes données n'ont pas été supprimées. Mais dans un test, j'ai vu les anciennes données ont été supprimées dans le remblai. (Je ne pourrais pas le re-produire cependant).

Répondre

1

Les remblais BigQuery DTS écrivent en effet des opérations tronquées (suppression et insertion). Il semble que vous ayez résolu votre propre question: deux transferts remplissant tous les deux la même table peuvent être à l'origine du problème.