Obtenir/définir l'ID de travail BigQuery lors de l'exécution de BigQueryIO.write()

Question

Est-il possible de définir BigQuery JobID ou de l'obtenir pendant l'exécution du pipeline de traitement par lots?
Je sais que c'est possible avec l'API BigQuery, mais est-ce possible si j'utilise BigQueryIO d'Apache Beam? Je dois envoyer un accusé de réception après avoir écrit à BigQuery que le chargement est terminé.

Answer 1

Actuellement, ce n'est pas possible. Il est compliqué par le fait qu'un seul BigQueryIO.write() peut utiliser beaucoup de travaux BigQuery sous le capot (ie BigQueryIO.write() est une API polyvalente pour l'écriture de données dans BigQuery, plutôt qu'une API pour travailler avec un seul travail de chargement BigQuery spécifique), par exemple:

• Si la quantité de données à charger est plus grande que les limites BigQuery pour une seule tâche de charge, BigQueryIO.write() se shard dans plusieurs tâches de charge.
• Si vous utilisez l'une des méthodes d'écriture dépendant de la destination (par exemple DynamicDestinations) et que vous chargez plusieurs tables en même temps, il y aura au moins un travail de chargement par table.
• Si vous écrivez un PCollection non borné en utilisant la méthode BATCH_LOADS, il émettra périodiquement des travaux de chargement pour les données nouvellement arrivées, sous réserve des remarques ci-dessus.
• Si vous utilisez la méthode STREAMING_INSERTS (il est autorisé à l'utiliser même si vous écrivez un PCollection), il n'y aura aucun travail de chargement.

Vous aurez besoin d'utiliser l'une des solutions de contournement typiques pour "faire quelque chose après que quelque chose d'autre soit fait", qui est, par exemple. attendez que le pipeline entier soit terminé en utilisant pipeline.run().waitUntilFinish() dans votre programme principal, puis effectuez votre deuxième action.