Diffusez des données dans Google BigQuery en utilisant la méthode GET?

Question

J'ai besoin d'une bonne solution, de préférence existante, telle que Google Rest API, pour que les données soient diffusées/insérées dans BigQuery. Je ne veux pas utiliser la méthode POST pour envoyer des données - pour de nombreuses raisons de conception. J'attends 1000s d'écrit par secondes. Les données seront ajoutées dans les paramètres de requête de l'URL. C'est très similaire à ce que Google Analytics fait, en envoyant des données analytiques en utilisant la méthode Get.

Answer 1

Les fonctions de cloud Google (GCF) ont résolu le problème. GCF est toujours en version bêta mais la plupart des produits google sont de toute façon en version bêta. GCF est sans serveur et on peut écrire des déclencheurs http dans quelques lignes de codes. Pour plus d'informations visitez ->https://console.cloud.google.com/functions

Answer 2

ont ici un cadeau:

http://dmitriilin.com/exporting-data-google-analytics-google-bigquery/ https://github.com/lnklnklnk/ga-bq

Si vous avez une question supplémentaire me demandez, je travaille avec cette solution.

Answer 3

Je pourrais également vous encourager à utiliser quelque chose comme un pipeline de flux de données Dataflow pour gérer ces insertions, plutôt que d'appeler l'API directement.