J'ai une table avec 1,6 milliard de lignes. J'ai couru une requête qui utilise un champ de groupe qui a plus de 5 millions de valeurs uniques, puis trier par somme d'une autre valeur entière dans l'ordre décroissant et finalement retourner seulement le top 10. Avis après plus d'une heure, cette requête est toujours coincé en état de marche.La requête de BigQuery est extrêmement lente
J'ai créé cette grande table en utilisant "bq cp -a". À l'origine, ces tables sources sont «bq cp» à partir de 1000 tables plus petites et chaque table a été chargée à partir de plus de 12 fichiers de chargement csv compressés.
J'ai cherché la question connexe et trouvé "Google BigQuery is running queries slowly" mentionner la lenteur causée par la fragmentation de beaucoup de petite ingestion. Est-ce que mon approche de l'infestion des données est considérée comme un "bit de données trop petit" pendant l'ingestion, ce qui a provoqué une fragmentation?
Est-il possible 5 millions de valeurs uniques est trop et c'est la cause première de la réponse lente?
Il a terminé après 2 heures et 10 minutes. Hproject id + jobid: atbflow: job_7c07ccb9417a4b34b241ffc2636e234c, heure de début: 21 mai 11:22:14, durée: 2:10:03, octets traités: 63015028495 –
Il semble que vous l'ayez exécuté pendant le ralentissement temporaire de la requête. Je viens de lancer votre requête et cela s'est terminé en 11 secondes. Pouvez-vous me faire savoir si vous voyez d'autres problèmes? –