vitesse BigQuery - temps de __SHUFFLE1_REPARTITION0

Question

J'essaie de comprendre pourquoi une requête BigQuery prend tellement de temps.

Il ya quelques messages sur l'interprétation de la sortie de Explanation, mais n'a rien trouvé pour vous aider à comprendre ce qui se passe dans ce cas.

Vous ne savez pas pourquoi lire depuis __PSRC___SHUFFLE2_0 et écrire au __SHUFFLE2_REPARTITION0 prendrait tellement de temps? Est-ce repartitionnement par une nouvelle clé? (Bien que l'étape précédente, 13, a également été écrit par HASH($290)

Cela prend actuellement environ 200s sur un échantillon de nos données, dont 70% est consacré à cette étape.

(je ne peux pas poster toute requête ici, si je pouvais poster une version expurgée si utile.)

Answer 1

Évitez Exploding rejoint.

Sans beaucoup plus Contex t, je ne peux pas dire ce qui se passe, mais le stade 2 et 5 sont intéressants:

• Etape 2 va de 2M lignes à 7M
• Etape 5 obtient 10 M lignes avec une sortie de 140M.

je soupçonne que rejoint explosant. Quelle est la taille de la taille des données interrogées?

Sans données supplémentaires, je vais dire que je suis heureux que BigQuery peut gérer l'explosion des jointures comme celles-ci, mais je ne voudrais pas attendre des requêtes extrêmement rapides lorsque vous faites exploser les jointures.

Pour un exemple concret de l'explosion se joint, jetez un oeil à https://stackoverflow.com/a/46533335/132438.