Comment configurer Presto

J'ai installé presto sur mon cluster afin d'effectuer certaines requêtes. J'ai 4 nœuds avec 16 Go de RAM. J'ai suivi les étapes dans la configuration de presto mais quand j'ai couru une requête cela prend une éternité, beaucoup plus de temps que la même requête sur Hive. Donc je pense que j'ai quelque chose de mal dans mes configurations.Comment configurer Presto

Je pense peut-être que j'ai les mauvaises valeurs sur mon fichier node.properties dans les propriétés query.max-memory et query.max-memory-per-node. Quelles sont les valeurs correctes pour ces propriétés en tenant compte du fait que j'ai 16 Go de RAM dans chaque nœud?

Merci

Source

2017-10-17 Mário Rodrigues

Vous avez trouvé les propriétés correctes, vous devrez peut-être modifier. Mais il n'y a pas de valeur "correcte" ... Cela dépend vraiment de vos requêtes data +. Pourriez-vous fournir un résumé général de l'ensemble de données et des types de requêtes que vous exécutez?

Source

2017-10-18 16:45:54

Dans ce moment, je voulais exécuter certains de l'analyse comparative TPC-DS –

quel facteur d'échelle utilisez-vous? Avez-vous quelques exemples de requêtes qui ne fonctionnent pas comme prévu? Ou est-ce tout? –

im en utilisant 10, 30, 50 et 100GBm afin d'effectuer un benchmark ... le cas le plus critique que j'ai est requête 95 ... qui im seulement capable de fonctionner sur le facteur d'échelle de 10 Go (https: // github .com/hortonworks/hive-testbench/blob/hive14/sample-queries-tpcds/query95.sql) les autres tuent tous les travailleurs lors de l'exécution de la requête –

Comment configurer Presto

Répondre

Questions connexes