2017-10-12 11 views
1

J'ai donc un problème avec l'exécution de requêtes Presto via AWS EMR.AWS EMR Presto ne trouve pas les schémas Hive corrects à l'aide d'AWS Glue

J'ai lancé un système EMR qui exécute la ruche/presto et qui utilise AWS Glue comme métastore.

Lorsque je SSH dans le nœud maître et exécuter la ruche, je peux exécuter "show schemas;" et il me montre les 3 différentes bases de données que nous avons sur AWS Glue.

Si je puis entrez le CLI Presto et exécuter « schémas show sur la ruche » Je ne vois que deux « default » et « information_schema »

Pour la vie de moi je ne peux pas comprendre pourquoi presto ne peut pas voir les mêmes schémas de Hive.

Il s'agit d'un lancement de base de cluster par défaut sur EMR utilisant principalement les paramètres par défaut. Est-ce que quelqu'un peut me diriger dans la direction de ce que je devrais rechercher? J'ai vérifié le fichier hive.properties et ça a l'air bien, je ne sais pas pourquoi presto n'est pas capable de voir les mêmes infos que hive.

J'ai la configuration suivante définie

[{"classification":"hive-site", "properties":{"hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"}, "configurations":[]}] 

AWS docs http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html faire croire que cela devrait être plug and play, mais je suis évidemment manque quelque chose

Répondre

0

Malheureusement dès maintenant (octobre 2017) Un connecteur de catalogue de données AWS Glue n'est pas encore pris en charge par Presto.

Cela a été rapporté sur leur tracker de problème et on dirait que c'est un travail en cours, mais aucune idée de cela ne sera vraiment en production? et quand?

question Github se trouve here