Où les journaux Hive sont-ils générés par une défaillance du connecteur MongoDB Hadoop dans HDP Sandbox?

Question

Je suis confronté à une erreur étrange que je ne trouve pas dans les journaux de mon bac à sable Azure Hortonworks. J'essaye d'exécuter le suivant how-to pour essayer l'intégration de Mongodb avec Hadoop (Hive): https://www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-2-hive-example, mais quand j'essaye de créer une table dans Mongo avec Hive, j'obtiens l'erreur suivante (en utilisant la ruche CLI, beeline et Ambari vue Hive sur les deux processeurs MR2 et Tez):

Error: Error while processing statement: FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1) 

Eh bien, googler ce message que j'ai trouvé des gens citant des journaux java décrivant ce que la véritable exception, et de conclure (la plupart du temps) la mongodb-java- le pot de pilote manquait au classpath.

Ma première question: Où ces journaux décrivent-ils l'exception réelle? Parce qu'en regardant dans /var/log/hive*/*.log et Yarn ResourceManagerUI -> logs, je ne vois rien d'autre que "InterruptedException", "ERROR applicationhistoryservice.ApplicationHistoryServer (LogAdapter.java:error(69)) - SIGNAL REÇU 15: SIGTERM "et ainsi de suite ... Mais rien de vraiment utile. Ensuite, j'ai ajouté les jarres mongo-hadoop-core et mongo-hadoop-hive (construites à partir de github selon les spécifications de ma sandbox) ET la version 3.3.0 de mongodb-java-driver dans un chemin local, spécifié dans la section hive.aux.jars.path de la ruche-site.xml, et enfin redémarré mon service de ruche (donc, y compris hive-server2) ... Mais pas moyen d'obtenir ce travail, et aucun moyen d'obtenir plus d'informations à comprendre pourquoi il ne fonctionne pas ...

Est-ce que j'oublie quelque chose? Merci pour votre aide!

Answer 1

Eh bien, j'ai finalement trouvé quel était mon problème.

Les pots bson- $ MongoVersion .jar et MongoDB-pilote-core- $ MongoVersion .jar ont été portés disparus.

Même si la documentation du connecteur indique que nous devons inclure mongo-Hadoop-core- $ connectorVersion .jar, mongo-Hadoop-hive- $ connectorVersion .jar et MongoDB-chauffeur- $ mongoJavaDriver .jar au hadocket classpath, il semble qu'il ait besoin de bots et de bocaux mongodb-driver-core aussi.

Enfin, les journaux se trouvent ici: /var/log/hive/hiveserver2.log. Je ne comprends pas comment je pourrais manquer un tel message en lisant ces journaux, mais bon, le voilà.