Donner au serveur spark thrift le chemin d'accès au répertoire de l'entrepôt

Question

J'ai configuré mon cluster spark et j'ai réussi à connecter Tableau via le connecteur Spark SQL.

J'ai créé mes tables à partir d'un shell spark et j'ai sauvegardé des dataframes depuis MySQL en utilisant (saveAsTable).

Comment puis-je accéder aux tables que j'ai enregistrées depuis Tableau? Dois-je indiquer le chemin du répertoire de l'entrepôt lors du démarrage du serveur d'épargne d'étincelles? Si oui, comment cela peut-il être fait et si non, comment cela peut-il être fait?

Answer 1

Assurez-vous que vous pointez sur le partage même Metastore pour étincelle shell et thriftserver

Metastore peut être 2 façons, en simples

1. À partir à la fois shell et épargne à partir du même emplacement
2. Configuration de la base de données distante pour le métastore

Vous pouvez passer la ruche confs Spark serveur Thrift avec --hiveconf et Spark confs avec --conf

./sbin/start-thriftserver.sh \ 
    --conf spark.sql.warehouse.dir=path/to/warehouse/dir \ 
    --hiveconf hive.server2.thrift.port=<listening-port> \ 
    --hiveconf hive.server2.thrift.bind.host=<listening-host> \ 
    --master <master-uri> 
    ...