Requête Hive dans Shell Script

Question

J'ai une table de ruche externe sur un fichier de parquet. CREATE TABLE EXTERNE parquet_test COMME avro_test STOCKED AS PARQUET LOCATION 'hdfs: // myParquetFilesPath'; Je veux obtenir le nombre de tables en utilisant un script shell.

J'ai essayé avec commande suivante

myVar =$(hive -S -e " select count(*) from parquet_test;") 
echo $myVar 

Ajouté S pour lancer la ruche en mode silencieux encore que je reçois carte entière et réduire log compte dans la variable myVar. Comment obtenir seulement compte.

Je n'ai accès à aucun fichier de configuration pour activer ou désactiver le niveau de journalisation. Est-ce qu'il y a un autre moyen?

Answer 1

Enfin trouvé un travail autour. Tout d'abord vider le résultat de la requête dans un fichier dans HDFS puis lire la réponse du fichier. Le fichier contient uniquement le résultat de la requête.

(hive -S -e " INSERT OVERWRITE LOCAL DIRECTORY '/home/test/result/' 
    ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select count(*) from parquet_test;") 

lire ensuite le fichier dans une variable

Count var=$(hdfs dfs -tail /home/test/result/) 
echo $var 

Merci

Answer 2

myVar=$(eval "hive -S -e 'select count(*) from parquet_test;' ") 

echo $myVar