Comment obtenir la version HDFS et YARN par programme?

Question

J'écris un programme spark qui télécharge différents jars de maven en fonction de l'environnement sur lequel il s'exécute, chacun pour une version différente de la distribution Hadoop (par exemple CDH, HDP, MapR). Ceci est nécessaire car certaines API de bas niveau de HDFS et YARN ne sont pas partagées entre ces distributions. Cependant, je ne trouve aucune API publique de HDFS et YARN qui indique leur version.

Est-il possible de le faire uniquement en Java? Ou je dois exécuter un shell externe pour le savoir?

Answer 1

En Java, org.apache.hadoop.util.VersionInfo.getVersion() doit fonctionner.

https://hadoop.apache.org/docs/current/api/org/apache/hadoop/util/VersionInfo.html

Pour les CLIs, vous pouvez utiliser:

$ hadoop version 
$ hdfs version 
$ yarn version