Je dois sauvegarder mes fichiers de point de contrôle Spark Streaming dans un répertoire HDFS. Je peux accéder à un cluster distant sur lequel MAPR est installé.Répertoire HDFS sur un cluster MAPR
Mais, je ne suis pas sûr sur quel chemin MAPR indiquant un répertoire HDFS
est-il opt/mapr/..?
Lorsque vous êtes connecté à votre cluster de MapR vous pouvez exécuter la commande suivante:
hadoop fs -ls/
Cette liste de volonté, comme à l'intérieur toute HDFS grappe la liste des fichiers/dossiers, de sorte que vous voyez ici quelque chose de spécial.
Donc, si votre travail Spark est en cours d'exécution sur le cluster MapR il vous suffit de pointer vers le dossier de votre choix, par exemple:
yourRdd.saveAsTextFile("/apps/output");
Vous pouvez faire exactement la même chose de votre environnement de développement, mais vous devez installer et configurer le MapR-Client
Notez que vous pouvez également accéder à MapR système de fichiers (FS) en utilisant NFS, qui devrait fonctionner sur votre cluster, par défaut, le point de montage est/MAPR
Ainsi, vous pouvez voir le contenu de votre FS en utilisant:
cd /mapr/you-cluster-name/apps/output
/mapr/opt est le dossier qui contient le produit MapR installé. Donc, si vous regardez d'un point de vue pur Spark: rien ne change simplement enregistrer/lire les données d'un dossier, si vous courez dans MapR, cela se fera dans MapR-FS.