cluster standalone spark - problème de privilège lors de la création du fichier de sortie

Question

Je travaille avec un cluster spark standalone (plate-forme Linux et application python), en utilisant nfs pour partager des fichiers sur des machines maître et de travail. J'essaie avec une machine maître et un travailleur et capable de soumettre l'application, il s'exécute dans la machine de travail, mais il ne parvient pas à créer un fichier de sortie (en utilisant spark saveAsTextFile), renvoie erreur mkdir échoué. Dans les machines maître et machine, le répertoire nfs a la permission de créer et supprimer des fichiers et je peux le créer manuellement mais quand spark essaie de créer des fichiers dans ce répertoire, il crée les dossiers temporaires (_temporary et 0 dossiers) mais ne parvient pas à créer des fichiers pièce. J'ai essayé d'utiliser "chmod -R 777", mais il échoue toujours. Y a-t-il un moyen de le faire fonctionner?

Merci d'avance

Answer 1

Cela semble être un problème de privilège. Lorsque vous créez un répertoire NFS, vous devez fournir un privilège de répertoire à l'aide

nom d'utilisateur chown: chemin groupname du répertoire NFS

Ensuite, vous devez exécuter l'application d'allumage en utilisant l'utilisateur ou d'un groupe privilégié.

Si vous toujours face à cette question vous pouvez essayer ces

chemin du nom du groupe chgrp du répertoire NFS

Et puis essayer,

chmod 777 chemin du répertoire NFS

Cela pourrait fonctionner.

Tous les meilleurs