Hadoop Java - copie de fichiers de partage Windows serveur de dossiers à HDFS

Question

Je veux télécharger plusieurs fichiers depuis un serveur de dossier de partage de Windows (par exemple // nom_serveur/dossier /) à mon HDFS en utilisant Java

liste des méthodes I ont essayé

• org.apache.hadoop.fs.FileUtil Définir le chemin d'entrée = // nom_serveur/dossier/ il dit java.io.FileNotFoundException: fichier // nom_serveur/dossier/n'existe pas

• FileSystem.copyFromLocalFile (je pense que cela est du serveur Hadoop local serveur HDFS)

• IOUtils.copyBytes même que le fichier FileUtil >> n'existe pas

• simple File.renameTo même que FileUtil >> fichier n'existe pas

  Chaîne source_path = "\\ nom_serveur \ dossier \ xxx.txt";

  cordes hdfs_path = "hdfs: // HADOOP_SERVER_NAME: Port/monfichier/xxx.txt";

  Fichier srcFile = nouveau Fichier (chemin_source);

  Fichier dstFile = new File (hdfs_path);

  srcFile.renameTo (dstFile);

Dois-je créer un FTP ou utiliser FTPFileSystem?

Ou quelqu'un a une meilleure solution ou Exemple de code

vous remercie

Answer 1

FileSystem méthode a copyFromLocal:

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem; 

Configuration configuration = new Configuration(); 
configuration.set("fs.defaultFS", "hdfs://abc:9000"); 

FileSystem fs= FileSystem.get(configuration); 
fs.copyFromLocalFile(new Path("/source/directory/"), 
    new Path("/user/hadoop/dir"));