Hadoop, exécution de tâches

Question

Comment ajouter des tâches à hadoop par programme et les exécuter dans mon application Java? Des idées? Merci.

Answer 1

En java cela est assez facile:

Configuration conf = new Configuration(); 
Job job = new Job(conf); 
job.setJarByClass(YOUR_MAPPER.class); 
job.setMapperClass(YOUR_MAPPER.class); 
job.setReducerClass(YOUR_REDUCER.class); 
job.setOutputKeyClass(YOUR_OUTPUT_KEY.class); 
job.setOutputValueClass(YOUR_OUTPUT_VALUE.class); 
FileInputFormat.addInputPath(job, new Path("YOUR_INPUT_PATH")); 
FileOutputFormat.setOutputPath(job, new Path("YOUR_OUTPUT_PATH")); 
System.exit(job.waitForCompletion(true) ? 0 : 1); 

Si vous avez besoin de le soumettre à un cluster, vous devez ajouter ces valeurs à l'objet de configuration:

conf.set("fs.default.name", "hdfs://localhost:9000"); 
conf.set("mapred.job.tracker", "localhost:9001"); 

Vous devez remplacer les ports et hostname aux valeurs configurées dans le répertoire du cluster conf.