Salut Je veux savoir comment copier des fichiers vers HDFS à partir du système de fichiers source (système de fichiers local), si le fichier source déjà copié vers HDFS, puis comment éliminer ou ignorer ce fichier à copier à nouveau dans HDFS en utilisant Talend.Talend problème lors de la copie de fichiers locaux à HDFS
Merci Venkat
Pour copier des fichiers du système de fichiers local à HDFS, vous devez utiliser tHDFSPut composants si vous avez pour les grandes données de Talend. Si vous utilisez Talend pour l'intégration de données, vous pouvez facilement utiliser le composant tSystem avec le droit command.
Pour éviter les fichiers en double, vous devez créer une table dans un SGBDR et garder une trace de tous les fichiers copiés. Chaque fois que le travail commence à copier un fichier, il doit vérifier s'il existe déjà dans la table.