J'ai des fichiers de taille moyenne dans S3 (que j'ai obtenu à partir du DME) et chaque ligne a une clé et un objet que je voudrais mettre dans un seau séparé.Diviser les fichiers S3 ligne par ligne et mettre dans un autre seau
Y a-t-il un moyen d'implémenter cela en utilisant un pipeline de données?
Si vous souhaitez simplement copier ces données dans un autre compartiment s3, vous pouvez utiliser CopyActivity dans datapipeline pour ce faire. Votre pipeline aura un S3DataNode en entrée de CopyActivity et un S3DataNode en sortie. Vous pouvez commencer en essayant l'un des modèles disponibles dans la console AWS datapipeline et modifier votre pipeline pour avoir les objets que j'ai mentionnés ci-dessus.
Je ne veux pas simplement copier les fichiers, mais je veux séparer les fichiers ligne par ligne et les placer dans un compartiment séparé. pour e, g: si j'ai 1000 lignes dans le premier fichier, je les mettrai comme 1000 éléments dans un compartiment séparé. –