Comment utiliser s3distcp pour sélectionner des plages de dates?

Question

J'ai des journaux qui ressemblent à ci-dessous dans s3 avec un horodatage dans le nom. Je veux utiliser s3distcp pour obtenir des données dans EMR afin que je puisse utiliser hive.

https://s3.amazonaws.com/mybucket/test/201305031003_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031004_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031005_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031006_0_ubuntu.gz 

Comment utiliser s3distcp pour sélectionner une plage de dates? Par exemple. de 201303031003 à 201305031003? Il s'agit d'une différence de deux mois

Answer 1

Vous pouvez utiliser --srcPattern s3distcp option pour spécifier une expression régulière afin de sélectionner uniquement les mois que vous souhaitez copier.