Je souhaite supprimer les dossiers de partition qui datent de plus de N jours.Supprimer les dossiers de partitions dans les fichiers hdfs antérieurs à N jours
La commande ci-dessous donne les dossiers qui datent d'il y a exactement 50 jours. Je veux la liste de tous les dossiers qui sont à moins de 50 jours
hadoop fs -ls /data/publish/DMPD/VMCP/staging/tvmcpr_usr_prof/chgdt=`date --date '50 days ago' +\%Y-\%m-\%d`
Vous pouvez essayer avec solr hdfsfindtool:
hadoop jar /opt/cloudera/parcels/CDH/lib/solr/contrib/mr/search-mr-job.jar org.apache.solr.hadoop.HdfsFindTool -find /data/publish/DMPD/VMCP/staging/tvmcpr_usr_prof -mtime +50 | xargs hdfs dfs -rm -r -skipTrash
Il peut être fait avec un script bash
today=`date +'%s'`
hdfs dfs -ls /data/publish/DMPD/VMCP/staging/tvmcpr_usr_prof/ | grep "^d" | while read line ; do
dir_date=$(echo ${line} | awk '{print $6}')
difference=$(((${today} - $(date -d ${dir_date} +%s))/(24*60*60)))
filePath=$(echo ${line} | awk '{print $8}')
if [ ${difference} -lt 50 ]; then
echo "${filepath}"
fi
done