2017-06-06 2 views
1

Nous avons déjà Move-AzureRmDataLakeStoreItem qui va déplacer les fichiers entre les dossiers à l'intérieur d'Azure datalake. Ce que je cherche est de copier des fichiers dans le datalake sans affecter le fichier original.Comment nous pouvons copier n'importe quel fichier dans les dossiers Azure Data Lake Store

Les possibilités que je connais sont-

  1. utilisant USQL à EXTRACT données de sourcefile puis OUTPUT au destinationfile - mais je suis en train de copier toutes sortes de fichiers (.gz, txt .INFO , .exe, .msi) et je ne sais pas si USQL peut me aider avec Gz ou des fichiers .exe ou .msi
  2. en utilisant Data Factory pour copier des données de/vers Data Lake store

Alors, ma question ici est de savoir si nous avons autre chose à notre disposition avec laquelle nous pouvons effectuer une copie des fichiers dans Azure Data Lake Store?

+0

Une autre approche à considérer est, peut-être ne pas copier autant vos fichiers? Vous pouvez placer vos données dans votre zone "brute" ou zone de transit, puis toutes les versions supplémentaires de ce fichier doivent être affinées, agrégées, nettoyées, augmentées ou traitées d'une manière ou d'une autre, et non des doublons. – wBob

Répondre

3

Vous avez deux autres options,

  1. run distcp sur un cluster de HDI - similaires aux instructions fournies ici. https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-wasb-distcp
  2. utilisation adlcopy si vous copiez quantité limitée de données (10-100 disant de de GB) - https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob

Est-ce s'il vous plaît suffire? Ou voulez-vous quelque chose supporté nativement par Azure Data Lake Store via ses API REST?

Merci, Sachin Sheth Gestionnaire de programmes, Azure Data Lake.

+0

Merci @Sachin - laissez-moi juste parcourir les articles et explorer les possibilités. Je pourrais vous renvoyer si j'ai besoin de plus d'informations à ce sujet, si cela vous convient :) – Abhishek