J'ai lu que le premier morceau peut être 256 Mo et chaque morceau supplémentaire ne peut être que 4 Mo?Quelle est la taille de fichier maximale pouvant être transmise à Azure Data Lake Store à l'aide de l'API REST?
Quelqu'un peut-il confirmer ou infirmer cela?
https://docs.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis
Grâce à l'API REST, vous pouvez transférer des fichiers de toute taille. La méthode préférée consiste à utiliser un CREATE suivi d'un certain nombre d'appels APPEND. La taille recommandée pour chaque transfert est de 4 Mo ou moins.
Il est également possible, bien que cela ne soit pas recommandé, de transférer un segment plus volumineux dans un seul appel API REST. Vous devez utiliser Transfer-Encoding réglé sur Chunked dans ce mode. Voir ici: https://en.wikipedia.org/wiki/Chunked_transfer_encoding. Cependant, il y a quelques nuances de l'utiliser. Tout segment individuel de l'appel peut échouer. Vous devrez identifier à quel moment le transfert global a échoué dans ce cas. Les blocs de plus de 4 Mo ne sont pas garantis non plus atomiquement.