J'utilise le streaming flink pour lire les données du fichier dans le magasin AzureDataLake.Est-il un connecteur disponible pour lire les données du fichier stocké dans Azure Data Lake en continu pendant que le fichier est mis à jour.Comment le faire?Comment lire le contenu du fichier dans AzureDataLake en continu dans le flink streaming?
Azure Data Lake Store (ADLS) prend en charge l'interface API REST compatible avec HDFS et documentée ici. https://docs.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis.
Actuellement, aucune API ou aucun connecteur disponible n'interroge ADLS et notifie/lit les données lorsque les fichiers/dossiers sont mis à jour. C'est quelque chose que vous pourriez implémenter dans un connecteur personnalisé en utilisant les API fournies ci-dessus. Votre connecteur doit interroger le compte/dossier ADLS de manière récurrente pour identifier les modifications.
Merci, Sachin Sheth Program Manager Azure données Lac