Je travaille sur une solution analytique IoT qui consomme des messages au format Avro envoyés sur un Azure IoT Hub et qui utilise (espérons-le) Stream Analytics pour stocker des messages dans Data Lake et BLOB. Une exigence clé est que les conteneurs Avro doivent apparaître exactement les mêmes dans le stockage que lorsqu'ils ont été présentés au Hub IoT, pour le bénéfice des consommateurs en aval.Stream Analytics: Chemin de sortie dynamique basé sur la charge utile des messages
Je rencontre une limitation dans Stream Analytics avec un contrôle granulaire sur la création de fichiers individuels. Lors de la configuration d'un nouveau chemin de flux de sortie, je ne peux fournir que la date/jour et l'heure dans le préfixe de chemin, ce qui donne un fichier pour chaque heure au lieu d'un fichier pour chaque message reçu. Le client requiert des conteneurs blob séparés pour chaque périphérique et des blobs séparés pour chaque événement. De même, l'exigence Data Lake impose au moins une convention de dénomination saine qui est délimitée par le périphérique, avec des fichiers distincts pour chaque événement ingéré.
Est-ce que quelqu'un a configuré avec succès Stream Analytics pour créer un nouveau fichier chaque fois qu'il sort un message de l'entrée? Est-ce une limitation de produit difficile?
Merci Alexandre, c'est effectivement ce que nous avons fini par faire. Nous utilisons déjà des routes pour séparer les catégories de messages générales en fonction d'une propriété de type, mais cela aurait été un peu excessif avec des millions de cibles. Le client était prêt à se pencher sur l'ingestion initiale, nous allons donc directement au stockage, puis en tirant parti de l'ADF. –