J'essaie de déterminer si l'intégration de Kinesis avec Spark Structured Streaming est stable. Le blog AWS Big Data n'a presque pas de blog parlant de Kinesis et Spark Structured Streaming. Aimerait savoir si l'un de vous avez essayé Spark Structured Streaming avec Kinesis? Si oui, l'avez-vous trouvé stable?Spark Structured Streaming Intégration avec Kinesis
Il n'y a pas de package pour utiliser kinesis comme source pour le streaming structuré. Databricks has it, mais il n'est pas sorti avec Spark. Il y a un third party integration, mais en tant que développeur met « Ceci est juste un prototype pour vérifier la faisabilité de l'intégration Kinesis »
Pour contourner ce problème et en fonction de vos besoins, vous pouvez créer une étincelle « bon vieux » en streaming/l'intégration de kinésis, et juste sortie les données dans un dossier. Ensuite, utilisez ce folder as source pour votre processus de streaming structuré.