Je sais, joindre entre deux flux n'est pas encore pris en charge. Mais il y a un moyen de le faire quand même? Ou je dois attendre Spark 2.2.0? MerciComment faire la jointure entre deux flux sur le streaming structuré de Spark? - Java 8
Spark 2.2.0 ne prend toujours pas en charge la jointure flux-flux. Vous pouvez regarder ce billet: https://issues.apache.org/jira/browse/SPARK-18791
sera-t-il disponible en 2.3? – user1870400
Oui. 2.3 le soutiendra. – zsxwing
Salut! Je jouais juste avec la jointure stream-stream de spark 2.3 RC4. D'une manière ou d'une autre, je ne pouvais pas me joindre facilement à la diffusion de données facilement. et je ne suis pas sûr pourquoi .. Il pourrait être ma syntaxe mais je ne suis pas sûr..plus de détails ici https://stackoverflow.com/questions/48900127/how-to-do-a-self-join-in-spark -2-3-0-what-is-the-correcte-syntaxe serait génial si vous pouvez aider sur celui-ci !! – user1870400
Je vous recommande d'utiliser Kafka Streams plutôt que Spark structuré en streaming si vous voulez rejoindre les flux .. check this link to see how this can be done
Merci, mais j'ai déjà utilisé Kafka Streams. Je veux essayer quelques moteurs de streaming différents pour une raison spécifique: D –
partir de la version de production de Spark 2.3, stream-stream joins sont maintenant pris en charge en streaming structuré .
Avez-vous trouvé un moyen de le faire avec le streaming structuré? – vkr