Comment la mémoire est-elle gérée dans une exécution distribuée dans Apache Flink?

Question

Nous développons une application de traitement de flux de données basée sur Apache Flink dans Java 8. Nous devons maintenir une liste complète d'états des objets dont les caractéristiques sont mises à jour toutes les dix secondes via un flux source. Par caractéristiques, nous devons utiliser, si possible, pas de stockage distribué. Donc, ma question concerne le gestionnaire de mémoire de Flink: dans une configuration en cluster, est-ce qu'il réplique la mémoire utilisée par un gestionnaire de tâches? Ou est-il possible d'utiliser une solution en mémoire distribuée avec Flink?

Answer 1

Jetez un oeil à Flink state. De cette façon, vous pouvez le stocker dans l'état Flink qui sera intégré avec des mécanismes internes tels que checkpointing/savepointing etc.

Si vous avez besoin de l'interroger en externe à partir d'autres services, un queryable state peut être un bon ajout.