Spark avec répliquées Cassandra nœuds

Question

Je trouve l'article où des conseils de l'auteur à utiliser suivant le schéma d'architecture Spark-Cassandra (Spark Slave pour chaque nœud Cassandra):

Je noeuds N Cassandra. Tous les nœuds sont des réplicas complets les uns des autres. Y a-t-il un sens à exécuter un esclave Spark pour chaque nœud Cassandra dans mon cas?

Answer 1

Oui, c'est le cas. Le connecteur Spark-Cassandra est sensible à la localité de données, c'est-à-dire que chaque nœud Spark co-localisé avec un nœud Cassandra veillera à traiter uniquement les données Cassandra locales, ce qui évite de mélanger beaucoup de données sur le réseau. Vous pouvez découvrir comment cela fonctionne en regardant une discussion par Russell Spitzer sur ce sujet here.