0

Je souhaite recevoir des messages de Solace files d'attente et je veux les stocker dans des magasins de données tels que Hbase/HDFS via Apache Storm.Comment intégrer Apache Storm à Solace Message pour recevoir des messages de Solace .. tout comme l'intégration d'étincelles

Solace a publié integration guide pour configurer un récepteur personnalisé qui stockera les messages dans Spark en mémoire. D'autres integration guides étaient également disponibles, à l'exception de l'intégration avec Apache Storm.

Je ne sais pas si c'est possible ou non. Si tel est le cas, Quelqu'un peut-il donner des conseils sur le même (si ce n'est consoler un autre fournisseur de messagerie) si elles l'ont déjà fait?

+0

Pourquoi via Storm? Flume peut faire ce que vous voulez écrire sur Hbase/HDFS –

+0

Nous avons déjà utilisé Flume. avec Hbase - AsyncHbaseSink qui fonctionnait bien. Je sais que cela peut être réalisé avec Flume. Nous avons également essayé avec Spark Streaming avec consolation, son fonctionnement bien. Cette question est spécifique à Storm pour tester si elle fonctionne ou pas. Nous essayons de meilleurs outils et techniques –

Répondre

2

En regardant la documentation d'Apache Storm, il y a deux façons d'y parvenir.

  1. Intégrer via MQTT - https://storm.apache.org/releases/1.0.0/storm-mqtt.html
  2. Intégrer via JMS - https://github.com/ptgoetz/storm-jms

    Le projet de tempête fournit un SpringJmsProvider où vous pouvez utiliser le framework Spring (qui Solace a un guide d'intégration) pour rechercher un ConnectionFactory et Destination.

    Vous pouvez également implémenter votre propre org.apache.storm.jms.JmsProvider pour fournir un ConnectionFactory et un Destination sans Spring Framework.