Intégration Avro RPC/Storm

Question

J'ai un client Avro RPC existant qui envoie des données à un serveur Avro RPC. Le serveur Avro RPC écrit actuellement les données dans HDFS (et fait d'autres choses aussi). Nous modifions nos processus serveur pour qu'ils soient basés sur Storm. J'espère trouver un moyen facile d'obtenir mes données dans Storm, j'espère en utilisant les messages Avro RPC que j'ai maintenant.

J'ai cherché un moyen de le faire, mais sans succès. Storm a un modèle RPC, mais il semble se limiter à transmettre des chaînes, que je veux éviter (pourquoi je suis allé à Avro en premier lieu). Zeromq pourrait être une possibilité, mais semble limitée pour ce que j'essaie de faire.

Quelqu'un peut-il suggérer une manière élégante pour moi d'obtenir mon Avro RPC, données basées sur le schéma, dans la tempête ??

Merci!

Answer 1

alors ... nous n'avons pas trouvé de moyen de le faire directement ... mais la solution que nous avons trouvée était une procédure de rappel Storm qui demandait des données à Avro RPC. Donc, fondamentalement, nous avons changé la relation client/serveur. Ça semble bien fonctionner.