Quelle est la bonne façon d'enregistrer des données en utilisant Apache Storm

Question

Donc, je suis en mesure d'enregistrer des données dans Solr en utilisant Apache Storm. Mais il semble que la même valeur soit sauvée plusieurs fois. Maintenant, je suis en train de passer en revue les liens, mais je ne peux pas aider quelqu'un à savoir quelle est la meilleure façon d'enregistrer des données en utilisant Apache Storm. J'utilise shufflegrouping.

Merci,

Cordialement

Parag Dharmadhikari

Answer 1

Fondamentalement, la tempête prend en charge "au moins une fois", pas "exactement une fois", donc la répétition des données est possible.

Mais cette répétition ne se produira pas sans raison, elle est généralement causée par une exception.

Vous devez voir s'il y a beaucoup de massages qui échouent dans l'interface Web de la tempête. Alors ce que vous devriez vérifier à propos de votre code contient: 1.Toute exception dans votre code? 2. Tous les messages sont-ils interceptés de la bonne façon? 3. Le processus est-il trop lent, ce qui provoque un dépassement de délai et fait échouer le message.

En outre, vous pouvez voir storm trident, il prend en charge la gestion "exactement une fois".

Answer 2

D'abord assurez-vous votre Solr index is using a unique ID. Pour votre situation, vous avez deux options:

• indiquer l'ID unique dans le Solr Documenter vous
• Have Solr générer un identifiant unique à l'aide de données dans le document Solr

La première est probablement le plus facile . Vous n'aurez probablement qu'à hacher votre entrée pour obtenir un identifiant unique et l'inclure dans le "document" que vous envoyez à Solr.