Déduplication/correspondance dans Couchdb?

Question

J'ai des documents dans couchdb. Le schéma ressemble ci-dessous:

userId 
email 
personal_blog_url 
telephone 

Je suppose que deux utilisateurs sont en fait la même personne aussi longtemps qu'ils ont

• email ou
• personal_blog_url ou
• téléphone

être identique.

J'ai 3 vues créé, qui associe essentiellement un email/BLOG_URL/téléphone UserIds et combine ensuite les UserIds dans le groupe sous la même clé, par exemple,

_view/by_email: 
---------------------------------- 
key     values  
a_email@gmail.com [123, 345] 
b_email@gmail.com [23, 45, 333] 

_view/by_blog_url: 
---------------------------------- 
key     values  
http://myblog.com [23, 45] 
http://mysite.com/ss [2, 123, 345] 

_view/by_telephone: 
---------------------------------- 
key     values  
232-932-9088   [2, 123] 
000-111-9999   [45, 1234] 
999-999-0000   [1] 

Mes questions:

• Comment puis-je fusionner les résultats des 3 vues différentes dans une table/vue utilisateur finale qui ne contient aucun doublon?
• Ou est-ce une bonne pratique de faire une telle déduplication dans couchdb?
• Ou ce qui serait un bon moyen de faire une déduplication dans un canapé alors?

ps. dans la vue de face, supposons que pour tous les dupes, nous gardons seulement le plus petit userId.

Merci.

Answer 1

Bonne question.Peut-être que vous pourriez écouter _changes et rechercher les champs que vous voulez être unique pour l'utilisateur réel dans les vues que vous avez suggéré (by_*).

• Fusionner les vues dans un (champs émettront différents dans une carte):

  fonction

  (doc) { if (!!! Doc.email || || doc.personal_blog_url doc.telephone) revenir; emit ([1, doc.email], [id.doc]); emit ([2, doc.personal_blog_url], [id.doc]); emit ([3, doc.téléphone], [id.doc]); }

• fusionner les listes de id dans

réduisent

• Lorsque le nouveau document dans les changements arrive nourrir, vous pouvez interroger la vue avec keys=[[1, email], [2, personal_blog_url], ...] et fusionner les trois listes. Si son ID minimal est inférieur au document modifié, mettez à jour le champ realId, sinon mettez à jour les documents de la liste avec l'ID modifié.

Je suggère d'utiliser un document différent pour stocker { userId, realId } relation.

Answer 2

Vous ne pouvez pas créer de nouveaux documents en utilisant simplement une vue. Vous auriez besoin d'une tâche quelconque pour effectuer la fusion.

Voici une idée.

Au lieu de créer 3 vues, vous pouvez créer un point de vue (qui indexe les données si elle existe):

Key        Values 
---        ------ 
[userId, 'phone']    777-555-1212 
[userId, 'email']    username@example.com 
[userId, 'url']     favorite.url.example.com 

Je ne stocker quoi que ce soit d'autre que la valeur brute, comme vous finiriez avec beaucoup de duplication inutile des données (si vous avez stocké l'objet complet par exemple).

Puis, à interroger, vous pourriez faire quelque chose comme:

...startkey=[userId]&endkey=[userId,{}] 

qui vous donnera toutes les informations en double comme une série de documents pour cet utilisateur Id. Vous auriez toujours besoin de l'analyser pour voir s'il y avait des doublons. Mais, de cette façon, les résultats seraient bien fusionnés en un seul appel CouchDB.

Here's Un bel exemple d'utilisation de tableaux comme clés sur StackOverflow.

Vous auriez probablement encore chargé le document "utilisateur" d'origine s'il avait d'autres données qui ne faisaient pas partie du processus de déduplication.

Une fois découvert, vous pouvez envisager de nettoyer les données à la volée et d'empêcher la création de nouveaux doublons lorsque de nouvelles données sont entrées dans votre application.