Quelle stratégie/technologie dois-je utiliser pour ce type de réplication?

Question

Je suis actuellement confronté à un problème qui ne permet pas encore de trouver une bonne solution, alors j'espère obtenir des conseils de votre part.

Mon problème comme dans l'image

de base est la base de données où tous les clients se connectent à la gestion des données en direct qui est vraiment très grand et occupé tout le temps. La base de données d'entité n'est pas utilisée si souvent mais elle a besoin d'une partie de données en direct (peut-être 5%) de la base de données de noyau, mais la tâche de demande à ce serveur prendra plus de temps.

Quelle est ma solution actuelle:

1. J'utilise la réplication de base de données entre la base de données de base & Base de données de fonction, il fonctionne très bien. Mais le problème est que je gaspille beaucoup d'espace disque pour stocker des données indésirables. (Filtrage lorsque les données répliquées ne fonctionnent pas avec le schéma de ma base de données)

2. L'utilisation du système de mise en file d'attente ne permet pas de mettre à jour les données à temps, car la base de données principale fait l'objet de nombreuses demandes.

S'il vous plaît suggérer une idée si vous avez rencontré ce?

Merci,

Pang

Answer 1

Qu'est-ce que vous définissez est une tâche d'intégration de données classique. Vous pouvez utiliser n'importe quel outil d'intégration de données pour extraire des données de votre base de données principale et les charger dans la base de données sélectionnée. Vous pouvez planifier vos travaux d'intégration de données de temps réel à n'importe quelle période.

J'ai utilisé Talend dans mon projet semi-scientifique d'intégration de base de données PostgreSQL de 10 Go. Cela a fonctionné à merveille.

Vous pouvez également essayer SQL Server Integration Services (SSIS). Cet outil est très puissant aussi. Il fonctionne avec tous les SGBDR haut de gamme.

Answer 2

Si tout ce dont vous vous souciez est l'espace disque, je m'en tiendrai à la solution que vous avez maintenant. 100 Go d'espace disque est inférieur à un dollar, ces jours-ci - pour cet argent, vous ne pouvez pas vraiment se permettre d'apporter une nouvelle solution dans le système. Logiquement, il est également nécessaire de conserver le filtrage dans la même application. Garder la responsabilité de savoir quels enregistrements sont pertinents à l'intérieur de l'application plutôt que dans une couche d'intégration mystérieuse réduira la complexité globale de la solution. N'acceptez la complexité supplémentaire d'une couche d'intégration spéciale que si vous en avez réellement besoin.