Création de fichiers journaux pour les entrées de table DB à l'aide du package SSIS

Question

J'ai une application qui, après avoir effectué l'analyse, insère des enregistrements dans une table. Il y a + - 30 millions d'enregistrements par jour et j'envoie généralement un rapport pour les totaux quotidiens à la fin de la journée. Maintenant, je suis obligé de créer des fichiers journaux toutes les quelques minutes ou secondes afin que nous puissions alimenter le nombre de nouveaux enregistrements insérés dans une application de flux de type syslog en temps réel qui affichera ces données en temps réel. Je ne suis pas sûr si je devrais écrire dans un fichier texte chaque fois que je fais une insertion ou devrais-je créer ces fichiers journaux depuis le serveur SQL pour cette table. Est-ce faisable? Je suis inquiet au sujet des frais généraux en écrivant à un dossier après chaque insertion. Tout conseil apprécié.

EDIT:

Je voulais mot la question un peu différemment. J'utilise déjà un paquet SSIS sql pour créer des fichiers journaux une fois par jour. Puis-je configurer les requêtes à exécuter toutes les 30 minutes environ et collecter tous les nouveaux enregistrements insérés depuis la dernière exécution?

J'ai dans la table 3/4 colonnes dont l'une est utilisée dans select, qui est la colonne dateAdded et les enregistrements sont regroupés selon cette colonne pour les rapports quotidiens.

Answer 1

Si vous pouviez résoudre le problème un peu différemment, ce serait beaucoup plus efficace.

Dans votre application où vous analysez les enregistrements et les insérez dans une table, vous pouvez ajouter quelques lignes de code qui incrémentent un compteur qui représente le nombre d'enregistrements insérés.

Ce compteur peut ensuite être affiché en temps réel sur une page Web de bureau/smartphone pour autant d'utilisateurs que le nombre d'utilisateurs intéressés. En fait, un graphique en temps réel de Count versus Time serait encore plus intéressant.

Dans quelle langue votre application est-elle écrite? Je suis peut-être en mesure de trouver une application de démonstration web en temps réel simple qui incrémente un nombre en temps réel en utilisant C/C++.