2010-12-13 4 views
2

Nous développons une application web de base de données plus grande avec Perl Catalyst et PostgreSQL sous Linux. Les utilisateurs peuvent se connecter et télécharger et télécharger des fichiers de données (mesures scientifiques).Comment mettre en œuvre des statistiques à long terme et un journal de courte durée?

Je me demande comment implémenter un système de journalisation/statistique.

  1. Nous devons voir les tendances générales d'accès, et que vous souhaitez analyser le trafic causé par certains utilisateurs/IP et obtenir les numéros d'accès pour certains fichiers ou sujets. Je pensais à quelque chose comme RRDtool pour implémenter ceci ou écrire les nombres totaux à une autre table de base de données. Je serais heureux d'obtenir des graphiques visuels à partir des données d'accès :-)

  2. De plus, nous avons besoin d'analyser l'activité au cours des derniers jours en détail. Si des problèmes ou des attaques se sont produits, ils doivent être compris et annulés. IMO ceci a besoin d'un journal d'action dans une table de base de données.

Pouvez-vous me donner de l'inspiration sur la façon de mettre en œuvre ces choses? J'aimerais utiliser le même système pour la journalisation et les statistiques à long terme. Peut-être que nous pouvons accumuler des données de journal après une période de par ex. 7 jours. Ce n'est pas que je ne savais pas comment le faire, mais j'aimerais entendre l'opinion de quelqu'un d'autre.

Les indications sur les modules CPAN utiles sont appréciées. Nous connaissons et utilisons déjà log4perl mais c'est un peu trop détaillé pour le stocker pendant ~ 7 jours ...

+0

Malheureusement, pas un module CPAN mais au travail, nous avons ajouté l'audit à l'une de nos applications Web sous la forme d'un plugin DBIx :: Class. Essentiellement, chaque action (de toute façon importante) qui affecte les données est enregistrée par l'utilisateur et avant et après les données. Peut ne pas être si utile pour les téléchargements mais pourrait être quelque chose à considérer. –

Répondre

0

En fait, je pense que vous avez répondu vous-même, RRDTool est assez bon pour long terme, je l'utilise pour 1/2hr lectures automatiques des compteurs pour un système de chaudière communal, avec une fenêtre de 3 ans. Bons graphiques aussi.

Cependant, je suppose que tout cela fonctionne sous un serveur Web et que les téléchargements et les téléchargements génèrent [par exemple] des entrées de fichier journal Apache, alors vous avez beaucoup d'options avec ceci: http://httpd.apache.org/docs/current/mod/mod_log_config.html.

Cela signifie que vous pouvez utiliser Webalizer pour les rapports « de routine » et écrire à rouler propre pour le détail, en commençant peut-être de: http://search.cpan.org/~ulpfr/Logfile-0.302/Logfile.pod

Espoir qui est un peu utile, il est une vaste question générale bien que.

Questions connexes