Nombre d'événements regroupés par date en python?

Question

Ceci est sans doute une autre question noobish, mais je vais le demander de toute façon:

J'ai un ensemble de données d'événements avec datetime exacte en UTC. Je voudrais créer un graphique linéaire montrant le nombre total d'événements par jour (date) dans la plage de dates spécifiée. À l'heure actuelle, je peux récupérer le jeu de données complet pour la période de temps nécessaire, mais je dois ensuite passer en revue et compter pour chaque date.

L'application fonctionne sur google app engine et utilise python. Quelle est la meilleure façon de créer un nouvel ensemble de données montrant la date et les nombres correspondants (y compris s'il n'y avait aucun événement à cette date) que je peux utiliser pour transmettre cette information à un modèle django?

ensemble de données pour cet exemple ressemble à ceci:

class Event(db.Model): 
    event_name = db.StringProperty() 
    doe = db.DateTimeProperty() 
    dlu = db.DateTimeProperty() 
    user = db.UserProperty() 

Idéalement, je veux quelque chose avec la date et compter pour cette date.

Merci et s'il vous plaît laissez-moi savoir si quelque chose d'autre est nécessaire pour répondre à cette question!

Answer 1

Vous devrez effectuer la binning en mémoire (c'est-à-dire après l'extraction de la banque de données).

La méthode .date() d'une instance datetime facilitera votre binning; il coupe l'élément temps. Ensuite, vous pouvez utiliser un dictionnaire pour contenir les bacs:

bins = {} 
for event in Event.all().fetch(1000): 
    bins.setdefault(event.doe.date(), []).append(event) 

faire ensuite ce que vous voulez avec (par exemple le nombre) les bacs. Pour un dénombrement direct:

counts = collections.defaultdict(int) 
for event in Event.all().fetch(1000): 
    counts[event.doe.date()] += 1 

Answer 2

Je ne vois pas comment cela serait possible avec une requête unique car GQL ne prend pas en charge GROUP BY ou aggregation en général.

Answer 3

Afin de minimiser la quantité de travail que vous faites, vous aurez probablement envie d'écrire une tâche qui résume une fois les totaux par jour, afin que vous puissiez les réutiliser. Je suggère d'utiliser le bulkupdate library pour exécuter une tâche quotidienne qui compte les événements du jour précédent et crée une nouvelle instance de modèle, avec un nom de clé basé sur la date, contenant le nombre. Ensuite, vous pouvez obtenir tous les points de données nécessaires en faisant une requête (ou mieux, un lot obtenir) pour l'ensemble des entités de synthèse dont vous avez besoin.