2012-10-15 6 views
4

Je recherche un framework, une combinaison de frameworks, de bonnes pratiques ou un tutoriel sur la visualisation de grands volumes de données avec Hadoop.Visualisation de grands ensembles de données avec Hadoop

Je suis et non à la recherche d'un cadre pour visualiser les mécanismes d'exécution des travaux Hadoop ou de gestion de l'espace disque sur Hadoop. Par exemple, disons que j'ai un ensemble de points de données stockés dans plusieurs fichiers dans HDFS, et je voudrais pour montrer un histogram des données. Est-ce que ma seule option est d'écrire un travail de mappage/réduction personnalisé qui essaierait de déterminer quels points tombent dans quel compartiment, d'écrire les totaux dans un fichier, puis d'utiliser une bibliothèque de traçage pour visualiser cela?

Dois-je déployer une solution personnalisée ou y a-t-il quelqu'un d'autre qui fait ce genre de chose là-bas? J'ai essayé de regarder en ligne, mais je n'ai pas été en mesure de trouver quelque chose qui se rapporte directement à cela.

Merci pour votre aide

Répondre

1

Nous faisons quelque chose comme ça à Datameer. Les fichiers prendraient quelques étapes de traitement supplémentaires pour arriver à nos visualisations, mais nous courons nativement sur Hadoop pour que les fichiers ne soient pas loin.

Questions connexes