Outil de génération de rapports de test Open Source

Question

Arrière-plan
Le service QA où je travaille dispose d'un grand nombre de tests de boîte noire automatisés qui interagissent avec nos applications via l'interface graphique et la ligne de commande. Actuellement, les tests automatisés affichent leurs résultats en sortie standard, puis nous entrons manuellement le résultat final de réussite/échec dans une feuille de calcul.

Nous préférerions avoir un système où le test automatisé enregistre automatiquement les résultats de test détaillés dans un fichier. Nous aurions alors une page Web à laquelle les testeurs et les développeurs pourraient accéder pour voir les résultats détaillés des tests et les pièces jointes nécessaires. Cela générerait des rapports sur les résultats des tests par projet et numéro de version.

Question:
Quel système recommanderiez-vous pour la génération de rapports de test? Nous avons besoin d'un système où nos tests seront automatiquement insérés dans de nouveaux rapports, de préférence open source. Je suis intéressé par ce que votre entreprise utilise réellement ou ce que vous avez trouvé utile dans la gestion des résultats de test.

Notre département QA est capable de construire une version simplifiée de ce système à partir de rien, mais nous préférerions ne pas le réinventer.

Answer 1

Nous utilisons maintenant Testopia. il est intégré à Bugzilla, c'est sympa d'avoir tout à l'endroit de l'ame. Il utilise la même interface API XMLRPC que Bugzilla. Quelle plate-forme, quelle langue et quelle application de script de construction utilisez-vous?

Answer 2

reStructuredText est un très bon moyen entre l'écriture sur stdout et la documentation formelle. Il existe plusieurs scripts à convertir du premier à d'autres formats tels que html. Vous pouvez conserver le système que vous avez en place - il suffit d'ajouter quelques "balises" autour du texte, mais contrairement aux balises HTML, ce sont des caractères plus lisibles. En fait, il est très proche de la démarque que vous utilisez lorsque vous posez/répondez ici sur StackOverflow. Le texte stdout reste globalement très lisible par les humains, mais c'est aussi simple que d'ajouter un script dans la chaîne pour le rendre au format HTML ou PDF par exemple.

This page a un très bon exemple de ce à quoi il ressemble en texte brut et rendu.

Answer 3

Maven a un mécanisme de site étendu, il vous oblige à vous plier à sa volonté, donc cela pourrait l'exclure pour vous.

Une fois configuré, vous obtenez un ensemble standard de rapports générés sur chaque build, qui peut être empaqueté en tant que jar si vous le souhaitez, ou deployed directly sur votre site de résultats de build. Il existe des plugins pour de nombreux outils de reporting majeurs, tels que Cobertura/Emma, ​​Junit, JDepend, etc.

Le plugin maven-site-publie ses propres sites si vous voulez have a look.