Cas de test automatisé Exécution - quand arrêter

Question

Nous avons environ 100 cas de test pour notre système. Nous essayons de construire une suite de tests automatisée pour cela.

Dites lors de l'exécution des tests que le 25ème test échoue. Notre système de test automatisé doit-il renflouer ici et arrêter l'exécution, ou doit-il simplement marquer cela comme échoué et continuer à essayer d'exécuter les tests à partir de la 26ème (chaque cycle de test exécutera tous les 100 cas de test). Bien entendu, après un cas de test défaillant (par exemple n ° 25), si le système doit être réinitialisé pour exécuter les tests élémentaires 26, il sera pris en compte.

Merci

James

Answer 1

Si vos tests sont indépendants - vous devez terminer tous. De cette façon, vous pouvez surveiller la stabilité du système et voir tous les problèmes à la fois sans répéter les tests à maintes reprises.

Answer 2

Si cela fonctionne sans intervention humaine, par exemple dans le cadre d'une compilation automatisée, je voudrais essayer tous les tests. Cependant, il existe des scénarios dans lesquels vous êtes en train de résoudre des problèmes où le temps d'un humain peut s'arrêter. Si c'est facile, j'aimerais offrir une option «Stop au premier échec».