Comment organisez-vous/mettez en forme vos scripts de test?

Question

Je m'intéresse à la façon dont les autres organisent leurs scripts de test ou ont vu de bons scripts de test organisés partout où ils ont travaillé. En outre, quel niveau de détail est dans ces scripts de test. Cela concerne spécifiquement les scripts de test créés pour les tests manuels, par opposition à ceux créés à des fins de test automatisé. Le problème que je vois est ceci, il y a beaucoup de complexité dans les scripts de test mais sans le bénéfice des principes utilisés dans l'organisation d'une base de code complexe ou volumineuse. Vous devez être en mesure de spécifier ce qu'un code doit faire mais sans ennuyer quelqu'un en le lisant. En outre, comment mettre en forme des scripts de test, je ne souhaite pas créer des scripts entièrement spécifiés pouvant être exécutés par des types d'entrée de données car ce n'est pas l'équipe que nous avons et les frais de maintenance semblent trop élevés. En outre, il me semble que le fait de spécifier le processus de manière aussi détaillée enlève la responsabilité à la personne qui fait le test de la qualité du produit. Est-ce que les gens spécifient chaque clic de bouton et valeur à saisir? Si non, quel niveau de détail est spécifié.

Answer 1

Les tests effectués par des humains doivent se faire à un très haut niveau d'abstraction.

E.g. un test pour l'enregistrement stackoverflow:

Bon:

Un visiteur du site avec un registre de compte OpenId existant en tant qu'utilisateur stackoverflow et les messages de réponse.

Bad:

1) Accédez à http://stackoverflow.com 2) Cliquez sur le lien de connexion 3) Etc ...

Ceci est important pour plusieurs raisons:

a) il maintient les tests maintenables. Vous n'avez donc pas besoin de mettre à jour votre script de test à chaque fois que les éléments de navigation sont renommés (par exemple, «connexion» devient «connexion»). B) cela évite à vos testeurs de devenir fous à cause de l'ennui des détails les plus minutieux. C) l'écriture de scripts de test manuels détaillés est une mauvaise utilisation de vos ressources de test finies.
Des scripts de test manuels détaillés détourneront vos testeurs en écriture de bogues pour des problèmes mineurs de documentation. Vous voulez utiliser votre temps pour trouver les vrais bogues qui auront un impact sur les clients.

Answer 2

J'essaie de faire entrer les tests manuels dans une structure automatisée --- vous pouvez avoir les deux. Les schémas d'organisation utilisés par des tests automatisés (par exemple les cadres xUnit) fonctionnent pour . En fait, ils peuvent être utilisés pour semi-automatiser les tests, en s'arrêtant et en demandant qu'un test manuel soit exécuté, ou que l'entrée soit entrée ou qu'une interface graphique soit inspectée. Le schéma consiste généralement à refléter la structure du répertoire du code de production, ou à inclure les tests dans le code de production, parfois en tant que classes internes. Les tests au-dessus du niveau de l'unité peuvent souvent être intégrés dans les répertoires de niveau supérieur (en supposant que vous avez une arborescence de répertoires suffisamment profonde). Ces tests de niveau supérieur peuvent aller dans des répertoires (en miroir) qui n'ont pas de code de production, mais qui sont là pour des raisons d'organisation.

Le niveau de détail --- bien, cela dépend, non?

Answer 3

Les tests peuvent être regroupés par priorité. Les tests BVT/smoke pourraient avoir la plus haute priorité avec les fonctions, l'intégration, la régression, la localisation, le stress et la performance ayant des priorités plus basses. En fonction de votre passage de test, vous devez sélectionner une priorité et exécuter tous les tests avec des priorités plus ou moins élevées. Tout ce que vous devez faire est de déterminer la priorité d'un test particulier.

Answer 4

Matt Andresen a fourni une bonne réponse, en général, mais il y a des situations où vous ne pouvez pas le faire de cette façon. Par exemple lorsque vous travaillez sur des applications validées, qui doivent se conformer aux règlements d'autres parties comme la FDA, et cela passe par une vérification très intensive, une révision, une signature, que 2 réponses, votre exemple est requis. Bien que je choisirais de passer à l'automatisation avec HP QuickTestPro ou IBM RationaRobot dans ce cas.

Peut-être que vous devriez essayer avec un dépôt de tests? Il existe à nouveau des outils issus des produits HP QualityCenter et IBM, mais cela peut coûter cher. Vous pourriez en trouver moins cher, qui vous permettra de les organiser en structures arborescentes, par exigence/fonctionnalité, leur attribuer des priorités, les regrouper en combinaisons de test pour les versions, les regrouper en tests de régression, etc ...