Comment automatiser les tests où la qualité des résultats est largement subjective

Question

J'ai développé un programme de génération d'automatisation et de statistiques à travers une série de prototypes rapides pour voir si le coût de licence d'une API génère un bon retour sur investissement. Le temps limité, et ma propre expérience limitée a conduit à un outil utile sans tests ou mesures automatiques de qualité ou d'exactitude.

Le programme traite du processus de localisation pour les documents PDF. Plus précisément, il génère un rapport sur une partie du contenu des fichiers (nombre de mots approximatif, nombre d'images, etc.) et comporte des fonctions d'extraction et de traitement de contenu. Il est principalement utilisé pour réduire le temps et le coût d'évaluation du coût d'un projet de localisation PDF.

L'application a maintenant été approuvée pour un processus de développement plus formel, y compris une demande pour un système de suivi des bogues et un cycle préliminaire de test, de validation et de rétroaction. La question est alors, comment voulez-vous aller sur QA et tester dans ce genre d'application, où les chiffres sont souvent une meilleure estimation basée sur une certaine heuristique et la sortie traitée n'est pas toujours utile en raison de la construction horrible de la documents source? Je prévois d'ajouter des avertissements au rapport lorsque les chiffres sont évidemment fous, mais que peut-on faire d'autre pour garantir la qualité? Jusqu'à présent, la solution la plus sophistiquée que je possède est de garantir les résultats de certaines méthodes d'assistance par le biais de tests d'assertion dans l'environnement de construction et d'écrire un tas de cas de test traditionnels (que je préférerais éviter).

Comment testez-vous les mesures de qualité subjectives?

Je travaille en C#, mais je suis en faveur d'une réponse générale aux meilleures pratiques sur tout ce qui est spécifique au cadre.

Answer 1

Je ne suis pas sûr exactement ce que vous faites application, mais pour répondre à la question générale: Construire une collection de cas de test qui représentent votre gamme d'entrées et voir si elle peut juger correctement ceux-ci. Vous ne pouvez pas vraiment tester les documents d'entrée réels.

Et puis, il y a un point où vous devrez accepter qu'il y a une limite à ce qui peut être accompli avec des tests automatisés. Quand les choses deviennent vraiment esthétiques subjectives ou utilisabilité, par exemple) vous aurez besoin d'un humain pour obtenir un jugement utile.

Je voudrais pouvoir donner une réponse plus utile.

Answer 2

Essayez Approval Tests.