Recommandations de cadre de test de bout en bout

Question

Je suis dans un nouveau projet qui vise à inclure un cadre de test de bout en bout. Nous voulons quelque chose de flexible, j'ai déjà utilisé Fitnesse et je pense que nous avons besoin de quelque chose de similaire.

Nous utilisons aussi Hudson CI et recherchons quelque chose qui s'intégrerait facilement avec.

Y at-il un gagnant clair? MISE À JOUR: Le système comporte de nombreux composants, dont certains sont des services web exécutés sur tomcat, il y a aussi quelques bases de données NoSQL, mais aucun test d'interface utilisateur n'est requis pour le moment.

Veuillez ajouter un commentaire si des précisions supplémentaires sur les détails du projet sont nécessaires.

Answer 1

La structure du robot est un bon framework de test piloté par un mot clé que nous utilisons pour les tests d'intégration de bout en bout. http://code.google.com/p/robotframework/

Il y a un plugin for jenkins (un fork de hudson) qui est très utile. Il reportedly fonctionne aussi avec hudson.

Answer 2

Mon expérience avec jBehave est très bonne. Recommander.

Basé sur BDD - Behavior Driven Development.

Answer 3

Pouvez-vous être plus précis, quand vous dites, vous voulez avoir un cadre de test de bout en bout? Quel type d'application développez-vous (autonome, web, web service, ...)? Dans quelle langue programmez-vous? Je voudrais également rechercher des connaissances antérieures dans votre équipe ou autour de votre équipe (par exemple, d'autres équipes). Il pourrait suffire, pour utiliser TestNG ou JUnit (j'ai vu un vieux papier sur le test de l'interface utilisateur en utilisant JUnit). Presque tous les frameworks de test devraient convenir à Hudson, tant qu'ils peuvent être démarrés en mode sans headless/scripté et s'ils fournissent les résultats dans un format compréhensible par Hudson (dans le pire des cas, HTML est suffisant, mais Hudson ne pourra que pour afficher les pages). Par conséquent, si vous disposez d'outils de surveillance IBM, vous pouvez consulter Rational Functional Tester ou Rational Performance Tester. FitNesse est un bon outil pour les tests fonctionnels. Les contacts d'affaires peuvent créer les cas de test par eux-mêmes (les développeurs doivent fournir un code de connecteur), ce qui créera plus de visibilité et enlèvera du travail aux ingénieurs de test. Inconvénient, c'est que vous ne pouvez pas vraiment faire des tests d'interface utilisateur. Si vous avez besoin d'une plate-forme open source pour l'interface utilisateur, jetez un oeil à la couture. Même si j'aime la philosophie de l'OSS, il se peut que vous ayez besoin d'un temps d'accélération plus long (coûts plus élevés) et peut-être plus de temps de maintenance pour l'OSS (pas vrai pour tous les OSS). Dans tous les cas, vérifiez à quel point il est facile d'obtenir de l'aide pour votre infrastructure. Vous pourriez même envisager un support payant pour votre framework (indépendamment des sources ouvertes ou fermées). N'oubliez pas non plus, même si vous pouvez vous-même réparer la source OSS, vous n'avez peut-être pas l'expertise ou le temps nécessaire pour corriger les bogues ou ajouter des fonctionnalités. Donc, donnez-nous plus d'informations et nous pouvons vous donner de meilleurs conseils.

Answer 4

Super pour lire, vous avez décidé de commencer à utiliser Robot Framework. Son plugin Hudson a déjà obtenu beaucoup mieux (tableaux de bord, disponibles directement chez Hudson, ...) et déplacé vers un nouveau lieu: http://wiki.hudson-ci.org/display/HUDSON/Robot+Framework+Plugin