Créer une exécution TestNG

12 septembre 2019

TestNG est un framework qui a été créé pour exécuter des tests en Java, ce qui est la base des exécutions du langage ATS produit par Agilitest.

En dehors du mode spécifique d’exécution / édition des tests de l’éditeur Agilitest, nous avons développé un mode d’exécution des tests en Java compilé qui est plus rapide et qui a vocation à être utilisé pour un test ou un groupe de tests dans un projet.

Comme nous allons le voir, les exécutions sont créées dans Agilitest, peuvent être exécutées par Agilitest, mais sont aussi exportables vers des environnements compatibles avec TesNG qui vont pouvoir rejouer les tests sans nécessiter de configurations complexes.

Pour créer une exécution TesNG dans Agilitest, vous devez vous positionner au niveau du bandeau du projet concerné, dans l’explorateur de projet et cliquer sur la roue dentée.

Activation du menu exécutions

Gérer les exécutions d’un projet

Agilitest va ouvrir un nouvel onglet présentant plusieurs parties :

  • Le constructeur de projet : permet de configurer, générer, exécuter une exécution et éventuellement de produire les rapports correspondants et les ouvrir. Le fonctionnement du constructeur de projet est abordé en fin d’article.
  • Ligne de commande : Agilitest vous affiche la ligne de commande que vous pouvez utiliser si vous souhaitez lancer une exécution ATS depuis une invite de commande sous Windows. Cette commande doit être lancée à la racine du projet ATS. Vous pouvez recopier ces éléments dans un fichier .bat ou .ps1 pour lancer toutes les exécutions que vous avez configurées sans passer par Agilitest.
  • Exécutions : il s’agit du menu de configuration des exécutions TestNG dont le fonctionnement est expliqué dans le prochain paragraphe.

Les exécutions

Une exécutions correspond à la définition d’un sous ensemble des tests d’un projet que vous allez pouvoir rejouer en une seule fois.

Pour définir une exécution, cliquez sur le bouton « Ajouter » dans l’onglet exécutions.

Exécutions existantes d’un projet

Ensuite, saisissez le nom de l’exécution à créer, vous la verrez apparaître dans l’onglet exécution.

Un ensemble d’options vont vous permettre de définir la qualité des rapports produits lors du lancement de l’exécution.

En même temps, Agilitest va générer un fichier .exec correspondant dans le répertoire /src/exec.

Répertoire des exécutions

Ce fichier est au standard TestNG et représente en quelque sorte un filtre sur l’ensemble des tests d’un projet, ainsi que des directives d’exécution de la campagne de tests correspondante.

Vous avez plusieurs options pour définir ce sous-ensemble de tests :

Ajouter des scripts à une exécution

Ajouter directement des scripts dans l’onglet « Scripts » : droppez les fichiers ATS directement depuis votre explorateur de projet pour les voir s’afficher dans votre onglet.

Sélectionner des packages

Indiquer quels sont les répertoires dans lesquels aller chercher les scripts, et lesquels ne sont pas concernés.

Sélection du package api

L’onglet « Packages » présente l’ensemble des répertoires de votre projet et vous permet pour chaque répertoire de définir si les fichiers ATS qu’il contient doivent être inclus ou exclus de la sélection.

Il n’est pas nécessaire que les fichiers aient été ajoutés au préalable dans l’onglet script.

Sélection transverse par les groupes

Les groupes de test vous permettent de filtrer les tests en fonction des groupes auxquels ils sont associés.

Le menu groupe vous permet de définir de nouveaux groupes et de sélectionner les groupes à ajouter ou exclure d’une exécution.

Gestion des groupes de tests dans les exécutions

Paramètres d’exécution

Les paramètres d’exécutions sont des variables que vous allez définir pour une exécution donnée et qui vont apparaître comme variables d’environnement dans l’ensemble des tests qui sont concernés par cette exécution.

Ajout de variables d’environnements à une exécution
Utilisation de la variable d’environnement dans un script

Les variables d’environnements vont vous permettre de gérer différents environnements d’exécution, qui vont pourtant utiliser la même base de tests.

La configuration des rapports

En cliquant sur le petit crayon qui apparait lors du survol des exécutions, vous pouvez renseigner un certain nombre de paramètres permettant de gérer le niveau et la qualité des rapports que vous souhaitez obtenir.

Panneau exécutions et crayon permettant la modification des paramètres

Voici les différentes options qui sont proposées:

Niveau des logs:

Les différents niveaux de logs sont les suivants:

  • Silent
  • Error
  • Info
  • Warning

Ils sont ordonnés du moint verbeux au plus verbeux.

Rapport XML :

Si vous décidez de produire un rapport XML, celui-ci peut être directement transformé en pdf par Agilitest.

Rapport visuel:

Indique la qualité des rapports vidéo ATSV que vous allez générer. Les différentes options sont les suivantes:

  • Off : pas de génération de rapport
  • Taille : optimisation de la taille des fichiers ATSV
  • Vitesse : optimisation de la vitesse de génération du rapport
  • Qualité : optimisation de la qualité des rapports générés
  • Qualité max : tout optimiser
Les options de génération et de qualité des rapports

Lancer une exécution dans Agilitest

Une fois que votre exécution est créée ou sélectionnée, vous pouvez effectuer les actions suivantes au niveau du constructeur de projet:

Le constructeur de projet

Générer : générer les fichiers java correspondants aux tests ATS sélectionnés.

Compiler : compiler les fichiers java correspondants aux tests ATS sélectionnés (inclut la phase « générer »).

Exécuter : Agilitest va ouvrir une console et rejouer l’ensemble des tests sélectionnés dans l’exécution. (Inclut les phases « générer » et « compiler »).

Il y a deux options possibles :