| |
QoT (Quality of Test) :
couverture, sélection, et instrumentation de tests
Localisation : Irisa, Rennes
Equipe(s) : PAMPA
Responsable(s) : César VIHO, e-mail : viho@irisa.fr
Mots-clés : Qualité de test, couverture, sélection
de tests, instrumentation, protocole, télécom, IPv6
Un des problèmes récurrents du domaine du test est
de pouvoir mesurer la qualité des tests : la QoT (Quality
of Test). Ce notion de QoT couvre plusieurs aspects parmi lesquels
la non permissivité : comment s’assurer
que les tests rejettent toute implémentation incorrecte ?
Il y a aussi le problème du non-biais : comment
s’assurer que les tests ne rejettent pas des implémentations
correctes? Mais, le point le plus sensible est
celui de la couverture de tests.
A défaut de l’exhaustivité, la couverture de
tests est sensée donner une certaine estimation de la proportion
des points effectivement couverts par les tests, par rapport à
l’ensemble (a priori infini) des propriétés à
tester.
Plusieurs tentatives existent et ont donné lieu à
des solutions théoriques basées sur des tests abstraits
mis en
relation avec les modèles abstraits de l’implantation
à tester. Le problème est que la notion de couverture
de tests peut être basée sur différents critères.
Dès lors, on arrive à une situation où actuellement
il en existe
plusieurs définitions. Ce qui rend difficile l’évaluation
de la couverture d’une suite de tests ainsi que la
comparaison de suites de tests entre elles. Par ailleurs, les solutions
existantes sont difficilement exploitables
lors de l’exécution de ces tests sur des implantations
réelles. Cela provient généralement de la non
prise en
compte des problèmes dûs au passage des tests abstraits
aux tests exécutables et de l’environnement dans
lequel ces tests seront exécutés.
Il s’agira d’apporter des solutions qui intègrent
a priori leur applicabilité réelle, en se plaçant
plus spécifiquement
dans le domaine du test des protocoles de télécom.
Cela passe par :
- la catégorisation de critères et méthodes
associées permettant de sélectionner les tests pertinents,
- la définition et la proposition en conséquence
des métriques réellement utilisables,
- la proposition d’instrumentations réalistes sur
l’implantation à tester qui permettent d’améliorer
la cou-verture
de tests d’une suite de tests.
Les protocoles IP de nouvelle génération (IPv6) ainsi
que les souches (cf. souche IPv6 INRIA) et les suites
de tests existantes serviront de base pour valider ces solutions.
|
