5 étapes pour intégrer au mieux le crowdtesting à votre plan de test

Daniel DrewitzDaniel Drewitz
Temps de lecture: minutes

Travailler avec une communauté de testeurs peut s'avérer être un atout majeur pour votre assurance qualité. Assurez-vous cependant de soigner leur conception et planification pour obtenir de meilleurs résultats.

La puissance d'une communauté de testeurs réside dans la diversité de ses membres (les 'crowdtesteurs') et de leurs appareils, mettant ainsi à disposition des équipes de test de nombreux profils utilisateurs et une large gamme de combinaisons OS/devices. Chaque testeur apporte avec lui un parcours personnel et professionnel unique, un point de vue distinct et une configuration unique pour chaque cycle de test.

Mais cette diversité nécessite également d'accorder un soin tout particulier à la préparation et la planification des tests, pour que les résultats obtenus ensuite correspondent au maximum aux critères et objectifs préalablement définis. Pour créer un plan de test précis en utilisant le crowdtesting, il existe donc un certain nombre de questions et de tâches auxquelles il faut réfléchir.

1. Placez votre produit au cœur de la planification des tests

À l’origine de l'assurance qualité se trouve le produit, notamment sa mission et le groupe cible. Un enfant perçoit ainsi une app différemment d’un entrepreneur, d’un client de banque ou d’un sportif qui compte ses pas.

Chaque produit doit être décrit en quelques phrases pour donner au testeur une idée de ce qu’il permet, mais aussi à qui le produit s’adresse. Lors des tests de nouveaux produits notamment, il est donc particulièrement important de rédiger une courte description permettant de comprendre rapidement les fonctions existantes.

Pour des produits plus complexes, il est également conseillé de fournir un brief synthétique expliquant les principales fonctions, tâches et actions proposées par le produit. Ce brief peut prendre la forme de documents, de présentations illustrées (PDF) ou de vidéos.

2. Expliquez pourquoi (et pour quoi) vous testez le produit

C'est à ce moment-là que se pose la question à 1000 euros : que doivent permettre de découvrir les cycles de test, et quel sont les résultats attendus ?

Une pratique courante consiste à effectuer de manière régulière des tests fonctionnels manuels (exploratoire et via des scénarios de test). La maturité du produit comme celle de l’assurance qualité en interne (y compris les processus établis) jouent ici un rôle extrêmement important.

La question de savoir ce qui a changé depuis le cycle de test précédent (et dans quelle mesure ces changements peuvent avoir affecté le code existant) est un bon point de départ pour définir un objectif pertinent pour les prochains cycles de test. Ces changements peuvent dus à une cause en interne, par exemple l'adaptation de l'interface ou du code d’anciens modules, ou peuvent être dû à des facteurs externes, par exemple l'utilisation de nouveaux appareils ou mises à jours de systèmes d'exploitation.

De manière générale, il convient d’informer les testeurs des changements apportés, ils pourront ainsi en déduire leurs propres hypothèses de test et les vérifier de manière exploratoire. Les tests exploratoires révèlent généralement quelques erreurs inattendues. Cependant, le degré de couverture des bugs critiques peut ne pas être suffisant du point de vue de l'entreprise. Il est donc recommandé d'intégrer des tests de régression ou des tests de fumée dans le plan de test.

Par ailleurs, il existe également des cas exceptionnels qui peuvent rendre un test nécessaire, même en dehors du planning normal, par exemple :

  • Existe-t-il des erreurs spécifiques (signalées par les clients) qui ne peuvent pas être reproduites en interne et donc corrigées ?
  • Y a-t-il de nouveaux processus ou de nouvelles fonctionnalités qui doivent être testés de manière très rigoureuse, sans influencer les critères d'acceptation ?

Pour faire court : Afin d'obtenir les résultats souhaités et optimiser la planification des tests, le but de l'exécution de tel ou tel test doit être clairement résumé en quelques phrases et communiqué aux testeurs pour chaque cycle de test.

Cependant, le fait d'avoir de multiples objectifs pour un seul cycle de test est à manier avec précaution et doit dans tous les cas être abordé avec l'équipe projet à l'avance. Dans la plupart des cas, il est préférable de mener plusieurs tests en parallèle plutôt que de trop diluer les objectifs.

Afin d'obtenir les résultats souhaités lors de l'élaboration du plan de test, il convient de résumer clairement en quelques phrases les raisons pour lesquelles les tests doivent effectivement avoir lieu, et de les communiquer aux participants.

3. Cartographiez la cible en utilisant le plan de test


Que dois-je faire pour atteindre mon but ?

Nous avons à présent expliqué la nature du produit, ainsi que les raisons et l'objectif des cycles de test lors des étapes précédentes. Ce sont deux composantes essentielles, mais l’exercice ne s’arrête pas là.

La prochaine étape consiste à créer un plan de test. À ce stade, toutes les informations qui ont été définies jusqu'alors sont présentées de manière compréhensible et claire pour chaque testeur. Ce plan de test n'est pas seulement essentiel pour l'exécution du test en lui-même ; il sert également d'offre de mission pour les testeurs. Il est idéalement accompagné d’invitations à participer à des cycles de test, qui ressortent clairement grâce à des objectifs clairs et un plan de test bien structuré.

Si un produit est testé par une communauté de testeurs pour la première fois, le plan de test doit être particulièrement soigné. L'équipe ne connaît pas encore le produit. Il est donc extrêmement important de mettre au point de manière précise la planification du test, la collecte de toutes les informations et la présentation du test. Faute de quoi, les participants risquent de perdre le fil lorsqu'ils « voient » le produit, de poser des questions plus fréquemment et d’avoir des doutes quant aux véritables objectifs et au mode d’évaluation du produit.

Voici les règles à suivre lors de la création d'un plan de test pour une communauté de testeurs :

  • Évitez les abréviations ou dénominations propres au produit, ou expliquez-les de manière claire ;
  • Utilisez des listes, des surlignages et des sous-titres pour structurer clairement le brief ;
  • Identifiez et supprimez les informations redondantes ou contradictoires ;
  • Dans les cas plus complexes, fournissez des captures d'écran ou des processus concrets ;
  • Restez concis et mettez à disposition des explications complexes et exhaustives clairement préparées dans des documents séparés ;
  • Utilisez des documents web facilement accessibles et évitez Excel, Word ou autres formats de fichier moins compatibles qui nécessitent des téléchargements ;
  • Réduisez les couleurs d’arrière-plan ou de mise en forme au strict minimum

Tous ces éléments contribuent à créer un plan de test clair, accessible et compréhensible. Tous les participants au test sauront apprécier l'effort et le récompenser avec de meilleurs résultats, une attention portée sur les points pertinents et moins de faux positifs ou de rapports du type « fonctionne-comme-prévu ».

Comment m'assurer que seuls les problèmes pertinents sont signalés lors des cycles de test ?

Il est extrêmement important que chaque cycle de test ait un objectif clair. Plus le produit ou le test est complexe, plus il est important d'afficher une cible précise et une hiérarchie pertinente. Non seulement cela simplifie le démarrage du test pour le testeur en lui suggérant un parcours donné, mais cela permet d'éviter des rapports d'erreur relatifs à des points non pertinents. Il faut savoir que les testeurs sont extrêmement imaginatifs et inventifs lorsqu'il s'agit de trouver de nouvelles erreurs, et ils tentent souvent des approches peu conventionnelles. C’est un merveilleux atout qui doit être utilisé à bon escient.

Par conséquent :

  • Définissez toujours une cible claire pour chaque test ;
  • Préparez une hiérarchie des tâches qui permet à la cible d'être réduite ou élargie (en fonction de l'avancée du test) ;
  • Identifiez de manière explicite toutes les exceptions et décrivez-les de manière exhaustive et compréhensible pour éviter les bugs non pertinents ;
  • Définissez d’autres restrictions générales, comme par exemple l'exclusion de certains appareils ou de certains processus de validation, le cas échéant.

Puisque les cycles de test exploratoires et leur efficacité sont imprévisibles, il est également recommandé d'être souple quant à la cible. Si par exemple il s'avère rapidement que la cible a été définie de manière trop large et qu'un grand nombre d'erreurs de faible intérêt sont signalées, il faut alors affiner l'objectif. Ceci peut se faire en réduisant les fonctionnalités ou les types d'erreurs à tester.

Comment et dans quel but utiliser les cas de test ?

Les cas de test présentent plusieurs avantages liés à différents scénarios. Ils ne sont pas uniquement une très bonne source de motivation pour participer à un test, mais peuvent également répondre à une diversité d'objectifs, en fonction de la façon dont ils sont utilisés :

  • Tests guidés d'un nouveau produit complexe pour une meilleure compréhension initiale ;
  • Couverture fiable de certains aspects ou fonctionnalités précises d'un produit ;
  • Contrôle régulier de processus spécifiques clairement définis ;
  • Compensation du temps passé par le testeur dans le cas où il aurait peu de rapports d'erreurs (pour des produits globalement stables ou si l’objectif était très spécifique) ;
  • Traitement et organisation de petites tâches faisant partie de projets à plus grande échelle.

Selon l'objectif du test, il est particulièrement recommandé d’intégrer des cas de test en fonction des moyens à disposition. Ils sont l'une des manières les plus sûres de garantir des testeurs motivés qui auront une bonne compréhension générale du produit. Les testeurs sont davantage valorisés, et seront plus compréhensifs et coopératifs en cas de rapports d'erreurs controversés ou autres problèmes.

Un testeur teste une application sur sa tablette en suivant les instructions du plan de test

4. Sélectionnez les bons testeurs pour le projet

Des testeurs avec différents parcours et expériences obtiendront des résultats différents. Et ce ne sont pas toujours les testeurs les plus expérimentés qui identifient les problèmes les plus critiques. Il est donc recommandé de choisir un panel diversifié de testeurs en fonction du produit, de l'objectif du test et du plan de test.

Pour les tests de fonctionnalités produit entièrement nouvelles, les nouveaux testeurs et les testeurs « historiques » tendent à collaborer plus étroitement. L’équipe historique connaît et maîtrise les fonctionnalités de base, mais les nouvelles fonctions sont un territoire inexploré autant pour elle que pour les testeurs qui n'ont encore jamais manipulé le produit. De tels tests sont une bonne occasion d'enrichir une équipe déjà constituée avec de nouveaux participants. Ils apporteront un vent d'air frais et peuvent ainsi identifier de nouveaux problèmes à résoudre.

Dans le cas de projets complexes, les testeurs expérimentés sont toujours à privilégier. Ils génèrent moins de rapports d'erreurs de type « faux-positif » et ne s’éloignent pas de l'objectif fourni. Ils connaissent le produit existant et d'autres produits similaires. Pour des projets moins complexes cependant, il est recommandé de faire appel à plus de nouveaux testeurs. Leur point de vue est moins biaisé et ils apportent souvent un regard neuf très utile.

Le fait d'avoir différents parcours professionnels et expériences personnelles contribue aussi à de bons résultats, puisque ces personnes aux profils variés appréhenderont un produit digital de différentes manières.

5. Comment le traitement des résultats influence la qualité du travail

Les tests par une communauté peuvent parfois être perçus de l'extérieur comme peu transparents. Ceci peut potentiellement mener à des tensions ou des incompréhensions.

Les testeurs expérimentés tout particulièrement (qui sont aussi les meilleurs et les plus efficaces) se sentent rapidement à l'aise avec des projets de tests qui leur offrent un environnement de travail agréable. Des interactions positives et constructives favorisent un environnement de travail productif qui produit des résultats de test pertinents.

Par ailleurs, les testeurs aiment obtenir des retours clairs concernant les raisons pour lesquelles certains bugs identifiés ont été acceptés ou rejetés par le client.

Enfin, il est recommandé d'envoyer une invitation individuelle pour chaque cycle de test. S'ils associent un produit à des expériences passées positives, ils seront plus enclins à accepter la nouvelle invitation et généralement plus motivés.

En conclusion...

Les communautés de testeurs sont un outil puissant pour l'assurance qualité. Pour en tirer le meilleur parti possible pour la planification des tests, il est indispensable que le fournisseur externe de crowdtesting et l'équipe de développement produit coopèrent de manière étroite. Il est notamment essentiel de bien communiquer les caractéristiques du produit et les objectifs des tests pour obtenir le meilleur retour de chaque cycle. Et si les testeurs sont traités de manière juste et professionnelle par toutes les parties prenantes, il devient alors possible de générer des résultats de test à forte valeur ajoutée.

Hobson

Rapport d'analyse : Générer du ROI

Livre Blanc

Devenez plus proches de vos clients grâce à une solution de crowdtesting.

Lire la suite

Ressources supplémentaires que vous apprécierez :