5 Schritte für die Testplanung beim Crowdtesting

Daniel Drewitz Daniel Drewitz
minute read
Applause Blog Logo

Wie eine durchdachte Gestaltung und Planung von Crowdtests zu besseren Testergebnissen führt.

Die Kraft der Crowd liegt in der Vielseitigkeit ihrer Mitglieder (der Crowdtester) und ihrer Geräte mit den dazugehörigen Kombinationen aus Browser- und Softwareversionen. Jeder Tester bringt einen anderen persönlichen und beruflichen Hintergrund, einen eigenen Blickwinkel sowie unterschiedlichste Smartphones, Tablets oder Computer in einen Testlauf ein.

Doch diese Vielfalt erfordert auch eine stärkere Sorgfalt bei der Planung und Vorbereitung von Tests, damit die späteren Ergebnisse möglichst genau den zuvor definierten Zielen und Anforderungen entsprechen. Dazu stellen sich für die Erstellung der genaueren Testplanung mehrere Fragen und Aufgaben, denen wir uns nun widmen wollen.

I. Das Produkt steht bei der Testplanung im Zentrum

Am Anfang aller Qualitätssicherung steht das Produkt, dessen Aufgabe und die angesprochene Zielgruppe. So nehmen Kinder eine App oder eine Anwendung anders wahr als Unternehmer, Banking-Kunden oder die Nutzer einer Sport-App.

Jedes Produkt sollte daher in einigen wenigen Sätzen beschrieben werden, um dem Tester einen Eindruck der Abläufe und besonders auch eine Idee der Zielgruppe zu vermitteln. Insbesondere bei Tests neuer Produkte ist eine Kurzbeschreibung ausgesprochen wichtig, um ein Grundverständnis für die vorhandenen Funktionen herzustellen.

Bei komplexeren Produkten empfiehlt es sich zudem, ein kurzes schriftliches Briefing bereit zu stellen, um die wichtigsten Flows, Funktionen und Wirkweisen zu erklären. Dieses Briefing-Material kann aus Dokumenten, bebilderten Präsentationen (als PDF) oder Videomaterial bestehen.

II. Warum und wofür soll getestet werden?

Nun stellt sich die existenziell wichtige Frage, was durch die Testläufe in Erfahrung gebracht und was genau erreicht werden soll.

Gängige Praxis ist die regelmäßige Durchführung von manuellen, funktionalen Tests explorativ und über Testfälle im Rahmen eines Sprints. Die aktuelle Reife sowohl des Produktes als auch der vorhandenen internen Qualitätssicherung (samt etablierter Prozesse) spielen hierbei eine ausgesprochen wichtige Rolle.

Äußerst hilfreich bei der Definition einer passenden Zielsetzung für die Testläufe ist die Frage, was sich seit dem letzten Testlauf geändert hat und inwiefern diese Änderungen Auswirkungen auf bereits bestehenden Code genommen haben könnten. Diese Änderungen können selbst hervorgerufen worden sein, wie z. B. die Anpassung von Schnittstellen oder Code älterer Module, oder auf externen Faktoren basieren z. B. der Einsatz neuer Geräte oder Updates der Betriebssysteme.

Grundsätzlich sollten die eigens vorgenommenen Änderungen den Crowdtestern mitgeteilt werden, da sie hieraus eigene kreative Testhypothesen ableiten und diese explorativ überprüfen können. Das explorative Testing fördert in der Regel einige Fehler zu Tage. Allerdings mag die Absicherung bzw. Abdeckung kritischer Funktionen aus Unternehmenssicht noch nicht ausreichend sein. Deshalb empfiehlt es sich Regressionstests oder Smoke-Tests in das Test Setup zu integrieren.

Daneben gibt es aber auch außergewöhnliche Ursachen, die einen Test - auch außerhalb des normalen Zeitplans - erforderlich machen können, zum Beispiel:

  • Gibt es bestimmte (von Kundenseite gemeldete) Fehler, die intern nicht reproduziert und somit nicht behoben werden konnten?
  • Gibt es neue Flows oder neue Funktionalitäten, die auf Herz und Nieren getestet werden sollen - ohne Beeinflussung über die Akzeptanzkriterien?
  • Steht das Abdecken von Live-Systemen oder Live-Daten im Vordergrund, deren Integration nicht intern abgedeckt werden konnten?

Es gibt also viele verschiedene Gründe, weshalb ein Test durchgeführt werden soll.

Um die gewünschten Resultate zu erzielen, sollte für eine optimale Testplanung das Ziel, warum eigentlich getestet werden soll, in jedem Testlauf in wenigen Sätzen klar zusammengefasst und an die Crowdtester kommuniziert werden.

Crowdtesting 101

Whitepaper

Erfahre, warum jetzt der passende Zeitpunkt gekommen ist, deine QA-Maßnahmen zu überdenken.

Jetzt Herunterladen

Mehrere Ziele innerhalb eines Testlaufs zu verfolgen, ist indes nur bedingt ratsam und sollte im Vorfeld unbedingt mit dem Projektteam besprochen werden. Besser ist es in einem solchen Fall, mehrere Tests parallel durchzuführen, statt das Ziel/die Ziele zu verwässern.

III. Das Ziel über das Test-Setup abbilden

Was muss ich tun, um mein Ziel zu erreichen?

Das Produkt, die Gründe und das Ziel für Testläufe als wesentliche Bestandteile der Testplanung, haben wir nun in den vorangegangenen Schritten erläutert. Das ist ein wichtiger Start, aber noch nicht alles.

Im nächsten Schritt, der Erstellung des sogenannten Test Setups, werden alle bisher erarbeiteten Informationen für jeden Teilnehmer (Crowdtester) verständlich und übersichtlich aufbereitet. Das Test Setup bzw. die Testbeschreibung ist jedoch nicht nur elementar für die Testausführung selbst, sondern dient auch als Stellenausschreibung für die Crowdtester. Diese folgen bevorzugt Einladungen zu Testläufen, die durch klare Zielsetzungen und ein gut strukturiertes Test Setup herausstechen.

Wird ein Produkt erstmals von der Crowd geprüft, stellen sich die höchsten Anforderungen an das Test-Setup. Das gesamte Team ist mit dem Produkt noch nicht vertraut. Eine hohe Sorgfalt bei der Planung des Tests, der Aufbereitung aller Informationen und der Gestaltung der Testübersicht ist daher ausgesprochen wichtig. Andernfalls verlieren die Teilnehmer bei der “Besichtigung” des Produkt die Orientierung, müssen häufiger Rückfragen stellen und sind unsicher in Bezug auf die eigentlichen Ziele und die Bewertung ihrer Fehlerberichte. Dies demotiviert und führt langfristig zu einer geringeren Erfolgsquote.

Grundsätzlich gilt es, folgendes bei der Erstellung des Test Setups zu beachten:

  • Vermeide produktspezifische Abkürzungen und Bezeichnungen oder erkläre sie auf eine verständliche Art
  • Nutze Listen, Hervorhebungen und Unterüberschriften zur übersichtlichen Gliederung des Briefings
  • Finde und entferne redundante oder widersprüchliche Informationen
  • Stelle in komplexeren Situationen Referenz-Screenshots oder konkrete Abläufe bereit
  • Halte dich kurz und lagere komplexe und umfangreiche Erklärungen übersichtlich aufbereitet in separate Dokumente aus
  • Verwende einfach zugängliche Web-Dokumente und vermeide Excel-, Word- oder andere weniger kompatible Dateien, die einen Download erfordern
  • Reduziere farbige Textunterlegungen und bunte Formatierungen auf ein Minimum

All diese Elemente tragen zu einer übersichtlichen, zugänglichen und verständlichen Testübersicht und Testplanung bei. Alle Testteilnehmer wissen diesen Aufwand zu schätzen und werden ihn durch bessere Ergebnisse, einen stärkeren Fokus auf die relevanten Bereiche und weniger false-positive bzw works-as-designed Fehlerberichte honorieren.

Wie stelle ich sicher, dass nur relevante Issues in den Testläufen gemeldet werden?

Ein klares Ziel für die Testläufe ist immens wichtig. Je komplexer ein Produkt oder Test ist, desto wichtiger wird zusätzlich ein klarer Fokus mit entsprechender Priorisierung. Er erleichtert nicht nur den Testern den Einstieg in einen Test und legt eine bestimmte Route nahe, sondern er vermeidet auch Fehlerberichte für irrelevante Bereiche. Denn Crowdtester sind ausgesprochen einfallsreich und erfinderisch beim Finden neuer Fehler und probieren nicht selten unkonventionelle Ansätze aus. Diese Eigenschaft ist wunderbar und sollte effektiv eingesetzt und genutzt werden.

Daher:

  • Definiere stets einen klaren Fokus für jeden Test
  • Habe eine Priorisierung zur Hand, die es erlaubt, den Fokus zu schärfen oder zu weiten (je nach Testverlauf)
  • Bestimme explizit alle vorhandenen Ausnahmen und beschreibe sie umfassend und verständlich, um irrelevante Fehler und aus Testersicht vermeidbare Ablehnungen zu vermeiden
  • Definiere gegebenenfalls weitere allgemeine Einschränkungen wie den Ausschluss bestimmter Geräte oder das Testen von Validierungen

Da insbesondere explorative Testläufe und deren Effektivität nicht vorhergesagt werden kann, empfiehlt es sich zudem hinsichtlich des eigenen Fokusses flexibel zu sein. Sollte es sich beispielsweise schnell herausstellen, dass der Fokus zu offen definiert war und Unmengen an low-value Fehlern gemeldet werden, sollte der Fokus entsprechend geschäft werden. Das kann über die stärkere Eingrenzung der zu testenden Funktionalitäten oder Fehlerarten geschehen.

Wie und wofür Test Cases einsetzen?

Test Cases bieten in unterschiedlichen Szenarien mehrere Vorteile. Sie sind nicht nur eine äußerst starke Motivation zur Teilnahme an einem Test, sondern können je nach Verwendung einer Vielzahl von Zwecken dienen:

  • Geführtes Testen eines neuen, komplexen Produkts für ein erstes, besseres Verständnis
  • Zuverlässige Abdeckung konkreter Teilaspekte und -funktionen eines Produkts
  • Die regelmäßige Überprüfung bestimmter, klar definierter Prozesse
  • Kompensation des Zeitaufwands für den Tester bei tendenziell wenigen Fehlerberichten in überwiegend stabilen Produkten oder im Falle eines engen Fokus
  • Die Abarbeitung und Organisation umfangreicher, kleinteiliger Aufgaben

Je nach Ziel des Tests ist die Einbindung von Test Cases entsprechend der vorhandenen Möglichkeiten daher sehr empfehlenswert. Sie sind einer der stärksten Garanten für engagierte Tester und für ein gutes Grundverständnis des Produkts. Tester erfahren durch sie eine höhere Wertschätzung und sind tendenziell kompromissbereiter und verständnisvoller bei strittigen Fehlerberichten oder anderen Problemen.

Tester Auswaehlen

IV. Die richtigen Tester für das Projekt auswählen

Tester mit unterschiedlichen Hintergründen und Erfahrungen führen zu unterschiedlichen Ergebnissen. Und nicht immer sind es nur die erfahrensten Tester, die wertvolle Fehler beisteuern. Es empfiehlt sich eine auf das Produkt, das Testziel und das Test Setup abgestimmte Mischung von Testern.

In Tests gänzlich neuer Produkteigenschaften und -funktionen mischen sich neue und erfahrene Tester tendenziell stärker. Denn während das bewährte Team die Basisfunktionen kennt und beherrscht, sind neue Funktionen für sie ebenso unerforschtes Terrain wie für Tester, die bisher noch nicht für dieses Produkt aktiv waren. Solche Tests sind eine gute Gelegenheit zur Anreicherung eines bestehenden Teams mit neuen Teilnehmern. Sie bringen sprichwörtlich frischen Wind und können neue Problempunkte aufzeigen.

Für Produkte die sehr regelmäßig getestet werden, bietet es sich an Smoke-Tests oder Regressionstests einzubinden. Diese widmen sich den Kernfunktionalitäten und damit der andauernden Stabilität eines Produkts. Der Einsatz von eher erfahrenen Tester zu Beginn der Testläufe bietet sich hier sehr an, da zunächst konstante, zuverlässige Ergebnisse in einem abgesteckten Rahmen (z. B. Test Cases) erforderlich sind.

Handelt es sich um komplexe Projekte, bleiben erfahrene Tester grundsätzlich die erste Wahl. Sie sorgen für weniger “false-positive” Fehlerberichte und folgen eher dem vorgegebenen Fokus. Sie kennen das vorliegende oder vergleichbare Produkte. Bei weniger komplexen Produkten empfiehlt sich hingegen ein guter Anteil neuerer Tester. Diese sind unvoreingenommener und bringen so oftmals sehr einträgliche frische Perspektiven mit.

Auch unterschiedliche berufliche Hintergründe und persönliche Erfahrungen tragen zu einem guten Ergebnis bei. Ein Ingenieur hat durchaus einen anderen, vielleicht analytischeren Blick auf eine Website als ein Fotograf, der womöglich eher auf das Design und die Bedienbarkeit achtet. Ein Teenager nutzt eine App anders als ein Best-Ager. Je mehr individuelle Hintergründe sich abdecken lassen, desto vielschichtiger werden die Ergebnisse.

Basierend auf den ausgewählten Testern sollte nun das Test Setup noch einmal kritisch überprüft werden. So wird sichergestellt, dass alle notwendigen Informationen bereitgestellt sind und eine gute Motivation der Tester gewährleistet ist.

V. Wie der Umgang mit den Ergebnissen die Arbeitsqualität beeinflusst

Tests mittels einer Crowd sind für Außenstehende oftmals eine Black-Box und werden meist mit SaaS-Lösungen verglichen. Das kann potenziell zu Spannungen oder Missverständnissen führen, da die Arbeit bei manuellen Tests letzten Endes doch von realen Testern aus der Crowd erbracht werden.

Besonders die erfahrenen und damit zugleich die guten und effizienten Crowdtester entwickeln schnell ein ausgesprochen gutes Gespür für Tests, die ihnen angenehme Arbeitsumgebungen bieten. Ein freundlicher, konstruktiver Umgang miteinander fördert ein produktives Arbeitsklima, in dem wertvolle Testergebnisse entstehen können.

Darüber hinaus wünschen sich Tester für ihren persönlichen Lerneffekt auch nachvollziehbare Begründungen dazu, warum manche ermittelten Issues vom Kunden akzeptiert und andere abgelehnt wurden.

Zudem erhalten die Crowd-Tester für jeden Testlauf eine individuelle Einladung. Verbinden sie ein Produkt mit positiven vergangenen Erfahrungen,, so ist die Wahrscheinlichkeit auch höher, dass sie die neue Einladung annehmen und mit höchster Motivation beste Ergebnisse erzielen werden.

Zusammenfassung

Crowdtests sind ein sehr mächtiges Werkzeug der Qualitätssicherung. Um es für eine optimale Testplanung zu nutzen, ist eine gute Kooperation des externen Crowdtesting-Anbieters mit dem Entwicklungsteam des jeweiligen Produktes unabdinglich. Dabei ist eine gute Kommunikation der Produkteigenschaften sowie des Testziels elementar für den bestmöglichen Ertrag der Testläufe. Wenn schließlich auch von beiden Seiten mit den Crowdtestern professionell und fair umgegangen wird, können in regelmäßigen Abständen wertvolle Testergebnisse generiert werden. Erfahre mehr über die Vorteile von Crowdtesting auf unserer Übersichtsseite.

Applause Circle Logo