Erfolgsfaktoren für mobile Apps (3): App Check durch die Zielgruppe

Bevor der App Publisher eine neue App oder ein Update einer bereits veröffentlichten App in den App Store einstellt und zum Download freigibt, will er wissen, ob seine App bei seiner Zielgruppe ankommt. Die eigene Zufriedenheit mit seiner App und die positive Reaktion der engen Freunde sind bereits ein gutes Zeichen, entscheidend für den Erfolg der App ist jedoch wie die Masse der Nutzer mit der App zufrieden sein wird. Diese Erfahrung lässt sich zu einem Grossteil vor dem Launch der App oder des App Updates vorwegnehmen, indem die App getestet wird – idealerweise von der avisierten Zielgruppe: genau das ist durch einen panelbasierten App Check möglich. 

Bereits bei einem Prototypen steht die grundliegende Benutzerführung einer App schon fest. Ob diese gelungen ist, erkennt der App Publisher jedoch oft erst, wenn es zu spät ist. Nach dem Release hagelt es schlechte Bewertungen im Store. Bei der Fülle an Apps hat man genau eine Chance, den Nutzer zu überzeugen. Damit dies gelingt, sollte der avisierte Nutzer möglichst früh in die Entwicklung mit einbezogen werden.

Eine neue Form der Qualitätssicherung bietet hierbei umfangreiche Möglichkeiten: Der App Check durch die Zielgruppe. Dabei prüfen echte Nutzer die App bereits vor dem Release. Im Gegensatz zu inhouse Tests (durch den App Entwickler selbst und seine engeren Freunde) handelt es sich um unvoreingenommene Testpersonen, die die App objektiv testen. In diesem Beitrag zeigen wir den Ablauf eines beispielhaften App Checks, wie wir ihn in Kooperation mit unserem Partner Testbirds durchführen.

Das Testpanel
Da wir über einen großen Pool an Testern in unserem Panel verfügen, können wir für die meisten Apps Tester der passenden Zielgruppen rekrutieren. Bei der Anmeldung in unserem Panel erstellen die Tester umfangreiche soziodemographische Profil, die uns zur Auswahl der jeweils passenden Testpersonen dienen. Die Tester überprüfen die App von zuhause aus auf ihren eigenen Geräten und erhalten ein Honorar für die Erstellung eines entsprechenden Testberichts.

Qualitätssicherung
Um eine hohe Qualität der Tests und Testergebnisse sicherzustellen, ergreift Testbirds qualitätssichernde Maßnahmen: je Test ist ein sogenannter Birdmaster als Projektmanager dafür verantwortlich, das Testszenario zu entwickeln und die Tester – aka Birds – zu koordinieren. Erfüllt ein vom Bird eingesendeter Testbericht nicht die erforderlichen Qualitätskriterien (z.B. Mangel an Screenshots), wird er vom Birdmaster angehalten, den Bericht zu überarbeiten bzw. den Test zu wiederholen. Auf diese Weise wird sichergestellt, dass jeder Test sauber durchgeführt und jeder einzelne Testbericht den Qualitätskriterien entspricht.

Wie sieht der App Check aus?
In einer beispielhaften Ausgangssituation wird die iOS App eines Hotelbuchungsportals dem App Check unterzogen. Neben der aktuell im App Store verfügbaren Version wurden hierfür zwei neue Prototypen entwickelt und gemeinsam mit der bereits bestehenden Version für den App Check zur Verfügung gestellt. Der Fokus des Tests liegt auf der neu entwickelten Filterfunktion zur Hotelsuche. Das bedeutet: Nicht nur komplette Apps, sondern auch einzelne Funktionen bzw. sogenannte Use Cases werden mit dem App Check getestet. Use Cases sind die relevanten häufigsten Anwendungsbeispiele der App. Hier wird die Frage beantwortet: wann und wie der Nutzer die App einsetzt und welche Erwartungen er in diesen spezifischen Situationen an die App stellt.

In unserem Fall stellen insgesamt zwanzig Tester stellen einen repräsentativen Querschnitt der Bevölkerung in Deutschland dar, sind mindestens 25 Jahre alt und insoweit online- und digitalaffin, dass sie die Bereitschaft für eine Hotelbuchung über eine App mitbringen. Bugs oder Feedback zum Rest der App sind zu diesem Zeitpunkt nicht relevant und werden daher nicht im Test berücksichtigt. Zielvorgabe des Kunden ist, den besten der drei alternativen Prototypen zu ermitteln. Dafür erhalten die Tester folgende Anleitung:

1. Zum Start des Tests erhältst Du Deine individuelle Reihenfolge, in der die drei Prototypen nacheinander bewertet werden müssen.
2. Lade den jeweiligen Prototypen herunter.
3. Führe das jeweils angegebene Szenario durch und beantworte die Fragen.
4. Nachdem Du die drei Alternativen bewertet hast, erstelle ein Ranking und küre Deinen Favoriten.

Für jede der drei Alternativen erhalten die Tester die folgenden Use Cases:
Stell Dir vor, Du möchtest am Wochenende für zwei Nächte zusammen mit Deine(m)(r) Partner/in nach Paris reisen und suchst dafür noch eine Unterkunft. Aus diesem Grund erkundigst Du Dich nach Hotels in Paris und nutzt dafür die Filterfunktion der App:

• Du möchtest nicht mehr als 100 Euro pro Nacht und Person ausgeben. Suche deshalb nur nach Hotels bis zu diesem Preis.
• Dennoch möchtest Du mindestens ein Drei Sterne Hotel buchen.
• Zudem soll Dein Hotel maximal 5 Kilometer von der Pariser Innenstadt entfernt sein.
• Suche nach Hotels, die diese Kriterien erfüllen.

Um die Auswahl zu erweitern, möchtest Du nach Begutachten der ersten Hotelergebnisse auf die Preisbeschränkung von 100 Euro sowie die maximale Entfernung von 5 Kilometern verzichten. Es soll ein besonderes Wochenende in einem schönen Hotel werden und deshalb stellst Du die Preis- und Entfernungsfilter ab und suchst noch einmal nach Hotels, die lediglich den „Sternefilter“ (mind. 3 Sterne) beinhalten.

Bei jeder Version beantworteten die Tester folgende Fragen:

Qualitative Fragen:

• Hattest Du Probleme bei Erfüllung des Szenarios? Wenn ja, warum?
• Was war positiv an der genutzten Filterfunktion?
• Was war negativ und wie könnte es besser sein?
• Würdest Du die eben genutzte Filterfunktion noch einmal benutzen?
• Was würdest Du an dieser Filterfunktion ändern?
• Hast Du zusätzliche Filtermöglichkeiten vermisst?

Quantitativ Fragen auf einer Skala von 1 bis 6 (6= beste Bewertung):

• Wie ansprechend/attraktiv fandest du den Filter?
• Wie intuitiv fandest du den Filter?
• Wie übersichtlich fandest du den Filter?

Testergebnis
Kaum überraschend belegt die aktuell im Store verfügbare Version der App den letzten Platz im Test. Die Ergebnisse der beiden neuen Prototypen liegen jedoch so nahe beieinander, dass individuelle positiv bewertete Elemente aus beiden in einem nächsten Entwicklungsschritt kombiniert werden können. Das individuelle Feedback der Anwender hilft dem Kunden, zusätzliche Anpassungen vorzunehmen. Beispielsweise vermissen fast alle Tester eine Filtermöglichkeit nach Art der Verpflegung (Voll-/Halbpension).

Der Kunde erhält das Testergebnis in Form einer schriftlichen Zusammenfassung aller einzelnen Testergebnisse. Zusätzlich wird eine Bewertung unsererseits durchgeführt, die in individuellen Handlungsaufforderungen zur Modifikation der App mündet. Im konkreten Fall konnte durch diese Evaluation von Prototypen die Entwicklung der App frühzeitig an die Bedürfnisse der Zielgruppe angepasst und optimiert werden, was sich in einer signifikanten Steigerung der Conversion Rate hinsichtlich Hotelbuchungen äussert.

Fazit
Gelegentlich erhalten wir das Feedback, dass für das Testing von Apps kein Budget eingeplant worden ist. Wir raten dringend dazu, einen Teil des Entwicklungsbudgets einer App für das Testen zu reservieren. Die im App Check erkannten Fehler helfen dem App Publisher, signifikante Fehler und Schwächen seiner App auszumerzen. Die aus dem App Check resultierenden Handlungsempfehlungen helfen dabei, die Nutzererfahrung zu optimieren und Downloads und Conversion Rates signifikant zu steigern. Der App Check ist ein zentraler Bestandteil der App Entwicklung und sollte in keinem neuen App Projekt fehlen.