TestNet thema-avond ‘Testen van mobiele apps’

Redactie: Gerben de la Rambelje
Auteur: Marc van ’t Veer ● marc.vantveer@polteq.com

Om te laten zien hoe anders, maar ook hoe mooi en interessant de wereld is van het testen van mobiele apps hadden mijn collega’s en ik het idee opgepakt om een introductie te geven aan de TestNet-leden. Deze mobiele app wereld is een totaal andere wereld dan die van een website of een andere bedrijfsapplicatie. Maar wat is nu het verschil tussen het testen van een website en het testen van een mobiele app? In een workshop van anderhalf uur hebben de deelnemers ervaren hoe je een mobiele app kunt testen en hebben ze meer inzicht gekregen in hoe je de kwaliteit van een mobiele app kunt bepalen. Door het concreet testen van de Yahoo Weather app kregen de deelnemers een beter gevoel bij wat je allemaal moet voorbereiden en organiseren alvorens je kunt beginnen.  
Doelstelling
De app moet functioneren in een complexe, dynamische en zeer diverse omgeving. Het doel van de workshop was het verhogen van het inzicht in de keuzes die gemaakt moeten worden om binnen deze omgeving in een kort tijdsbestek een app te testen. Voor dit doel zijn we ingegaan op hoe je een mobiele app kunt testen. Wat zijn bijvoorbeeld perspectieven en hoe kun je die gebruiken? Hoe ziet de testcyclus van een mobiele app er uit? Wat zijn tours en hoe pas je die toe bij het testen van mobiele apps? Verder zijn we ingegaan op hoe je een mobiel testtraject het best kunt coördineren.
Aan de hand van twee voorbeelden werden de typische risico’s van een mobiele app toegelicht. Eén van de belangrijkste risico’s is de ervaring die gebruikers hebben met de mobiele apps. Deze ervaring blijft niet bij de gebruikers zelf, maar wordt gedeeld met alle andere (mogelijke) gebruikers. Deze ‘eerste’ indruk is een wezenlijk onderdeel van de mobiele app. Bij een slechte ervaring en lage beoordelingen laten nieuwe gebruikers de app links liggen. Het ombuigen van negatieve reacties kan wel één of twee jaar duren en soms lukt dat helemaal niet meer. Het afbreukrisico is erg groot, daarom is het testen van de gebruikersvriendelijkheid van cruciaal belang.
Groepen teams, rollen en begeleiders
De aanwezige groep werd in de workshop verdeeld in teams van drie met elk een eigen rol:
a. De observator (monitoren hoe de interactie tussen de mobiele app en de gebruiker verloopt)
b. De gids (begeleiden van de tester)
c. De tester (uitvoeren van de testen vanuit verschillende doelgroepen en perspectieven).
Elke rol werd door iedereen een keer aangenomen en na elke ronde werden de ervaringen met de hele groep gedeeld. In de zaal liepen meerdere begeleiders rond om begeleiding te geven bij de uitvoer van de oefeningen.
Elke rol werd door iedereen een keer aangenomen en na elke ronde werden de ervaringen met de hele groep gedeeld. Door de herhaling en het delen van de ervaring kreeg iedereen een beter beeld hoe je dit rollenspel kunt gebruiken bij het testen van mobiele apps.
Tours en perspectieven
De oefeningen waren uitgewerkte tours die de mobiele app vanuit verschillende perspectieven test. Een tour is een specifiek type exploratory testing (zie Cem Kaner en James Whittaker). Een tour wordt uitgevoerd in een gedefinieerde tijd (session based). Een tour is in andere woorden een invulling van hoe je een perspectief gaat benaderen. De combinatie van tours met verschillende perspectieven die verdeeld worden over de testniveaus bepalen de testdekking en diepte. De perspectieven volgen het model van Jonathan Kohl. Zijn perspectieven zijn specifieke mobiele app kwaliteitsattributen. Voorbeelden van perspectieven zijn: Location services, Interruptions en Network conditions.
De structuur van een tour is hieronder in zes punten weergegeven en bij elke onderdeel is een voorbeeld uitwerking gegeven. In dit voorbeeld staat het perspectief ergonomie centraal en is een tour gekozen waarbij je vele taken combineert.

1. Wat?

Beschrijf globaal wat de scope is van de test tour. Wat zou getest moeten worden en wat hoeft niet getest te worden?
Voorbeeld
• Welke stappen zorgen ervoor dat mijn ogen of vingers vermoeid raken tijdens het doorlopen van alle mogelijkheden of het plaatsen van een bestelling?
De enige manier om de app te beheren is met je ogen en je vingers. Als je de weg kwijt raakt of je moet een bepaalde handeling meermalen uitvoeren terwijl dit in je ogen niet logisch is, dan kan je stress ervaren. Mensen missen dingen, maken typefouten of lezen slecht.

2. Hoe?

Beschrijf globaal hoe de test zou moeten worden uitgevoerd. Als het nodig is, geef risico’s aan en mogelijke specifieke testcases.
Voorbeeld
• Ga door de mobiele app, volg de hoofdlijnen en probeer ze uit.
• De hoofdlijnen zijn:
– Het gebruik van de navigatiebalk en navigatiepad
– Het gebruik van de zoekfunctie
– Toevoegen van een nieuwe locatie
– Weergave details locatie
– Wijzigen locatie
– Maak wijzigingen in de instellingen
– Stuur Feedback
– Beoordeel de app

3. Evaluatievraag voor het doel van de tour

Beschrijf de evaluatievraag voor het doel van de tour.
Voorbeeld
Deze test laat zien hoe het dagelijks gebruik van de app in zijn werk gaat. Je hebt de app nu intensief gebruikt, meer dan twee uur achter elkaar. Krijg je vermoeide en pijnlijke vingers en/of ogen na langdurig gebruik van de app? (>2 uur)
Laag             Gemiddeld                         Hoog
1          2           3                 4                 5

4. Achtergrond info tour

Verwijzingen naar de track- en trace-gegevens van de tour.
Voorbeeld
Tour titel              Do you have physical stress when using the app every day?
Tour ID                UE-70
Applicatie          Native app
Geplande duur 30 min. / 60 min. / 2 uur / 4 uur / 8 uur
Type tour           Combination
Perspectief        Ergonomic
Personas           <internal business, external end user>
Smartphone     Android / iOS
Conditie(s)       Binnen / buiten / zitten / lopen / WiFi / 3G / 4G

5. Condities / Voorwaarden

Beschrijf wat nodig is om de test uit te voeren.
Voorbeeld
• Gebruik de app langdurig en constant, hou er een stopwatch bij en registreer het moment waarop je vermoeide ogen en/of vingers kreeg

6. Mogelijk interessante punten?

Extra achtergrondinformatie die handig is bij het uitvoeren van de tour.

7. Waar moet je naar kijken?

Beschrijf de bevindingen die gezocht worden, welk goed gedrag wordt verwacht.
Conclusie
Tijdens de uitvoering hoorde je onder andere discussie over hoe kun je de app vanuit een bepaald perspectief kunt testen, opeens werd het WiFi aan en uitgezet, de app vergeleken met andere apps, heel veel apps op gestart, platformen vergeleken en werd er rondgelopen. Er werd getest zoals de mobiele app ook in de praktijk gebruikt wordt.
In de workshop hebben de deelnemers ervaren hoe anders het is om een mobiele app te testen en dat het een grote uitdaging is om binnen de korte release cycli voldoende te testen. Veel oefening en training helpen hier bij. Enkele reacties die we hoorden tijdens de borrel zijn: ‘inspirerende workshop’, ‘format workshop met de verschillende tours waren echt een eye opener’, ‘het goed kunnen testen van mobiele apps is een zeer complexe taak’, ‘Dit is echt een andere wereld, nooit geweten, echt leuk’.
Workshop referentie
De presentatie van de workshop en de oefeningen kunnen teruggevonden worden op de website van Polteq (http://www.polteq.com/polteq-in-beeld/presentaties-van-polteq/) en TestNet (https://www.testnet.org/viewcategory/268.html).