Redactie: Paul Beving
Auteur: Gerben de la Rambelje ● g.delarambelje@maxmin.eu
Door de toepassing van Agile en DevOps-methoden zijn veel organisaties op zoek naar de beste testautomatiseringstools, die nodig zijn om het testen efficiënter aan te pakken. Maar wat is nu de beste testautomatiseringtool waarmee dat bereikt kan worden?
Naveen van AutomationLabs heeft een top-10 beste testautomatiseringstools van 2018 uitgewerkt, die ik volledig onderschrijf. Uiteraard valt over smaak niet te twisten, maar de meeste van onderstaande tools kom je zeker in de praktijk tegen. Onderstaande lijst geeft een overzicht van tools en frameworks voor testautomatisering, die organisaties kunnen helpen het testproces efficiënter in te richten.
Top-10 testautomatiseringstools van 2018
- Selenium
- Katalon Studio
- UFT
- Watir
- IBM Rational Functional Tester
- TestComplete
- TestPlant eggPlant
- Tricentis Tosca
- Ranorex
- Robot framework
De top-10 verder uitgelegd door Naveen
In onderstaande sessie legt Naveen in een dertig minuten durende video wat de argumenten zijn voor deze top-10.
Fitnesse versus Robot Framework
Grote afwezige in deze top-10 is Fitnesse, dat een paar jaar geleden een ‘rising star’ was onder de testautomateringsframeworks. Met de Fitnesse implementaties van Xebium en Hsac kan je redelijk eenvoudig de testautomatisering van je ‘webomgeving’ opzetten en onderhouden. Gek genoeg kom je ook in de praktijk Fitnesse steeds minder tegen en lijkt het erop dat het Robot Framework hiervoor in de plaats is gekomen. Dit geeft aan dat open source initiatieven niet altijd een oneindig leven geschonken zijn, en de ondersteuning hiervan afhankelijk is van de populariteit in de markt.
Het Robot Framework is een open source automatiseringsframework dat is gebasseerd op Acceptance Test Driven Development (ATDD). De basis van het Robot framework is opgezet in Python en is makkelijk uitbreidbaar met Python of Java Libraries. Sterk punt van dit framework is dat je ook mobiel testen hiermee kan opzetten, met behulp van Appium als Interface. Ik moet eerlijk bekennen dat het best wel een klus is dat tijd kost om Robot framework te installeren en werkend te krijgen.
Katalon Studio
Grote onbekende voor mij was Katalon Studio. Omdat deze op de tweede plek staat in de lijst, een reden voor mij om hiermee aan de slag te gaan. De tool bevat geweldige functies in vergelijking met de andere bestaande tools in de markt en is open source. De tool is gebouwd bovenop Selenium en Appium, je kan hier dus testscripts voor web, mobiel en webservices mee automatiseren. Ik raad deze tool ten zeerste aan voor degenen die nieuw zijn met testautomatisering, omdat het een gebruiksvriendelijke gebruikersinterface heeft en het hierdoor veel makkelijker is testscripts te automatiseren en te onderhouden.
Het is makkelijk Java Libraries toe te voegen aan de tool, die dan ook gebruikt kunnen worden. De taal die wordt gebruikt is Groovy, wat een OOP-taal is. Gebruikers met een Groovy / Java-achtergrond kunnen dus testscripts ontwikkelen met behulp van de door tool geboden IDE. Je kan hiermee dus heel makkelijk ‘features’ toevoegen, die nodig zijn om meer functionaliteiten te kunnen automatiseren in een specifieke omgeving.
Verdere ontwikkelingen Testautomatisering
De ontwikkelingen volgen elkaar tegenwoordig heel erg snel op. Wat nu hot is, kan over een jaar alweer achterhaald zijn. De top-10 lijst van testautomatiseringstools die nu is weergegeven, is dan ook maar een moment opname. Het is zeer waarschijnlijk dat andere ‘fancy’ tools niet in de lijst staan, die er eigenlijk wel in thuis horen.
Welke tool je ook kiest, het is vrij makkelijk om hiermee aan de slag te gaan. Echter, in de praktijk blijkt het een hele klus te zijn om de veelheid aan scripts die hiermee ontwikkeld zijn, goed te kunnen onderhouden. Blijf dus goed nadenken welke tool of framework jou het beste ondersteunt in het onderhouden van de testscripts. Neem ook in overweging welke tool de beste faciliteiten biedt om te kunnen debuggen als er een testscript faalt. Falende testscripts als onderdeel van een software built en het moeilijk kunnen ‘pinpointen’ waar de fout zit, wat heb ik daar veel tijd aan verspild. Zorg er dus vooral voor dat de testscripts goed worden opgezet en makkelijk onderhoudbaar zijn. Lever daarbij goede documentatie, wat de testscripts op functioneel niveau doen. Probeer daarnaast niet na te streven dat je alles wilt automatiseren, want dan heb je de kans dat je het spoor bijster raakt en achterblijft met moeilijk onderhoudbare testautomatisering.
Ik ben de laatste maanden met het Robot Framework aan de gang en ik moet zeggen dat ik daar erg over te spreken ben. Doordat je Python kan gebruiken voor zowel de variables kant als de library kant, kun je eigenlijk alles wat je met Python kan bereiken.
Daarnaast komt je makkelijk in contact met de lead developer en de diverse developers van de belangrijkste plugins door de Slack groep van het framework te joinen.
Overigens doet het Robot Framework niet alleen ATDD, ook data driven en BDD worden ondersteund. Dat alles vanuit een KDT opzet, iets wat enorm leesbare testcases oplevert. Dat is toch iets dat veel andere tools missen, leesbare testcases.
Veel vragen op Slack zijn over de SeleniumLibrary:
http://robotframework.org/SeleniumLibrary/SeleniumLibrary.html
Dat is met een simpele pip install direct 100+ keywords voor web automation beschikbaar binnen het Robot Framework.
Selenium op 1. en Robot Framework op 10. vind ik dan ook wel grappig, omdat Robot Framework alles kan wat Selenium kan, en dan nog veel meer.
Daarnaast is de developer van de AngularJS plugin ook bezig aan een update; de naam is wat ongelukkig, want die plugin is voor AngularJS en Angular 2+. Hij loopt op het moment wat achter op de SeleniumLibrary, maar dat moet op korte termijn verholpen worden.
Door Robot Framework te gebruiken, kun je dus zonder Selenium / Jasmin / Protractor als losse omgevingen. Daarnaast zijn er plugins voor SOAP, REST, database, SSL, etc., etc. De scope is dus veel breder dan een groot deel van de tools in de lijst van Naveen.