Codeless Test Automation: mythe of magie?
Op 22 juni organiseerde Pancompany een meet-up met als thema codeless test automation. Dit thema is recent meer in de publiciteit dus wilden we ontdekken waar alle ophef over is en hoe waardevol codeless test automation kan zijn voor het uitvoeren van onze werkzaamheden. Het voornaamste voordeel dat wordt aangegeven is dat iedereen met test automation aan de slag kan. Er is beperkt technische kennis nodig EN er komt geen programmeren meer bij kijken. Tijd om de proef op de som te nemen en “als leek” aan de slag te gaan met twee verschillende tools. Werkt het magisch of blijkt het mythe?
Van de toolselectie tot de eerste test
Het begon met de toolselectie. Omdat we geen specifiek testdoel hebben en juist het gebruik van de tool willen beoordelen, konden we vrijwel elke tool selecteren. De keuze viel op een Amerikaanse tool die een hoge rating heeft van 4.5 op 5 en een groot aantal toepassingen biedt. Er is een free trial beschikbaar en de tool is eenvoudig te installeren. Er zijn een paar korte YouTube-video’s beschikbaar om ons op weg te helpen. Uiteindelijk hebben we binnen een kwartier de eerste geautomatiseerde test draaien. Een eenvoudige test, maar het beloofde wat!
Maar wat nu als het script wat complexer wordt? We maken een testcase waarin we waardes invullen en selecties maken uit drop down lijsten. We willen berekende waarden controleren. Daar gaat het helaas mis. De selecties worden niet op de juiste wijze gemaakt. We hebben geen idee hoe dat op te lossen. Toch maar een programmeur erbij betrekken om dat voor ons te doen. En die heeft inderdaad de oplossing waarmee we verder kunnen. Dit proces herhaalt zich een aantal keer. We trekken de conclusie dat het opstellen van testen heel eenvoudig gaat, maar het herstellen van fouten in de tests en het analyseren van bugs te lastig is.
De scripts zijn klaar en deze worden bij voorkeur automatisch uitgevoerd en geïntegreerd met andere tools. Dat is wenselijk om dagelijks in één dashboard de testresultaten van alle uitgevoerde testen in te kunnen zien. Het voordeel van de hedendaagse testtools is dat ze met veel andere tools te integreren zijn. Maar de vele opties maakt het lastig voor de niet technisch georiënteerde teamleden om alle opties te overzien en te gebruiken. Het integreren en configureren van tooling is bij voorkeur een taak voor een programmeur.
Tijd voor een tweede tool
Op basis van de eerste positieve ervaring willen we nog een andere tool gaan gebruiken. Via een collega komen we op het spoor van een Nederlandse tool. Ook voor deze tool is een free trial beschikbaar. Het downloaden en installeren is heel eenvoudig en we kunnen direct aan de slag. Maar dan wordt het lastig. De tool werkt op basis van te selecteren acties en objecten. De lijst van te selecteren acties is veel te uitgebreid. De betekenis van de beschikbare acties is ook niet altijd duidelijk. Ook het onderscheid ertussen niet. Vervolgens moeten de objecten op een manier worden beschreven die technisch is. Bij het gebruik van de eerste tool werden deze objecten door de tool in het testscript geplaatst. Al met al lukt het niet om een test op te stellen die uit meer dan drie handelingen bestaat. Tijdens de meet-up hebben we het script proberen aan te vullen, maar dat is niet gelukt. Ook de beschikbare documentatie was niet in alle gevallen voldoende. We concluderen dat de tool heel veel potentie heeft, maar zonder training of assistentie van programmeurs niet geschikt is.
Codeless test automation heeft potentie
Al met al zijn we redelijk positief over het gebruik en de potentie van codeless test automation, maar trekken we de conclusie dat de tools niet te gebruiken zijn zonder training en/of technische ondersteuning. Testers zonder technische achtergrond zijn maar ten dele in staat de vele mogelijkheden te benutten en fouten die optreden te herstellen. Verder is codeless test automation niet voor alle testdoeleinden geschikt. De mogelijkheden liggen vooral op het (black box) testen van bijvoorbeeld de functionele werking, user interfaces en de beschikbaarheid van de applicatie. Met een relatief beperkte inspanning kan codeless test automation een bruikbare aanvulling zijn op de bestaande implementatie van testautomatisering. Neem zelf eens de proef op de som en ga samen met het team met een free trial aan de slag.