Från manuella tester till automaticerade FIT tester i Visual Studio Team System

Technorati-taggar: ,,

Jag har under en längre tid funderat på hur man skall kunna jobba med FIT tester eller likande tester i Visual Studio Team System och i Team Foundation Servers automatiska tester.

Min första fundering var att skapa Generic Tests som kör FITNesses test runner mot vår FITNesse wiki. Detta skulle funka men skulle innebära att man skulle behöva skapa ett Generic test i Visual Studio för varje FITNesse test alt. varje test suite. Känns som det skulle bli krångligt att administrera eftersom det kanske ändringar på Wikin och man glömmer att uppdatera de generiska testerna

Min andra fundering blev då att skapa en egen testtyp i Visual Studio där man skapar en HTML fil för varje FIT test med en egen filändelse. Nackdelen är att det inte är så väl dokumenterat hur man skall göra detta i SDK:n och det skulle innebär underhåll av koden för denna nya testtyp. I mina undersökningar om hur jag skulle kunna göra detta så slog det mig, manuella tester är ju HTML dokument! Här av mitt förslag till lösning.

När ett nytt test skall skrivas för en befintlig funktion, eller alldra helst innan en ny funktions skall utvecklas, skapa ett manuellt test.

Skriv testet som ett normalt manuellt test fall med beskrivande text och steg för hur man genomför testet. Kriterier för hur man bedömer om testet är gick rätt eller fel måste finnas med.

Nu kan det manuella testet börja användas som en del av testprocessen och testresultaten kan lagras i Team Foundation Server för rapportering m.m.

När man sedan vill omvandla detta manuella test till ett FIT test som kan köras automatiskt så börjar man att skriva om det manuella testet och lägger in sk. FIT tabeller istället för text i steg form.

Utvecklarna skapar sedan FIT fixturer för tabellerna som är skrivna i det manuella testet om det inte redan finns FIT fixturer som kan användas.

Sedan skapar man ett Generic test som använder test runnern för FIT och pekar den mot filen för det manuella testet.

Nu har man både ett manuellt test som man kan köra om man önskar samt man har ett FIT test som man kan köra ett i taget eller som en del av det automatiska bygget.

Den största nackdelen med denna lösning är att det inte på något enkelt sätt går att visa resultatsidorna för de tester som går fel utan att skriva en egen wrapper runt test runnern för FIT.

Den andra nackdelen jag har sett är att Word som är default editorn för de manuella testerna genererar HTML som inte är så bra tillsammans med FIT.

Jag skall fortsätta att forska mer på detta ämne och återkommer om jag gör framsteg.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s