Skall man mäta test/fel?

Jag börjar den här bloggposten med ett citat:

“There’s nothing more dangerous than a vice president with statistics”
– Lessons learned in software testing – Kaner, Bach, Pettichord

Alla som kan något om statistik vet att man kan få i princip vilket resultat man vill genom att ställa ”rätt” frågor, välja ut resultat som inte stöds av helheten (medvetet eller ej), och presentera det felaktigt. Att testa är att ställa frågor. Om man ställer fel frågor till systemet eller inte förstår svaren så kan resultatet bli väldigt missvisande.

Det finns flera olika sätt att mäta i samband med test men just i denna bloggpost så skall jag ta upp frågan om att mäta antalet fel. Jag kommer inte att ta upp prestanda, acceptans etc.

När jag tittar igenom all den litteratur jag läst om test så hittar jag hundratals olika saker att mäta när det kommer till fel. Vi kan mäta:

• Fel per 1000 rader kod
• Öppna felrapporter
• Kravtäckning
• Testtäckning
• Felrapporter per dag/vecka
• och några hundra mätvärden till…

Men vad säger dessa värden egentligen?

Om vi har 5 fel per 1000 rader kod, är det bra? Om vi har trettio, är det dåligt? Om vi har 5 öppna felrapporter eller hundra, säger det egentligen något? Som vanligt så beror det på sammanhanget och hur allvarligt ett fel är.

Man måste gradera fel efter allvarlighet, ett stavfel är också ett fel som kan resultera i en felrapport, precis som att kopplingen till betalningsleverantören. Vissa felrapporter kan ta upp många fel och det finns kanske många andra som pekar mot samma fel. Hur mäter man då?

Säger jag då att man inte skall mäta test? Inte riktigt. Jag säger att man skall ha ett klart syfte med varför man mäter och vara väldigt försiktig när man drar slutsatser. Att värden förändras kan ha så väldigt många olika orsaker. Det kan bero på att vi använder nya tekniker, gör något väldigt komplicerat, ny personal, deadlines osv osv. Ibland är det enkelt att se orsaken till det sämre resultatet och det behöver inte vara något negativt i längden. Ser man testvärden bara som varningslampor som inte behöver betyda att vi har problem utan snarare som något vi bör titta närmare på så kan det vara bra.

Men det kan vara väldigt missvisande att visa dessa mätvärden för ”upper management”.