Tutkiva testaus ja offshore

18. syyskuuta, 2009
| Ohjelmistotestaus
|Kirjoittaja: Antti Niittyviita

Kävin eilen Agile Finlandin järjestämässä Agile Dinner -tapahtumassa. Paikalla oli joukko Oululaisia ohjelmistoalan ammattilaisia useista eri yrityksistä. Tapahtuman tarkoitus on kerran kuussa istua iltaa samanhenkisessä seurassa ja keskustella ketteryydestä.Tällä kertaa, kiitos Testaus OSY:n, aiheena oli testaus.

Maaret Pyhäjärvi alusti keskustelun erinomaisesti. Hän kertoi omia kokemuksiaan suuren organisaation muutoksesta kohti Scrummia. Aihetta käsitellessä keskusteltiin paljon myös tutkivasta testauksesta. Tähän liittyen kerroin omista kokemukistani kiinalaisen testaustiimin kanssa.

Ajatuksena kiinalaiset ja tutkiva testaus nostaa varmasti hymyn huulille. Eikö totta?

Kyllä meitäkin alkuun hymyilytti. Projektissa, jossa työskentelin oli kaksi suomalaista ja isompi tiimi kiinalaisia. Testaus oli suunniteltu vahvasti etukenossa ja testitapaukset oli dokumentoitu step-by-step.

Projektin ensimmäisen puolen vuoden testitulokset olivat erinomaisen näköiset, mutta virhekertymän lineaarinen kasvutahti herätti kuitenkin hämmästystä. Aikaisempien kokemustemme mukaan projektien virhejakauma osui kivasti Gaussin käyrälle ja testauksen tehokkuuttakin oltiin ennen mitattu myös virhekertymällä. Outoa.

Testejä tarkasteltiin myös suomalaisin voimin. Silloin havaittiin, että virheitä alkoi löytyä tutkimalla testauksen ohessa myös polkuja testien reuna-alueilta. Ennakkoluuloista huolimatta päätimme jatkaa tutkivan testauksen kokeilua. Puolet speksatuista testikierroksista pudotettiin pois ja ainoa tehtävänanto testaustiimille oli “etsi virheitä & raportoi”.

Tulokset tässä vaiheessa eivät silti olleet kovin rohkaisevia. Testaajat eivät uskaltaneet tehdä itse ratkaisuita siitä toimiko softa oikein vai ei.

Toimintamallia muutettiin siten, että jokaiselle testaajalle jaettiin omat vastuualueet, joita kierrätettiin säännöllisesti. Bluetooth, Wifi, Kamera jne… Tämän lisäksi kepin sijaan kokeiltiin porkkanaa. Testaajista alettiin pitämään viikottaista top 5 rankin-listaa.

Eniten uniikkeja virheitä raportoinut testaaja sai tietysti mainetta ja feimiä projektin sisällä. Näin virheraporttien määrä projektissa kaksinkertaistui alle kuukaudessa.

Rohkea lähestyminen ja uusien juttujen kokeilu myös perinteisessä projektissa voi piristää kummasti. Vaikka uusi ajatus aluksi vähän hymyilyttää, niin kannattaa pitää mielessä, että kyllä se kiinalainenkin oppii!