Pähkinänkuoressa
Käyttäjätestauksen ideana on selvittää, vastaako toteutettu järjestelmä tai prototyyppi käyttäjän tarpeita. Sen aikana käyttäjä suorittaa hänelle annetun tehtävän, joka vastaa järjestelmän käyttöä oikeassa tilanteessa. Tilanne voidaan taltioida videona tai äänenä, ja/tai tilanne voidaan havainnoida samalla kun käyttäjä suorittaa tehtävän järjestelmässä.
Käyttäjätestaus pyritään tekemään n. 5-6 henkilölle, jotta saadaan riittävästi tietoa siitä, miten hyvin järjestelmä vastaa käyttäjän tarpeita. On myös hyvin tavanomaista, että käyttäjiä pyydetään täyttämään lomake tai vastaamaan haastattelukysymyksiin testitehtävän jälkeen tai käyttäjätestauksen lopuksi.
Ennen käyttäjätestausta
Tavoite
Kaikki lähtee siitä, että mietitään mitä käyttäjätestauksella halutaan saavuttaa ja mitä mitata. Ilman tavoitetta, käyttäjätestauksen aikana havainnointi muuttuu mahdottomaksi ja mahdollisen videotallenteen katsomiseen menee huomattavasti enemmän aikaa. Havainnot vaihtelevat tällöin helposti laidasta laitaan.
Havaintotaulukko
Tavoitteet tuovat eteesi lähes poikkeuksetta rungon siitä, minkälaisiin ongelmiin halutaan keskittyä ja miten niitä halutaan mitata. Tällöin tarvitset havaintotaulukon, jonne kirjaat kaikki löytämäsi havainnot. Jos sinulla ei ole tavoitetta, eikä havaintotaulukkoa, olet hukassa.
Tässä esimerkki, miten tilanne voi mennä vikaan:
Katsot ensimmäisen videon ja otat ylös 10 havaintoa neljästä eri aihepiiristä. Katsot perään toisen ja otat samoja havaintoja, kuin ensimmäisessä, mutta ne tapahtuvat eri tavalla, joten aihepiirit eivät ole samoja, vaikka havainto on. Kolmannen kohdalla otat ylös edelleen samoja havaintoja, mutta nyt huomaat niiden kohdistuvan eri näkymiin tai sovelluksen kohtiin. Ennen neljännen videon läpikäyntiä teet itsellesi selkeän pohjan havaintoja varten. Tämä aiheuttaa sen, että kadotit todennäköisesti osan havainnoistasi ja neljännessä löydät kasan ihan muita havaintoja kuin kolmessa aiemmassa. Nyt joudut siis käymään läpi myös kolme aiempaa videota uudelleen, jotta tiedät toistuvatko neljännestä videosta löydetyt havainnot niissä.
Tämä helpottuu, kun sinulla on selkeä havaintotaulukko. Havaintoja kirjatessa olemme todenneet olevan hyödyllistä, kun havainnoista kirjataan: käyttäjä id, aika, havainto, näkymä, sovelluksen osa, (heuristiikka), havainnon tyyppi ja vakavuusluokka. Vakavuusluokkina voidaan käyttää esimerkiksi kolmea luokkaa: Kriittiset, keskimääräiset ja vähäiset. Näiden määrittelyt kannattaa miettiä ennen havaintojen kirjaamista.
Muu valmistelu
Käyttäjätestauksen valmisteluun liittyy paljon asioita ja ne oppii vain tekemällä käyttäjätestausta useita kertoja. Ei keskitytä nyt tarkemmin näihin, mutta kunnossa on oltava ainakin: Testaussuunnitelma, testitehtävä, tietoinen suostumus, testihenkilöt hankittu, materiaalit, laitteet ja tarvikkeet.
Käyttäjätestauksen kulku
Fasilitaattorin ja havainnoijan tärkein tehtävä on pitää suunsa kiinni ja antaa käyttäjälle aikaa tehtävän kanssa. Testin aikana käyttäjän pitäisi ajatella ääneen, jolloin fasilitaattorista tuntuisi kovin luontevalta alkaa keskustella käyttäjän kanssa. Tämä on kuitenkin syytä jättää käyttäjätestaussession loppuun, sillä suurin osa asioista selviää käyttäjälle testauksen aikana itsestään.
Testauksen aikana fasilitaattori varmistaa, että käyttäjällä on tarvittavat materiaalit, laitteet ja tarvikkeet saatavilla. Tämän lisäksi fasilitaattori pyrkii pitämään tilanteen rentona, jotta käyttäjän on helpompi keskittyä tehtävän tekemiseen.
Testauksen aikana ja jälkeen voidaan käyttää erilaisia lomakkeita. Jos testitehtäviä on useita eli käyttäjä suorittaa ns. testiskenaarion, jokaisen tehtävän jälkeen käyttäjä voi arvioida tehtävää. Näistä esimerkkinä voidaan mainita SEQ eli Single Ease Question ja ASQ eli After Scenario Questionnaire. Testauksen jälkeen suoritettavista kyselyistä tunnetuimmat lienevät SUS eli System Usability Scale, UEQ eli User Experience Questionnaire ja mielipiteitä jakava NPS eli Net Promoter Score.
Haltulla olemme usein käyttäneet SUS-lomaketta arviointimenetelmänä. Olemme kuitenkin huomanneet puutoksen, ettei SUS-tulosten tarkasteluun tarvittavaa kuvaajaa ole kunnollista saatavilla. Teimme sen itse. Jotta maailma olisi parempi paikka, haluamme jakaa kanssasi tuon kuvaajan ja sen lähdetiedoston(.ai). Käytä tätä miten tahansa ikinä haluat. Halutessasi voit ilmaista kiitollisuutesi liittymällä Jaakko Niileksen kautta UX-postituslistallemme ;)
Havaintojen käsittely
Tämä on viimeinen hetki, kun voit tehdä itsellesi havaintotaulukon. Kun katsot ja kuuntelet tallennetta, kirjoitat havainnot yksi kerrallaan taulukkoon. Hyvän havaintotaulukon avulla pystyt helposti tarkastelemaan, miten ongelmat ovat toistuneet eri käyttäjillä. Taulukko-ohjelmassa suodattimien avulla näet helposti havainnot eri näkymissä, järjestelmän eri osissa. Myös havainnon tyypin tai vakavuusluokituksen mukaan suodattaminen tai järjestäminen nopeuttaa tulosten läpikäymistä.
Raportointi
Käyttäjätestauksesta yleensä kirjoitetaan raportti. Raportti sisältää muun muassa selostuksen testitilanteesta, eritellyt havainnot selityksien ja kehitysedotuksien kanssa sekä koonnin löytyneistä havainnoista. Jos haluat saada lisätietoja järjestelmäsi käyttäjätestauksesta, ota yhteyttä, niin keskustellaan asiasta.
