Viime syksynä toteutimme Käyttäjäkokemus-nimisen Android-sovelluksen, jolla havainnollistetaan hyvän ja huonon käyttäjäkokemuksen eroja. Sovellus on ladattavissa Play kaupasta.
Käyttäjätestaus käyttäjäkokemus-sovelluksessa
Tutkimme tammikuussa sovelluksen käytettävyyttä käyttäjätestauksen avulla. Toteutimme käyttäjätestauksen kuudella testihenkilöllä. Kaikki testihenkilöt suorittivat saman tehtävän sekä hyvällä, että huonolla puolella. Sovelluksen kaksipuoleisuuden takia, halusimme, että joka toinen käyttäjä aloittaa huonolta puolelta ja joka toinen hyvältä. Näin pystyimme minimoimaan sovelluksen opittavuuden ja käyttäjän aiempien kokemusten aiheuttaman vääristymän.
Jokainen käyttäjätestaussessio videoitiin käyttäjän olan takaa ja lisäksi käyttäjän vieressä istui fasilitoija, joka varmisti, että käyttäjällä oli kaikki tarpeellinen tehtävän suorittamiseksi. Käyttäjällä oli vain yksi tehtävä: Hänen piti tehdä ostoslista itselleen reseptistä, joka annettiin materiaalina. Tehtävä tehtiin kummallakin sovelluksen puoliskolla. Kummallakin puolella tehtävän suorittamisen jälkeen käyttäjä täytti Positive System Usability Scale -lomakkeen. P-SUS-lomakkeella arvioidaan järjestelmän käytettävyyttä suhteessa muihin järjestelmiin. P-SUS ja SUS eroavat toisistaan siten, että perinteisessä SUS-lomakkeessa joka toinen kysymys on kielteisessä muodossa, kun taas P-SUS lomakkeella kaikki kysymykset ovat käännetty positiiviseen muotoon.
Jos käyttäjätestaus ei ole tuttu menetelmä, voit lukea lisää aiemmin kirjoittamastani blogi-kirjoituksesta: Käyttäjäkokemus.
Tulokset
Mitä tarkastelimme
Videotallenteista otimme ylös käyttäjien suoritusajat sekä havaintoja tilanteista, jossa käyttäjän oli hankala käyttää sovellusta. Erityisesti meitä kiinnosti, miten hyvä tai huono käytettävyys heijastuu käyttäjän toimintaan sovelluksessa. Tätä olisi hankala pukea sanoiksi, joten päätimme tehdä videon kummankin puolen havainnoista ja käyttäjien kommenteista.
Hyvä puoli
Hyvää puolta testatessa havaintoja ja kommentteja tuli huomattavasti vähemmän. Osa kommenteista ja melko suuri osa havainnoista olivat positiivisia. Videolta näet, minkälaisia ongelmia hyvältä puolelta löytyi ja mitä käyttäjät kommentoivat sovelluksesta.
Huono puoli
Huonoa puolta koskevia havaintoja tuli reilusti enemmän ja niiden joukossa ei juurikaan ollut positiivisiaa kommentteja. Videolla näytetään, miltä käyttäjän toiminta näyttää ja mitä käyttäjä sanoo silloin, kun hämmennys iskee. Videolta näet myös testauksessa ilmenneet suurimmat ongelmat.
Yhteenveto
Yksi olennainen mittari käytettävyyden arvioinnissa on tehtävän suorittamiseen kulunut aika. Tällä kertaa tehtävä oli melko pitkä ja sen tekeminen vaatii tehtävän aineistona annetun reseptin lukemisen. Osa käyttäjistä luki sen kokonaan, osa luki vain ainesosat ja osa palasi reseptiin kesken tehtävän. Nämä vaikuttivat suoritusaikoihin. Silti suoritusajoista on nähtävissä, että hyvällä puolella tehtävän suorittaminen kesti yli minuutin vähemmän. Vain yksi testihenkilöistä suoriutui huonolta puolelta nopeammin.
Testihenkilöt, jotka aloittivat huonolta puolelta, suorittivat tehtävän hyvällä puolella selkeästi nopeammin. Aloituspuolella ei sen sijaan ollut merkitystä huonon puolen suoritusaikojen suhteen. Testauksessa syntynyttä dataa on kuitenkin niin vähän, ettei voida vetää suoraan johtopäätöstä, että huonoa palvelua käyttäneet osaisivat käyttää hyvää helpommin. Tilasto on kuitenkin vähintään mielenkiintoinen ja sen pohjalta olisi hienoa nähdä jatkotutkimusta. Kukaan testihenkilöistä ei ollut käyttänyt sovellusta aiemmin. Käyttäjätestauksessa olleet käyttäjät olivat kaikki Haltun työntekijöitä ja eritaustaisia ohjelmistokehittäjiä.
Tästä johtuen videoilla esitellyt tulokset ovat yleistettävissä lähinnä ohjelmistokehittäjiin.Oli tiedossa ja tarkoituksellista, ettei huono puoli ole kovin käytettävä. Käyttäjätestauksen aikana käyttäjien tahimista vaikutti olevan kuitenkin vähemmän, kuin miltä SUS-lomakkeiden tulokset näyttävät. Pitäisikö tässä olla enemmän yllättynyt siitä, että hyvä puoli oli niin hyvä vai siitä, että huono puoli oli niin huono? Jos haluaisit meiltä apua käyttäjätestaukseen, ota yhteyttä.
