Myös Nielsen sanoo: Älä laita käyttäjiä katselmoimaan!

Aiemmin kirjoitin siitä, että käyttäjiä ei pitäisi laittaa katselmoimaan käyttöliittymiä (linkki).

Jos joku haluaa tähän vielä lisävahvistusta, niin huomasinpa Jacob Nielsenin* ottavan esiin samaa asiaa Alertboxissaan hieman eri kontekstissa (ko. Nielseni juttu liittyy toiseen aiheeseen, mutta siinä mainitaan myös tämä):

"It's extremely important to note that we always give the test users our (very short) satisfaction questionnaire after they've tried using the design. It's completely invalid to simply show people some screens and ask them how well they like them. If people haven't actually used a user interface to perform realistic tasks, they can't predict how satisfied they'd be when actually using the system. (And real use is what matters, after all, not what people say in a survey.)"
(tekstin korostus minun)

Eli vielä kerran: Kaikki maailman käyttäjät, liittykää yhteen ja kieltäytykää käyttöliittymien katselmoinnneista!


*Jos joku ei tunne, niin Jacob Nielsen on käytettävyyden ehkä tunnetuin guru.

Kaikki maailman käyttäjät, liittykää yhteen ja kieltäytykää käyttäjäraadeista ja käyttöliittymädemojen pisteytyksistä!

Kirjoitin aiemmin jutun "Kaikki maailman käyttäjät, liittykää yhteen ja kieltäytykää käyttäjäraadeista ja käyttöliittymien katselmoinneista!" (31.8.12).

Käyttäjien (tai "käyttäjäraadin") tekemä demojen pisteytys on periaatteessa sama asia, vain eri konteksissa. Ja tuomioni on tälle käytännölle on sama kuin käyttäjien tekemille katselmoinneille: käyttäjien tekemä demojen pisteytys on ehdottomasti ei-suositeltava, epävalidi menettely!

Tätä käytäntöä näkee usein julkisissa tietojärjestelmien tarjouspyynnöissä, joissa valitaan "valmisohjelmistojen*" välillä. Käytettävyys on laitettu tarjouspyynnön yhdeksi arviointiperusteeksi siten, että "käyttäjäraati" laitetaan arvioimaan suunnitteluratkaisut pisteillä.

Perusteet sille, miksi tämä on toimimaton ja vääriä tuloksia antava menettely, ovat kutakuinkin samat kuin miksi käyttäjien ei tulisi tehdä käyttöliittymien katselmointeja (ks. juttu 31.8.).

Lisäksi tässä menettelytavassa on se iso ongelma, että käytettävyys on laitettu valintaperusteiden joukkoon. Jos aidosti halutaan käytettävyttä, se olisi oltava pakollinen vaatimus eikä valintaperuste. Ks. juttu 26.1.12.

Miten pitäisi sitten menetellä? Periaatteessa asia pitäisi mennä seuraavasti:

1. Käytettävyys pakollisiin vaatimuksiin
2. Käytettävyydelle määritettävä käyttäjän työhön pohjautuvat** validit vähimmäisvaatimukset (= millä kriteereillä käytettävyys on riittävän hyvä käyttäjien työn näkökulmasta)

Tuo kohta 2 on vaativa tehtävä. Oma karkea arvioni on, että sen määrittämiseen kuluu 80% hankinnan käytettävyyden varmistamisresursseista. Eli pääosa käytettävyyteen liittyvästä työstä olisi tehtävä ennen tarjouspyyntöä!

Kyseessä ei ole ihan pikkuhomma. Mutta eipä vaihtoehtokaan ole kummoinen. Niin kuin historia osoittaa, hankintojen tuloksena saadaan niin kovin usein järjestelmiä, joiden kanssa käyttäjät sitten kärsivät.

* Ovat itse asiassa usein ohjelmistoja, jotka konfiguroidaan asiakaskohtaisesti. Käytettävyyden arvioinnin kannalta ISO ero täysin valmisohjelmistoihin 

** Käytettävyys = käyttäjän työn tukemista 

Lakimiehet (-naiset) ymmärtävät hankinta-asioita

Taas sain tukea hankintojen lakiasiantuntijoilta sille, että käytettävyyden (laadun) paikka on tarjouspyyntöjen vähimmäisvaatimukset, ei valintakriteerit 

Kävin eilen 13.9. kuntamarkkinoilla. Kuuntelin muun muassa Pilvi Takalan (PTC Services) esityksen hankintojen markkinaoikeuscaseista. 

On paljon väärinkäsitystä siinä, miten laatua pitäisi edellyttää tarjouspyynnöissä, jotta sitä oikeasti saadaan.  

Pilvi esitti oheisen valaisevan kuvan. Siinä tarjouspyynnön vaatimukset ovat havainnollisesti esitetty kolmessa kategoriassa: 

• minimum requirements for the company (vähimmäisvaatimukset)

• minimum requirements for the work (vähimmäisvaatimukset)

• award criteria (valintakriteerit)

Pointti, joka ei suoraan näy kuvasta mutta tuli esiin keskustelussa on se, että laatu pitäisi pyrkiä sisällyttämään noihin "minimum requirements for the work", ja antaa hinnan ratkaista. 

Juuri näin se minunkin mielestäni pitää mennä käytettävyydenkin suhteen (ks. esim. Hesarin vieraskynäni 1.7.12).  

Pilvi sanoi, että rajankäynti sen kanssa, mitä laittaa minimi vaatimuksiin ja "award" vaatimuksiin on hienosäätöä  (näin ymmärsin). Itse korostaisin, että käytettävyys - se laatutekijä, jota siis itse edustan - nimenomaan pitää sisällyttää noihin vähimmäisvaatimuksiin, ja antaa hinnan ratkaista. Jonkin verran voi käytettävyyttä voi mahdollisesti laittaa valintakriteereihin, mutta pitäisi ymmärtää, että kyseessä on silloin "ylilaatu" (Pilvin kalvossa Award criteria). 

Eli sellaiset tarjouspyynnöt ovat täysin epäloogisia, joissa vertailuperusteissa laatu on luokkaa 65% ja hinta 35%. Sillä tavalla kun ei oikeasti saa laatua välttämättä lainkaan. 

Timon kommentti HUSin potilastietojärjestelmähankinnasta Hesarissa 12.9.

Lue juttu Hesarin sivuilta TÄSTÄ!

Kaikki maailman käyttäjät*, liittykää yhteen ja kieltäytykää käyttöliittymien katselmoinneista**!

* Lääkärit, sairaanhoitajat, opettajat, lupakäsittelijät, kuntien/ kaupunkien/ valtion virkamiehet, autokauppiaat, isännöijät, matkasihteerit, palkanlaskijat, työnjohtajat jne. jne. - ketkä tahansa, jotka ovat erilaisten tietojärjestelmien käyttäjiä. Sisältää myös ns. käyttäjien edustajat, usein esimiehiä. 
** Yleensä arvioimasta käyttöliittymää, mitä mikä siinä hyvää, mitä pitäisi parantaa, jne. (puhumattakaan sanomasta, onko jonkin järjestelmän käytettävyys riittävän hyvä)

Käyttöliittymäratkaisujen katselmointi ei ole käyttäjien tehtävä vaan suunnittelijoiden tulee ottaa vastuu käyttöliittymäratkaisuista.

Tässä olen taas keskustellut järjestelmätoimittajien ja julkisen tahon edustajien kanssa/ kuunnellut heidän puheitaan.

Ja tämä harhakäsitys on tiukasti vallalla: laitetaan käyttäjät (tai asiakkaan edustajat) katselmoimaan käyttöliittymät.

Väitän, että tämä menettelytapa on yksi keskeisimmistä syistä siihen, miksi tietojärjestelmistä tulee vaikeakäyttöiset. Vaikka kuullostaa käyttäjälähtöiseltä, kyseessä on täysin väärä tapa ottaa käyttäjät mukaan. Mutta tietenkin houkutteleva, koska näin vastuu käytettävyydestä saadaan sälytetyksi käyttäjille ja asiakkaalle.

Miksi näin ei pitäisi menetellä? Tässä blogissa olen kirjoittanut tästä aiemminkin, mutta pääkohtia:

• Aluksikin taustana: Käytettävyysalalla ei yksinkertaisesti tunneta käytettävyyden arviointimenetelmää "käyttäjien tekemä katselmointi". Eli tällä menetelmällä ei ole mitään tutkimuksellista perustetta. (Käytettävyyden arviointimenetelmiä on kymmeniä). 
• Katselmoinnnissa käydään läpi käyttöliittymän suunnitteluratkaisuja. Käyttäjillä ei kuitenkaan ole (yleensä) käyttöliittymäkoulutusta. Käyttöliittymän/ käytettävyyden katselmointi ei onnistu "käyttäjäjärjellä" vaan siihen vaaditaan oma ammattitaitonsa (ja on tosi vaativaa heillekin). 
• Tämä on epävirallinen havainto, mutta kokemukseni on, että käyttäjät eivät ole järin innostuneita tästä roolistaan. Sinällään ihan loogista, koska he joutuvat (1) laittamaan aikaa asiaan, joka ei ole heidän ydintyötään ja (2) tekemään epämukavaa työtä. Käytännössä päättämään ja ottamaan vastuu asioista, joista eivät voi olla varmoja. 
• Kaikkiaan on riski, että tällaisten katselmointien tulokset ovat laadultaan kyseenalaiset. Tulokset riippuvat täsmälleen mukana olevien käyttäjien analysoinnista ja jäsentelystä. Ja on siis iso riski, että ne eivät osu kohdalleen.  
• Lisäksi tässä tapahtuu vastuun vierittämistä järjestelmä kehittäjältä käyttäjille. Jos kehitetyssä järjestelmässä onkin puutteita, syyllisiä ovat helposti käyttäjät, joiden tekemien katselmointien tulosten mukaan järjestelmä on kehitetty (tai valittu). 

Miten asia sitten pitäisi hoitaa? Lähtökohtana on kaksi käyttäjille sopivaa roolia:

1. Käyttäjät ovat oman työnsä asiantuntijoita. Käyttäjiä voi (ja tulee) käyttää hyväksi siinä, että suunnittelijat oppivat ymmärtämään käyttäjien työn. 
2. Käyttäjät voivat olla testihenkilöitä kehitettävien järjestelmien tai niiden prototyyppien käytön kokeilemisessa (Huom! Järjestelmän käyttäminen on ihan eri asia kuin käyttöliittymien katselmointi!)  Ei kuitenkaan niin, että käyttäjät itse arvioisivat vaan niin, että heidän käytön onnistumisensa arvioivat muut.  

Nämä käyttäjätiedon lähteet (+ tietenkin yleiset käyttöliittymä teoriat, -standardit ym.) tulee olla järjestelmän (käyttöliittymien) suunnitteluratkaisujen perusta.  Ja vastuu suunnitteluratkaisujen laadusta pitää luonnollisesti olla siellä, missä niitä synnytetään eli suunnittelijoilla. Työnä ei ole helppoa (erityisesti kohta 1), mutta tähän pitäisi pyrkiä ja nähdä asia osana käyttöliittymäsuunnittelijoiden ammattitaitoa. Mielestäni on jopa eettisesti väärin, että vastuu suunnitteluratkaisujen laadusta sälytetään käyttäjille. 

Summa summarum (otsikko toistaen): Kaikki maailman käyttäjät, liittykää yhteen ja kieltäytykää käyttöliittymien katselmoinneista!

Sain palautetta vieraskynääni

Sain palautetta vieraskynääni Hesarin mielipidepalstalla 4.7, kirjoittajana Suomen taitohankinta Oy:n toimitusjohtaja Kari Annala. Ohessa linkki kirjoitukseen (koko kirjoitus näkyy valitettavasti vain Hesarin digilehden tilaajille).

Mielestäni Annala ehdottaa niitä asioita, joita tänä päivänä käytetään ja jotka vain eivät toimi. Kirjoitin vastineen Hesariin; katsotaan sitten, julkaistaanko se.

Palaan asiaan joka tapauksessa tarkemmin kesälomien jälkeen.

http://www.hs.fi/digilehti/mielipide/Tietoj%C3%A4rjestelm%C3%A4hankinnoissa+saa+sen+mit%C3%A4+osaa+pyyt%C3%A4%C3%A4/a1341292373075

Timon vieraskynä HS 1.7.2012: "Helppokäyttöisyyttä osattava vaatia"

Näin kesäloman alkajaisiksi Hesari julkaisi vieraskynäni: 

"Helppokäyttöisyyttä osattava vaatia. Tarjouskilpailussa päädytään liian usein tietojärjestelmään, joka on käyttäjilleen tuskallinen". 

Pääset lukemaan koko jutun osoitteesta: 

http://www.hs.fi/paakirjoitukset/Helppok%C3%A4ytt%C3%B6isyytt%C3%A4+on+osattava+vaatia/a1341031828126