Käytettävyysseminaari 29.5.02

Vähän myöhään tämä ilmoitus mutta tule jos ehdit! http://www.sytyke.org/kaytettavyysosy/toiminta

Tarjouspyyntö ratkaisee HUSin uuden potilastietojärjestelmän helppokäyttöisyyden

Käytettävyys tulee määrittää oikealla tavalla tarjouspyyntöön, jos halutaan valita aidosti helppokäyttöinen potilastietojärjestelmä ja oikeasti päästä tavoitteeseen "hoitohenkilökunta voi käyttää enemmän aikaansa hoitotyöhön". 

Yle uutisoi viime viikolla HUSin uuden potilastietojärjestelmän kilpailuttamisesta. Jutussa todetaan nykyisistä järjestelmistä, että "suurimmat ongelmat liittyvät järjestelmien käytettävyyteen. Ne ovat moniportaisia ja hankalia. Työntekijä joutuu käyttämään aivan suhteettoman paljon aikaa tietokoneensa kanssa".

Uutisen mukaan ulkomaiset ohjelmistoyritykset ovat tulossa mukaan, kun HUS kilpailuttaa uutta potilastietojärjestelmää.

Ovatko ulkomaiset potilastietojärjestelmät sitten käytettävyydeltään parempia? Mahdollisesti - siitä minulla ei ole tietoa. Mutta vaikka olisivatkin, ei ole itsestään selvää, että "paremman käytettävyyden" järjestelmä tulee valituksi. 

Ratkaisevaa on se, miten käytettävyys sisällytetään potilastietojärjestelmän tarjouspyyntöön: miten käytettävyys on huomioitu tarjouspyynnön vähimmäisvaatimuksissa ja vertailukriteereissä. 

Julkisessa kilpailutuksessa järjestelmän tarjouspyyntö on ratkaisevassa asemassa. Tarjouspyyntö kun on käytännössä järjestelmän tilausdokumentti: se määrittää, millainen järjestelmä halutaan. Hankkijan tulee valita järjestelmä tarjouspyynnössä määritettyjen vähimmäisvaatimusten ja vertailukriteereiden perusteella.

Historia osoittaa, että käytettävyyttä ei osata määrittää julkisten tietojärjestelmien tarjouspyynnöissä aidoksi vaatimukseksi tai valintakriteeriksi. Sinällään se ei ole ihme, koska käytettävyyden aito vaatiminen on menetelmällisesti haastavaa.  (Näistä olen monessa aiemmassa yhteydessä kirjoittanut, ks. tämän blogin aiemmat kirjoitukset ja julkaisut.)

Miten käytettävyysnäkökulmat sitten olisi sisällytettävä potilastietojärjestelmän tarjouspyyntöön? Jos siis halutaan sellainen järjestelmä, että "hoitohenkilökunta voi käyttää enemmän aikaansa hoitotyöhön", niin kuin jutussa todetaan. Kaksi keskeistä asiaa: 

• Käytettävyys tulisi sisällyttää mahdollisimman pitkälle vähimmäisvaatimuksiin. Miksi näin? Logiikka on yksinkertainen: jos käytettävyys on pelkästään vertailukriteereissä, niin periaatteessa aina voi tulla valituksi järjestelmä, joka saa käytettävyydestä nolla (0) pistettä. Siis voi tulla valituksi järjestelmä, jonka käytettävyys on "nolla". 
• Koska käytettävyys tarkoittaa käyttäjien suoriutumista työstään, niin viime kädessä ainoa validi tapa määrittää käytettävyysvaatimukset tulee perustua käyttäjien suoriutumiseen työssään. 

Miten määrittää tällaiset käyttäjien työssään suoriutumiseen perustuvat vähimmäisvaatimukset tarjouspyyntöön? Lyhyesti sanottuna: tulee määrittää validit mittarit, mittausinstrumentit ja tavoitetasot. Ja jotta vaatimukset olisivat sisällöllisesti oikeita, vaatimusten määrittämisen perustaksi tarvitaan käyttäjien työn syvällinen jäsentäminen.

Käyttäjien työn syvällinen jäsentäminen on erittäin keskeinen toimenpide, joka kuitenkin käytännössä tehdään hankinnoissa kovin pintapuolisesti. Tämä tulisi tehdä ajoissa, ja sitä varten pitäisi varata resursseja. Ja välttää esimerkiksi sitä suodenkuoppaa, että käyttäjät (tai heidän edustajansa) laitetaan itse tekemään työnsä jäsennys.

- Tämän jutun puitteissa näiden asioiden seikkaperäinen kuvaus ei ole mahdollista.  Tarkempaa tietoa saa - kysymällä minulta.

Kokemuksia "Käytettävyys tietojärjestelmien hankinnoissa" -kurssista

Pidin ensimmäisen "Käytettävyys järjestelmien hankinnoissa" -kurssin maaliskuussa, http://www.ttlry.fi/koulutus/kaytettavyyden-varmistaminen-hankinnoissa-1232012.

Kurssin keskeinen sisältö oli esittää ratkaisuja sille, miten käytettävyys saataisiin aidosti mukaan tietojärjestelmien tarjouspyyntöihin: miten laatia todennettavia ja valideja käytettävyysvaatimuksia.

Kurssi oli täysi, 12 osallistujaa. Kaikki halukkaat eivät päässeet mukaan. Luultavasti 12 on sopiva maksimi määrä tällaiselle ryhmätyöintensiiviselle kurssille.

Sekä oman tuntuman että kurssilaisten palautteen perusteella kurssi meni ihan kohtullisesti. Varsinkin ottaen huomioon, että kurssi oli ensimmäinen laatuaan. Mutta parannettavaakin löytyi. Itse tiivistäisin palautteet ja oppimat seuraavasti:

• Aihe koettiin kiinnostavaksi ja harjoitukset ja case hyviksi, sekä kouluttaja asiantuntevaksi...;)
• Esityksessä hiomista
• Yksi päivä ei riitä tällaiseen sisältöön; mennään kuitenkin sekä käytettävyyden että hankintojen "syvällisyyksiin". Ehkä seuraavalla kerralla niin, että kaksi kurssipäivää; ehkä kaksi erillistä kurssia

Palataan asiaan uudestaan syksyllä!

--------------------------------------
Osallistujien palautteita

Hyvää:

• "käytettävyysopit hyviä & kiinnostavia"
• "ajatuksia ja ideoita siitä, miten käytettävyyttä voitaisiin ylipäätään parantaa"
• "erittäin mielenkiintoista tietoa"
• "kouluttaja käytettävyyden huippuasiantuntija", "erittäin hyvä asiantuntemus"
• "päivä avasi käytettävyyteen liittyvää problematiikkaa", "tuli selväksi, että asia on vaikea"
• "vetäjän tietämys"
• "ajattelutavan muutos"
• "harjoitukset olivat hyviä, sitä kautta asiat konkretisoituivat"
• "tapaukset, caset"

Kehitettävää:

• "kouluttajalla oli selvästi paljon enemmän asiaa kuin päivään mahtui, joten jonkunlainen jäsentely tulee varmaan tapahtumaan"
• "kouluttajan tapa esiintyä oli hieman pomppiva", "poukkoileva esitystapa", "sujuvampi esitystapa"
• "jättäisin harjoituksia vähemmälle"
• "harjoitusten toteutus vaatii vielä kehittämistä"
• "paljon asiaa, vähän aikaa"

Erään tarjouspyynnön käytettävyysanatomia, osa 1: Vähimmäisvaatimukset

Tämän tarkasteltun kohteena olevassa tarjouspyynnössä on määritetty käytettävyyteen liittyviä vähimmäisvaatimuksia (1) asiantuntijoille, (2) palvelulle ja (3) kehitysprosessille. Positiivista on, että käytettävyyteen on kiinnitetty monipuolisesti huomiota. Kuitenkin vähimmäisvaatimuksissa on merkittäviä puutteita sekä todennettavuuden että validiuden näkökulmasta.  Yhteenvetona on vaikea nähdä, miten näillä vaatimuksilla on merkittävyyttä käytettävyyden saavuttamisen näkökulmasta.

Toisaalta, kuten blogia seuranneet tietävät, käytettävyyden vaatiminen on aidosti haastavaa, eikä hyviä esimerkkejä juuri löydy.

(Osassa 2 tarkastellaan tarjouspyynnön vertailuperusteita)

----------------------------------------

Tarkastelun kohteena on Oikeushallinnon tietotekniikkakeskuksen tarjouspyyntö aloitepalvelun kehittämisestä. Ja siinä erityisesti se, miten käytettävyys on huomioitu.

Tämän analyysin tausta on se, että Teemu Ropponen tietotekniikkakeskuksesta "haastoi" minua arvioimaan tätä tarjouspyyntöä. Mikä on hieno asia, ja tekee toivottavasti lukijallekin asiasta mielenkiintoisemman ja konkreettisen; tarjouspyyntöhän on vielä julkisesti saatavilla. Aiemmin blogissani olen ottanut esimerkkejä anonyymisti (vaikka lukijoilla tietenkin on periaatteessa ollut mahdollisuus jäljittää alkuperäinen lähde). 

Tarjouspyynnössä on tavanomaiseen tapaan määritetty:

• vähimmäisvaatimukset: vaatimukset, jotka tarjoajan on täytettävä, jotta olisi mukana kilpailussa
• vertailuperusteet: näin perusteella valitaan voittava tarjous niiden joukosta, jotka täyttävät pakolliset vaatimuksen

Tässä kirjoituksessa ("osa 1") tarkastellaan sitä, miten käytettävyys näkyy vähimmäisvaatimuksissa. Omasta mielestäni vähimmäisvaatimukset on se "tärkeämpi" osa, koska valituksi voi periaatteessa tulla sellainen toimittaja, joka pelkästään täyttää nämä vähimmäisvaatimukset (ks. myös: http://hankikaytettavyytta.blogspot.com/2012/01/laatu-pakollisiin-vaatimuksiin-eika.html)

Mitä tarjouspyynnön vähimmäisvaatimuksiin on kirjoitettu käytettävyydestä 

Löysin tarjouspyynnöstä seuraavia vähimmäisvaatimuksia: 

1. Asiantuntijoihin liittyvät vähimmäisvaatimukset

Edellytetään käytettävyysasiantuntijaa/ käyttöliittymäsuunnittelijaa, jolla "tulee olla vastaavasta tehtävästä vähintään kolmen vuoden kokemus… vuorovaikutteisen verkkopalvelun rakentamisesta". Kyseisellä palvelulla on oltava "vähintään 500 keskimääräistä käyttäjää päivässä ja vähintään 2 käyttökieltä". 

2. Palveluun liittyvät vähimmäisvaatimukset:
Toimittajan tulee sitoutua noudattamaan "liitteen 7 mukaisen palvelun". Ja liitteestä 7 löysin seuraavat palvelun käytettävyyteen liittyvät vaatimukset:

• Näistä seikoista johtuen järjestelmän käyttöliittymän on täytettävä vähintään julkisille sähköisille palveluille asetetut yleiset käytettävyys- ja saavutettavuusvaatimukset.
• Koska kyseessä on verkkopalvelu, jota käyttää lukuisa määrä satunnaisia käyttäjiä (aloitteen tekijät), on se suunniteltava helppokäyttöiseksi. Järjestelmän tulee olla mahdollisimman käyttäjäystävällinen, jotta se kannustaisi käyttäjiä sähköisten palveluiden käyttämiseen ja positiivisen kokemuksen saamiseen.
• Helppokäyttöisyys (huom. PETOn käytettävyysvaatimukset) sekä kansalaiselle että viranomaiselle
• Järjestelmä on rakennettava siten, että kannatusilmoitusten keräämisen käsittelysääntöjä on helppo muuttaa tarvittaessa (esim. on mahdollista että jossain vaiheessa kannatusilmoitusten keräämisen käynnistys muuttuu siten, että aloitteelle kerätään ensin OM:n verkkopalvelussa 50 kannatusilmoitusta, ja aloite tulee vasta sen jälkeen tarkistettavaksi OM:ään)
• Järjestelmän on tuettava aloitteen vireillepanijaa eri tyyppisten aloitteiden tekemisessä (ohjeet, pakolliset tiedot)
• Järjestelmän käyttäjän pitää aina tietää, missä hän on ja mitä hän voi siinä tehdä.

3. Kehitysprosessiin liittyvät vähimmäisvaatimukset:
Liitteestä 7 löysin seuraavat kehitysprosessiin liittyvät vaatimukset: 

• Toimittaja on tehnyt järjestelmälle käytettävyys- ja suorituskykytestit vaatimusmäärittelyjen mukaisesti.
• Järjestelmälle on voitava tehdä käytettävyystestaus kolmannen osapuolen toimesta ennen tuotantoonottoa.

Vaatimusten arviointia

Tarkastelen vaatimuksia kahdesta näkökulmasta:

• todennettavuus: onko vaatimus määritetty siten, että sen täyttyminen voidaan tarkistaa niin, että ei tule erimielisyyksiä siitä, toteutuuko vaatimus vai ei (itse asiassa, josa vaatimus ei ole todennetava, niin se ei käytännössä ole vaatimus ensinkään)
• validius: onko vaatimus on sisällöllisesti oikea (= sen täyttyminen tarkoittaa, että sillä on aidosti vaikuttavuutta järjestelmän parempaan käytettävyyteen)

1. Henkilöihin liittyvät vähimmäisvaatimukset

• Vaatimus ("... vähintään kolmen vuoden kokemus...) on kohtuullisesti todennettavissa
• Mutta vaatimuksen validius on ongelmallinen: käyttöliittymä-/ käytettävyyskokemus kun sinällään ei takaa viime kädessä aitoa käyttöliittymäsuunnittelun tai käytettävyyden ammattitaitoa.  Käyttöliittymiä ja myös käytettävyysaktiviteetteja kun on voinut suorittaa ilman mitään alan koulutusta. Minun on myöskään vaikea nähdä, miten vaatimus "vähintään 500 käyttäjää" on relevantti käytettävyysasiantuntijan näkökulmasta?

Eli käytännössä tämä vähimmäisvaatimus ei edellytä ammattitaitoista käytettävyys-/ käyttöliittymäsuunnittelijaa.

2.  Palveluun liittyvät vähimmäisvaatimukset

•  "... täytettävä vähintään julkisille sähköisille palveluille asetetut yleiset käytettävyys-.... vaatimukset". Tässä ei suoraan määritetä, mitä nuo vaatimukset ovat; ehkä JHS-suosituksiin?
  Joka tapauksessa, tämän tyyppisessä vaatimuksessa on kaksi ongelmaa. (1) Useimmat JHS-suositusten yksittäisistä vaatimuksista ovat luonteeltaan ei-todennettavia. (2) Tällaiset yleiset vaatimukset  - vakka olisivatkin todennettavia - yleensäkään eivät kata käytettävyydestä kuin ehkä 10 - 20%.
•  "... on se suunniteltava helppokäyttöiseksi. Järjestelmän tulee olla mahdollisimman käyttäjäystävällinen", "helppokäyttöisyys.... sekä kansalaiselle että viranomaiselle", "käsittelysääntöjä on helppo muuttaa", "järjestelmän on tuettava aloitteen vireillepanijaa", "käyttäjän pitää aina tietää, missä hän on ja mitä hän voi siinä tehdä". Tällä tavalla muotoillut "pyöreät" vaatimukset eivät ole todennettavia eivätkä siten varsinaisia vaatimuksia. 

3. Kehitysprosessiin

 liittyvät vähimmäisvaatimukset

• "Toimittaja on tehnyt järjestelmälle käytettävyys- ja suorituskykytestit vaatimusmäärittelyjen mukaisesti." Aluksikaan, en löytänyt noita käytettävyystestimäärittelyjä tarjouspyynnöstä. Mutta vaikka siellä sellaiset vaatimukset olisikin, niin niin käytettävyystestit sinällään eivät takaa mitään käytettävyydestä, toisin sanoen, niiden edellyttäminen ei ole validi vaatimus (tähän on montakin syytä, yksi esimerkiksi CUE-tutkimusten tulokset, ks.  http://hankikaytettavyytta.blogspot.com/2011/04/lahtokohta-kaytettavyyden-varmistus-ei.html). 

• "Järjestelmälle on voitava tehdä käytettävyystestaus kolmannen osapuolen toimesta ennen tuotantoonottoa". No, tätä ei oikein tulkitse vaatimukseksi ollenkaan, koska sen voi jokainen toteuttaa. Käytettävyystestaustahan on mahdollista tehdä hyvinkin keskeneräisellä järjestelmällä, jopa paperitasolla. 

----------------

Yhteenveto: ks. tiivistelmä ylhäällä. 

"Usability in Government Systems" jo myynnissä

Tuleva kirja Usability in Government Systems jo Amazonin etukäteismyynnissä. Sisältää mm. Elizabeth Buien ja Timon kirjoittaman kappaleen "Getting UX into the contract". 

http://www.amazon.com/gp/product/0123910633

Ylivoimainen menestys, yksi käyttöliittymä

Näin iPhone jyrää: katteet 75% koko matkapuhelinsektorista: http://www.macrumors.com/2012/02/03/apples-share-of-profits-among-top-mobile-phone-vendors-hits-75/

Tällainen menestys, vaikka Applen puhelimilla on vain yksi käyttöliittymä. 

Muistuupa vain mieleen Nokia joskus aikoinaan. Käyttöliittymiä kehitettiin useita, kun käyttöliittymää käytettiin segmentointitekijänä. Käytettävyysmielessähän tällainen on ihan "hullu" lähestymistapa: käyttöliittymistä tuli itseisarvo käytettävyyden (ja käyttäjäkokemuksen) kustannuksella. Käytännössä tarkoitti muun muassa sitä, että toiset nokialaiset olivat helppokäyttöisempiä kuin toiset.

Tämä filosofia sai siis vallan Nokiassa. Joskus aikoinaan se riitti, mutta kun tuli kilpailua, niin tässä ollaan. 

Itse pidän mahdollisena*, että vaikka näistä puhelimista on aikaa vuosia, niin tämä erikoinen paradigma jäi elämään Nokialla viime vuosiin asti - ainakin joidenkin ihmisten mieleen. Ja on osasyynä siihen, että Nokia jäi ratkaisevasti käytettävyydessä jälkeen.

* Tämä on siis tulkintani, ei tutkittua faktaa. Sitä tukee jotkut hajanaiset nokialaisten suusta kuulemat lausumat. 

Laatu vähimmäisvaatimuksiin eikä arviointiperusteisiin tarjouspyynnöissä

Laatu olisi sisällytettävä tarjouspyynnöissä ensi sijaisesti vähimmäisvaatimuksiin. Arviointiperusteissa voi olla mukana "ylimääräinen" laatu, mutta sen painoarvon ei tulisi olla kovin korkea.
 
-------------------
Aluksikin: tämä juttu on tietojärjestelmien (julkisesta) kilpailutuksesta yleensä, ei mitenkään erityisesti käytettävyydestä. Mutta pätee tietenkin käytettävyyteenkin - kun käytettävyys on yksi laatutekijä.

Miten kilpailuttaa ja tehdä tarjouspyyntö, että saataisiin tulokseksi laatua? 

Laatu (esimerkiksi käytettävyys) voi näkyä kahdella tavalla tarjouspyynnössä: (1) vähimmäisvaatimus, jonka täyttämiseen jokaisessa tarjouksesssa on sitouduttava ja (2) arviointiperuste, jolloin toimittaja saa sitä enemmän pisteitä, mitä parempaa laatua pystyy tarjoamaan (eniten pisteitä saanut tarjous on valittava).

On esitetty, että laadulla pitäisi olla painoarvoa arviointiperusteissa. Eräskin ohjelmistotalo on ottanut lähtökohdaksi, että he eivät lähde mukaan kilpailutuksiin, jossa hinnan osuus on yli 40% arviointiperusteista.

Miten tämä nyt oikein menee? Miten laatu pitäisi laittaa vähimmäisvaatimuksiksi ja arviointiperusteiksi?

VÄHIMMÄISVAATIMUKSET

Loogista on määrittää laatu vähimmäisvaatimuksiin niin, että niiden täyttäminen riittää "riittävän" hyvään järjestelmään. Toisin sanoen, vaikka toimittaja ei saisi yhtään laatupisteitä arviointiperusteissa, niin sen tuottama laatu pitäisi olla riittävää.

Otetaanpa esimerkki. Ajatellaan, että tarjouspyynnön arviointiperusteissa laadun painoarvo on 50% ja hinnan 50%. Ajatellaan edelleen, että saadaan kolme tarjousta, joista yksikään ei saa yhtään laatupistettä. Tällöin tulee kuitenkin valita yksi näistä (joka siis on halvin).

Mutta tässäkin tapauksessa tietenkin tuon valitun järjestelmän olisi oltava "riittävän" hyvä asiakkaan tarpeisiin.

Mielestäni ei ole muuta loogista johtopäätöstä kuin tuo edellä mainittu: vähimmäisvaatimukset tulee määrittää siten, että niiden täyttyminen takaa riittävän hyvän järjestelmän.

ARVIOINTIPERUSTEET

Mikä on sitten laadun osuus arviointiperusteissa? Jos kerran vähimmäisvaatimuksilla saavutetaan riittävän hyvää, niin tästähän seuraa loogisesti, että arviontiperustelaatu on ylimääräistä laatua. Eli asiakas saa jotain parempaa kuin mitä välttämättä tarvitsee.

Tästä loogisesti seuraa se, että järkevä laadun osuus arviointiperusteissa ei voi olla kovin korkea. Otetaan esimerkiksi lähtökohta, että arviointiperusteissa laadun osuus on 50% ja hinnan osuus 50%. Mitä tämä merkitsee käytännössä? Ääri tapauksessahan tämä tarkoittaa, että jos kilpailijat eivät pärjää laatupisteytyksessä, niin "laatutoimittaja" tulee valita, oli sen tarjouksen hinta vaikka kuinka korkea. (Vaikka se ei saisi juuri yhtään hintapistettä, niin laadusta saadut 50% takaisivat valinnan, koska muut eivät saaneet laatupisteitä)."Maksaa mitä tahansa" on kova hinta, kun kyse on kuitenkin vain "ylimääräisestä" laadusta. 
   
JOHTOPÄÄTÖKSET
Looginen johtopäätös on, että hankinnoissa laatu pitäisi erityisesti määrittää vähimmäisvaatimuksiin. Tämä tarkoittaa sen ymmärtämistä ja määrittämistä, mikä on "riittävän hyvä": mitä ovat sitä kuvaavat mittarit ja tavoitetasot. Ei varmasti monesti ole helppoa, mutta siihen nähdäkseni tulisi pyrkiä ja on siis erittäin keskeinen hankkijan tehtävä.

Jos näin toimittaisiin, tämä tarkoittaa myös kulttuurillista muutosta toimittajapuolella. Nykyään toimittajat "ruksivat" täyttävänsä vähimmäisvaatimukset (koska muuten pullahtaisivat pois kilpailutuksesta). Jos vähimmäisvaatimuksissa aidosti edellytetään laatua, niin ruksiminen kyllä edellyttäisi toimittajilta aitoa pohtimista, mihin he oikeasti sitoutuvat.

Miten paljon laatua sitten arviointiperusteisiin? Mielestäni ylimääräiseen laatuun tulisi laittaa (veronmaksajien) rahoja vain hyvin perustellusti.

MUTTA...
Tämä kirjoitus on luonteeltaan  "järkeilyä" ja voi olla idealistinen.  Käytännön realiteetit voivat asettaa omat haasteensa. Varmaan yksi sellainen on, että jos kukaan tarjoajista pysty vähimmäisvaatimuksiin.

Ja voi tuossa järkeilyssäkin olla jokin pielessäkin. Palautetta otan mielelläni vastaan (mielellään nimi näkyviin!)