Mitä käytettävyystestaus tarkoittaa? Onko käytettävyystestaus pakollista lääkintälaitteelle? Mitä eri käytettävyystestaustyypit, formatiivinen ja summatiivinen testaus, tarkoittavat? Käyvätkö jo Proof of concept vaiheen demot tai kliininen testaus ”virallisista” käytettävyystesteistä?
Edellämainittuja kysymyksiä kuulee usein asiakkailtamme. Tämä artikkeli avaa näitä solmuja standardin IEC62366 – Application of usability engineering to medical devices pohjalta. Artikkelissa käsitellään myös tulokulmia, jotka erottavat lääkinnällisen laitteen käytettävyystestauksen perinteisistä käytettävyysarvioista, palveluluotaimista, palvelusafareista, demoista ja muista työkaluista, joita löytyy jokaisen palvelumuotoilun ja käyttökokemusammattilaisen työkalupakista.
Käytettävyystestaus on tuotteen arviointia oikeiden käyttäjien edustajien avulla
Käytettävyystestauksessa tyypillisesti oikea tuotteen loppukäyttäjä tai häntä vastaava henkilö käyttää testattavaa prototyyppiä tai tuotetta työnkuvaa vastaavan testisuunnitelman mukaan. Testin vetäjä organisoi testin ja tarkkailee käytön ongelmakohtia. Testitehtävät, testihenkilökunnan ja testihenkilöiden määrä sekä testitehtävien ohjautuvuus riippuu testin ja tuotekehityksen vaiheesta.
Formatiivinen arviointi (tai formatiivinen testaus, formatiivinen evaluointi) tapahtuu tuotesuunnittelun ja -toteutuksen aikana. Summatiivinen käytettävyystestaus tapahtuu tuotekehityksen lopussa.
Formatiivinen arviointi on tuotesuunnittelun ja -kehityksen aikaista käyttöliittymän arviointia
Formatiivisessa arvioinnissa tuotteen vahvuuksia, heikkouksia ja odottamattomia käyttövirheitä arvioidaan tuotesuunnittelun ja -kehityksen aikana. Näin tuote saadaan vastaamaan käyttäjätarpeita ja projektin näkökulmasta käyttövirhe- sekä liiketoimintariskiä pienennetään ennen tuotteen julkaisua.
Formativiinen arviointi voi tapahtua mm. käyttäjähaastattelujen, työpaikkaobservointien, osallistavan yhteiskehityksen, edellisten tuoteversioiden käyttöanalytiikan tai käytettävyystestin keinoin. Erityisesti tuotekehityksen alkuvaiheen evaluoinnit ovat yleensä keskustelevia yhteissuunnittelutyyppisiä sessioita.
Lääkintälaitemauste formatiivisessa arvioinnissa on se, että arvioinnin löydökset arvioidaan myös käyttövirheiden ja riskien kannalta. Erityisesti kriittiset löydökset pitäisi korjata ennen julkaisua ja niiden korjauspolku riskienhallintaan pystyä osoittamaan tuotedokumentaatiossa.
Formatiivinen käytettävyystestaus on iteratiivista
Formatiiviset arvioinnit kannattaa suorittaa iteratiivisesti läpi projektin. Esimerkiksi ohjelmistokehityksessä formatiivinen arviointi voidaan valjastaa mukaan sprinttisykliin tai toiminnallisuuden ”Definition of Done” – valmiuteen, jolloin se tulee automaattiseksi osaksi tuotekehitysprosessia.
Tuotekehityksen loppupäässä tapahtuvia formativiisia testejä voidaan käyttää myös ”pre-summatiivisina” testeinä, joiden tarkoituksena on myös koeajaa summativiisen testin järjestelyjä sekä napata kiinni tuoteriskit ennen summatiivista testiä.
Summatiivinen käytettävyystestaus on tuotekehityksen jälkeen tapahtuva käyttöturvallisuuden varmistus
Summatiivinen käytettävyystesti on käyttäjän kannalta tuotantovalmiilla versiolla, tuotekehityksen jälkeen tapahtuva käytettävyyden turvallisuustesti. Siinä tuote ja siihen liittyvät ohjeistukset, pakkaukset ja muut käyttöön liittyvät oheismateriaalit testataan realistisenkaltaisessa käyttöympäristössä. Testi on joitain poikkeuksia lukuunottamatta pakollinen ja testaajina tulisi olla 15 oikeaa loppukäyttäjää jokaista selkeää käyttäjäryhmää kohden. Jos tuotteen käyttö vaatii koulutusta, vastaava koulutus tulee järjestää myös testin yhteydessä riittävällä koulutuksen ”unohdusajalla”: tarkoituksenahan on löytää käyttöongelmat oikeaa käyttötilannetta vastaavassa ympäristössä ja alustuksessa.
Summatiivisessa testissä päätarkoituksena on erityisesti suunnitteluvaiheessa ja riskiarvioinneissa (ja mm. formatiivisissa testeissä) löydettyjen vaaratilanteisiin liittyvien käyttötapausten läpikäynti. Kysymyksenä on löytyykö tuotekäytössä hyväksymättömiä tuoteriskejä ja ovatko jo löydetyt riskivähennystoimenpiteet riittävät.
Esimerkkinä realistisesta käyttökonteksista toimii tilanne, jossa sairaalan osastollista tietojärjestelmää arvioinut testihenkilö tuli paikalle suoraan rankasta yövuorosta. Hän nukahti kesken testin! Nukahtamista edelsi virheklikkaukset, vaikeudet lukea käyttöliittymän tekstiä ja muistaa järjestelmän eri osioita. Tämä oli erinomainen esimerkki realistisesta käyttötilanteesta, jota olisi ollut hankala simuloida toimistotestissä tai focus groupissa!
Miten kliininen tutkimus suhtautuu summatiiviseen käytettävyystestaukseen?
Lääkintälaitteen kliinisessä tutkimuksessa tavoite on kliinisen vaikuttavuuden todentaminen ja riski-hyötysuhteen arviointi. Kliininen tutkimus ei kuitenkaan sisäänrakennettuna fokusoi tuotteen käyttöturvallisuuden varmistamiseen objektiivisten käytettävyysmenetelmien keinoin, mikä taas on summatiivisen käytettävyystestin tavoite.
Koska kliininen tutkimus tapahtuu oikeilla potilailla, käyttö(kin)turvallisuus täytyy todentaa ennen tutkimusta. Ilman kattavaa formatiivista- ja summatiivista käytettävyystestausta tästä ei voida olla varmoja.
Kliininen tutkimus ei vastaa summatiivista käytettävyystestausta.
Kuitenkin, jos käyttöturvallisuus on perusteltavissa, summatiivinen käytettävyystestaus on mahdollista kytkeä osaksi kliinistä tutkimusta tietyin lisäjärjestelyin. Vaikka tämä ei ole tavoitetila, järjestelystä löytyy synergioita erityisesti matalan riskiluokkien ja uusien innovaatioiden yhteydessä, sillä kliinisessä tutkimuksessa ovat mukana loppukäyttäjät, oikea käyttöympäristö ja potilaat.
Ovatko tuotearviot ennen tuotekehityksen aloitusta formatiivisia testejä?
Hypätään alkuun… Tapahtuuhan tuotearviointeja, demoja ja kliinikkojen arviointeja tuoteinnovoinnin alkuvaiheessakin esimerkiksi Innovaatioseteli-rahoituksella tai ELY-keskuksen yritysten kehittämispalveluiden kautta, kun Product/Market fit on vielä haussa. Kuinka nämä liittyvät viralliseen käytettävyystestaukseen?
Yksi erityisesti uusien lääkintälaitetoimijoiden innovointivaara on sääntelyn pohdiskelu, vasta kun tuotekehitys on jo polkaistu käyntiin ja pahimmassa tapauksessa jo loppusuoralla. Tämä saattaa aiheuttaa vuosien aikalisän ennen julkaisua tai pahimmassa tapauksessa tappaa projektin ja tuotteen.
Käytettävyysmielessä konseptivaiheen Product/Market fit -tuotearvioiden toteutus ja niiden dokumentaatio kannattaa tehdä ketterästi mutta kokonaisvaltaisesti siten, että kysynnän, tuotekonseptin ja liiketoimintamallin arvioinnin lisäksi käyttövirheet ja niiden vaikutus arvioidaan ja dokumentoidaan. Tällöin tehdystä työstä voidaan ottaa ansaittu kunnia myös tuotedokumentaatiossa.
Käyttöriskien poissuunnittelu on hyvää tuotesuunnittelua mutta myös hyvää bisnestä: käyttöturvallisuus ja käytettävyys ovat myyntivaltteja.
Konsepti- ja innovointivaiheen sisälle kannattaa rakentaa lisäksi tuoteaihion evaluointirytmi, joka käyttäjien ja sidosryhmien tarpeiden vastaamisen lisäksi tukee rahoitustiekartan muodostamista sekä tuotteen toteutettavuuden arviointia.
Clinipower auttaa käytettävyystestauksissa, käyttäjäarvioissa sekä menetelmien jalkauttamisessa
Teemme muun muassa:
- Formatiivisia arviointeja ja käytettävyystestausta
- Summatiivista käytettävyystestausta
- Innovointivaiheen tuotearviointeja ja käyttäjätutkimuksia.
Olemme nikkaroineet formatiivisen testauksen tueksi myös lääkintälaiteohjelmistojen käyttöliittymän tarkistuslistan, joka pohjautuu Nielsenin käyttöliittymän suunnitteluperiaatteiden lisäksi kohtaamiimme yleisiin ja toteutuneisiin lääkinnällisten laitteiden käyttöriskeihin ja hoitovirheisiin.
Tuemme myös käyttäjäkeskeisen suunnitteluperiaatteiden jalkauttamista organisaatioihin ja tuotekehitysprosesseihin. Työ dokumentoidaan MDR:n ja FDA:n vaatimusten mukaan.
Jos kaipaat vastauksia tai tukea artikkelissa avattuihin asioihin, ota yhteyttä ja varaa maksuton tuotearvio ja konsultaatio.
Neljä vinkkiä lääkintä – ja IVD-laitteen käytettävyystyön jalkauttamiseen