Luento 3 - Asiantuntijapaneelin arviointi ja testaus

Markus Karttunen (2018) luennolla käsittelemä aihe, joka liittyy mittarin kehittämiseen, oli minulle täysin uusi. Tämän vuoksi teenkin tähän oppimispäiväkirjaan omat muistiinpanoni luennolta.

Mittarin kehittämiseen kuuluu kahdeksan vaihetta, jotka ovat:

1. Mitattavan aiheen määritteleminen
2. Väittämien muodostaminen
3. Mittarin muodon määritteleminen
4. Asiantuntijapaneelin arviointi
5. Mittarin väittämien arviointi asiantuntijapaneelin arvion perusteella
6. Pilottitestaus kohdejoukolla
7. Väittämien uudelleen arviointi
8. Optimoidaan mittarin pituus

Asiantuntijoilla, jotka voivat olla paneelissa, tulee olla kliininen asiantuntijuus kehitettävän mittarin aiheesta, kohteesta, ilmiöstä ja käsitteistä. Heidän tulee olla tutkinut kyseistä aihetta ja tutkimusten pitää olla julkaistut. Asiantuntijapaneelissa on hyvä olla myös tilastotieteilijä. Asiantuntijapaneelissa on oltava tarpeeksi monta jäsentä, esimerkiksi 7.

Asiantuntijapaneelin tarkoituksena on vahvistaa tutkijan ymmärrys ja sen käsitteellistäminen aiheesta. Asiantuntijat tarkistavat, että mittarissa käsiteltävät asiat ovat keskeisiä aiheen kannalta ja ne on operationalisoitu hyvin. Lisäksi asiantuntijat tarkistavat, ovatko väittämät esitetty selkeästi ja antavat muokkausehdotuksia. Asiantuntijapaneelin käyttö vahvistaa sisältövaliditeettia.

Asiantuntijapaneeli tulee ohjeistaa tarkasti. Saatekirjeessä tulee avata ilmiön keskeiset asiat ja kertoa mitä odottaa asiantuntijoilta.

Mittarin arvioimiseen voi käyttää luotettavuusindeksiä (Concent Validity Index CVI). Asiantuntijoille lähetetään arviointilomakkeen, joka sisältää mittarin ja kohdan, jossa arvioidaan kukin väittämä neliportaisella likert-asteikolla (kysymys ei ole oleellinen, ei kovinkaan oleellinen, melko oleellinen ja erittäin oleellinen). Lisäksi lomakkeessa on hyvä olla kommentti-osio.

Luotettavuusindeksejä on kaksi, kysymyskohtainen (I-CVI) ja koko mittaria arvioiva (S-CVI/Ave tai S-CVI/UA). Likert-asteikon kaksi ensimmäistä vastausvaihtoehtoa tulkitaan, etteivät väittämät ole oleellisia ja viimeiset tulkitaan niiden olevan oleellisia.

Laskukaavat ja tulkinta

      I-CVI: olennaiset väittämät jaettuna asiantuntijoiden määrällä
                  asiantuntijoita < 5 -> tavoitellaan arvoa 1
                                          > 5 -> tavoitellaan arvoa > 0,78

     S-CVI/Ave: I-CVI arvojen summa jaettuna väittämien määrällä
                         tavoitellaan arvoa > 0,9

     S-CVI/UA: oleellisten väittämien määrä jaettuna kaikkien väittämien määrällä
                        tavoitellaan arvoa > 0,9

Minusta tämä aihe oli hyvin mielenkiintoinen, sillä minua kiinnostaa juuri kvantitatiivinen tutkimus ja Pro gradussanikin, ainakin tällä hetkellä suunnittelen, tekeväni juuri kvantitatiivisen tutkimuksen. En kuitenkaan aio kehitellä mittaria. Mutta näen, että minun on hyödyllistä tietää, mitä mittarin kehittämiseen kuuluu.

Lisätietoa
- Davis L. 1992. Instrument Review: Getting the Most From a Panel of Experts. Applied 
   Nursing research. 5(4): 194-197.
- DeVellis R. 2016. Scale Development: Theory and Applications. 4th Edition. Los 
   Angeles: Sage Publication.
- Gilbert G & Prion S. 2016. Making Sence of Methods and Measurement: 
   Lawshe’s Content Validity Index. Clinical Simulation in Nursing. 2016(12):530-531.
- Grant J & Davis L. 1997. Selection and use of Content Experts for Instrument
   Development. Research in Nursing & Health. 20:269-274.
- McGartland Rubio D, Berg-Weger M, Tebb S, Lee E & Rauch S. 2003. Objectifying 
   content validity: Conducting a content validity study in social work research. Social 
   Work Research. 27(2): 94-104.
- Metsämuuronen J. 2009. Tutkimuksen tekemisen perusteet ihmistieteissä. Gummerus 
   Kirjapaino Oy, Jyväskylä.
- Pittman J & Bakas T. 2010. Measurement and Instrument Design. Journal of Wound, 
   Ostomy and Continence Nursing Society. 37(6): 603-607.
- Polit D, Beck C & Owen S. 2007. Is the CVI an Acceptable Indicator of Content Validity?
  Appraisal and Recommendations. Research in Nursing & Health. (30):459–467.
- Polit D & Beck C. 2006. The Content Validity Index: Are You Sure You Know 
   What’s Being Reported? Critique and Recommendations. Research in Nursing & 
   Health. 29:489-497.

Julkaisematon lähde

Karttunen M 18.09.2018 Luento. Sairaanhoitaja, TtM, TtT-opiskelija, Lehtori. Oulun ammattikorkeakoulu Oy.