Luento 7 - Määrällisen tutkimuksen luotettavuus
Luennon alussa tuli pohtia muutaman henkilön kanssa, mitä määrällisen tutkimuksen luotettavuudesta tulee mieleen. Pohdimme seuraavia asioita: otoskoko, osallistujien valinta, kysymysten asettelu, mittarin validiteetti, reliabiliteetti (tutkimuksen toistettavuus?), uskottavuus, osaako tulkita analyysin tuloksia ja miten ne esittää.
Olen jo useaan kertaan opiskellut sitä, mitä reliabiliteetti ja validiteetti tarkoittavat, mutta nyt huomaan, että käsitteet ovat minulle edelleen epäselviä. Siksi kirjoitankin koosteen näistä asioista.
Reliabiliteetti
= mittarin tarkkuus, täsmällisyys ja pysyvyys
Pysyvyys = stabiliteetti
= sama tulos eri mittauskerroilla
- arviointi toistomittauksella -> tulosten vertaaminen
- luokka-asteikolliset muuttujat: Cohenin kappa (k)
- järjestysasteikolliset muuttujat: painotettu kappa (kw)
- jatkuvat muuttujat: Intraclass Correlation Coefficient (ICC) (Hakala 2018, Nieminen 2018)
Konsistenssi
- Vastaavuus = Kuinka yhdenmukaisesti kaksi mittaria/mittaajaa arvioivat samaa asiaa?
- Sisäinenjohdonmukaisuus = Kuinka hyvin mittarin kysymykset mittaavat samaa asiaa?
- jatkuvat muuttujat: Cronbachin alfa (Hakala 2018, Nieminen 2018)
Reliabititeettitestien tulkinta
0,00 > x > 0,20 huono (poor, slight)
0,21 > x > 0,40 heikko (fair)
0,41 > x > 0,60 kohtalainen (moderate)
0,61 > x > 0,80 hyvä (substantial)
0,81 > x > 1,00 lähes täydellinen (almost perfect) (Nieminen 2018)
Virhelähteitä
- tilannetekijät: melu, kylmyys
- kaavamaiset vastaukset
- muuttuvat henkilökohtaiset tekijät
- mittaustilanteiden muuttaminen
- mittarin selkeys ja muoto (Hakala 2018)
Reliabititeettia parantaa
- pilotointi
- hyvät vastausohjeet
- mittarin selkeys
- mittaajien koulutus
- tutkimusjärjestelyt ennallaan mittauksen ajan
- tuttavan ja tutkimusympäristön virhetekijät (Hakala 2018)
Validiteetti
= pätevyys: mittarin kyky mitata stä, mitä on tarkoitus
Face-validiteetti
- Mittaako tutkimus sitä, mitä sen pitää mitata? (Hakala 2018)
Sisältövaliditeetti
- Kattavatko kysymyksen riittävän laajasti tutkittavat käsitteet?
- Onko käsitteet operationalisoitu hyvin?
+ Asiantuntijapaneelin käyttö
+ Huolellisella kirjallisuuteen perehtyminen
+ Kognitiivinen haastattelu (ks. blogiteksti Luento 5 - Kyselylomakkeen laadinta)
Rakennevaliditeetti
= teoreettinen validiteetti = käsitevaliditeetti
- mittarin käsitteellinen yhteys teoreettiseen taustaan
- arvioidaan faktorianalyysillä ja käsiteanalyysillä
- eksploratiivinen faktorianalyysi
- aineistolähtöinen, ei etukäteisoletuksia faktorien määrästä
- konfirmatorinen faktorianalyysi
- teorialähtoinen, faktorirakenteen hypoteesit etukäteen
(Hakala 2018, Nieminen 2018)
Kriteerivaliditeetti
= verrataan mittarin arvoa johonkin kriteetiin, joka mittaa myös tutkittavaa ominaisuutta
- arvioidaan mittarin tulosten ja kriteerin välisellä korrelaatiolla
- mittaamisajankohdan perusteella voidaan erottaa
- samanaikaisvaliditeetti
- ennustevaliditeetti (Hakala 2018)
Tulosten sisäinen validiteetti
- tulokset johtuvat vain tutkimusasetelmasta eivätkä sekoittavista tekijöistä
- arvioitava
- tutkittavien valikoituminen (sattumanvaraisuus)
- toisen intervention vaikutus
- tutkittavien muuttuminen ajan kuluessa
- tutkittavien poistuminen
- mittauksen vaikutus tulokseen
- käsitteiden, teorian ja mittarin valinta (oikea?)
- mittarin muodostus (oikea?) (Hakala 2018)
Tulosten ulkoinen validiteetti
- tulosten yleistettävyys, edustettavuus ja toistettavuus
- vastausprosentti ja kato vaikuttaa
- yksittäisen vastauksen kohdalla tai koko osallistujan kohdalla
- Mihin ryhmiin tulokset ovat yleistettävissä? (Hakala 2018)
Lisätietoa
- Holopainen M & Pulkkinen P (2014) Tilastolliset menetelmät. Sanoma Pro Oy, Helsinki.
- Ketokivi M (2015) Tilastollinen päättely ja tieteellinen argumentointi. Gaudeamus, Printon
Trukikoda, Tallinna.
- Polit DF & Beck CT (2012) Nursing research, Generating and Assessing Evidence for
Nursing Practice. China: Lippincott Williams & Wilkins.
- Pölkki T (2014) Tutkimusmenetemät II Kvantitatiivinen tutkimus. Luennot, Oulun yliopisto.
Julkaisemattomat lähteet
Hakala Mervi 3.10.2018 Luento. Kätilö, TtM, yliopisto-opettaja. Oulun yliopisto.
Nieminen Pentti 2018 Tilastolliset analyysimenetelmät -opintojakson luentomateriaali. Yliopiston lehtori, dosentti. Oulun yliopisto.
Olen jo useaan kertaan opiskellut sitä, mitä reliabiliteetti ja validiteetti tarkoittavat, mutta nyt huomaan, että käsitteet ovat minulle edelleen epäselviä. Siksi kirjoitankin koosteen näistä asioista.
Reliabiliteetti
= mittarin tarkkuus, täsmällisyys ja pysyvyys
Pysyvyys = stabiliteetti
= sama tulos eri mittauskerroilla
- arviointi toistomittauksella -> tulosten vertaaminen
- luokka-asteikolliset muuttujat: Cohenin kappa (k)
- järjestysasteikolliset muuttujat: painotettu kappa (kw)
- jatkuvat muuttujat: Intraclass Correlation Coefficient (ICC) (Hakala 2018, Nieminen 2018)
Konsistenssi
- Vastaavuus = Kuinka yhdenmukaisesti kaksi mittaria/mittaajaa arvioivat samaa asiaa?
- Sisäinenjohdonmukaisuus = Kuinka hyvin mittarin kysymykset mittaavat samaa asiaa?
- jatkuvat muuttujat: Cronbachin alfa (Hakala 2018, Nieminen 2018)
Reliabititeettitestien tulkinta
0,00 > x > 0,20 huono (poor, slight)
0,21 > x > 0,40 heikko (fair)
0,41 > x > 0,60 kohtalainen (moderate)
0,61 > x > 0,80 hyvä (substantial)
0,81 > x > 1,00 lähes täydellinen (almost perfect) (Nieminen 2018)
Virhelähteitä
- tilannetekijät: melu, kylmyys
- kaavamaiset vastaukset
- muuttuvat henkilökohtaiset tekijät
- mittaustilanteiden muuttaminen
- mittarin selkeys ja muoto (Hakala 2018)
Reliabititeettia parantaa
- pilotointi
- hyvät vastausohjeet
- mittarin selkeys
- mittaajien koulutus
- tutkimusjärjestelyt ennallaan mittauksen ajan
- tuttavan ja tutkimusympäristön virhetekijät (Hakala 2018)
Validiteetti
= pätevyys: mittarin kyky mitata stä, mitä on tarkoitus
Face-validiteetti
- Mittaako tutkimus sitä, mitä sen pitää mitata? (Hakala 2018)
Sisältövaliditeetti
- Kattavatko kysymyksen riittävän laajasti tutkittavat käsitteet?
- Onko käsitteet operationalisoitu hyvin?
+ Asiantuntijapaneelin käyttö
+ Huolellisella kirjallisuuteen perehtyminen
+ Kognitiivinen haastattelu (ks. blogiteksti Luento 5 - Kyselylomakkeen laadinta)
Rakennevaliditeetti
= teoreettinen validiteetti = käsitevaliditeetti
- mittarin käsitteellinen yhteys teoreettiseen taustaan
- arvioidaan faktorianalyysillä ja käsiteanalyysillä
- eksploratiivinen faktorianalyysi
- aineistolähtöinen, ei etukäteisoletuksia faktorien määrästä
- konfirmatorinen faktorianalyysi
- teorialähtoinen, faktorirakenteen hypoteesit etukäteen
(Hakala 2018, Nieminen 2018)
Kriteerivaliditeetti
= verrataan mittarin arvoa johonkin kriteetiin, joka mittaa myös tutkittavaa ominaisuutta
- arvioidaan mittarin tulosten ja kriteerin välisellä korrelaatiolla
- mittaamisajankohdan perusteella voidaan erottaa
- samanaikaisvaliditeetti
- ennustevaliditeetti (Hakala 2018)
Tulosten sisäinen validiteetti
- tulokset johtuvat vain tutkimusasetelmasta eivätkä sekoittavista tekijöistä
- arvioitava
- tutkittavien valikoituminen (sattumanvaraisuus)
- toisen intervention vaikutus
- tutkittavien muuttuminen ajan kuluessa
- tutkittavien poistuminen
- mittauksen vaikutus tulokseen
- käsitteiden, teorian ja mittarin valinta (oikea?)
- mittarin muodostus (oikea?) (Hakala 2018)
Tulosten ulkoinen validiteetti
- tulosten yleistettävyys, edustettavuus ja toistettavuus
- vastausprosentti ja kato vaikuttaa
- yksittäisen vastauksen kohdalla tai koko osallistujan kohdalla
- Mihin ryhmiin tulokset ovat yleistettävissä? (Hakala 2018)
Lisätietoa
- Holopainen M & Pulkkinen P (2014) Tilastolliset menetelmät. Sanoma Pro Oy, Helsinki.
- Ketokivi M (2015) Tilastollinen päättely ja tieteellinen argumentointi. Gaudeamus, Printon
Trukikoda, Tallinna.
- Polit DF & Beck CT (2012) Nursing research, Generating and Assessing Evidence for
Nursing Practice. China: Lippincott Williams & Wilkins.
- Pölkki T (2014) Tutkimusmenetemät II Kvantitatiivinen tutkimus. Luennot, Oulun yliopisto.
Julkaisemattomat lähteet
Hakala Mervi 3.10.2018 Luento. Kätilö, TtM, yliopisto-opettaja. Oulun yliopisto.
Nieminen Pentti 2018 Tilastolliset analyysimenetelmät -opintojakson luentomateriaali. Yliopiston lehtori, dosentti. Oulun yliopisto.
Kommentit
Lähetä kommentti