Kyselytutkimuksista

Epätieteellistä tervehtimistä

Helsingin Sanomat halusi tutkia sitä, kuinka moni matkustaja tervehtii bussikuskia bussiin noustessaan. http://www.hs.fi/kaupunki/a1457840765212

Asiaa tutkittiin kahdella tavalla. Toimittajat tarkkailivat pääkaupunkiseudun busseissa kyytiin nousevia matkustajia. Yhteensä 250 matkustajan tervehtimistä tai sen puuttumista havainnoitiin. Tulokseksi tuli, että noin kolmasosa matkustajista sanoi kuskille hei tai moi.

Toiseksi kuka tahansa saattoi kertoa omasta tervehtimiskäyttäytymisestään avoimen verkkokyselyn kautta. Nyt yllättäen yhdeksän kymmenestä väitti tervehtivänsä bussikuskia kyytiin noustessaan.

Jutun kirjoittanut toimittaja hämmästelee ristiriitaisia ”tutkimustuloksia”. Hän kutsuu havainnoimalla tehtyä tutkimusta epätieteelliseksi. Aivan oikein toimittaja pohdiskelee sitä, että kysymysten muotoilu on saattanut vaikuttaa verkkokyselyn lopputulokseen. Tervehtimisen laatua kun ei siinä määritelty. Moni vastaaja on voinut laskea esimerkiksi pelkän hymyilemisen tervehtimiseksi.

Mutta silti: kuinka moni mahtaa innostua vastaamaan nettikyselyyn antaakseen itsestään ikävän ja ankean kuvan. Että en siis tervehdi koskaan ketään, ainakaan bussikuskeja (ja ylpeä siitä).

Havainnoimalla tehdyllä tutkimuksella on yksi vankka etu puolellaan. Siinä otos on tehty ainakin jollakin tavalla satunnaisesti. Jotta otos olisi edustava olisi se toki tehtävä paljon huolellisemmin ja havaintoja kerättävä useampana aikana. Lehti halusi kuitenkin ilmeisesti selvittää nimenomaan sitä, kuinka usein bussikuskia tervehditään eli kuinka moni bussiin nousevista tervehtii. Ja nimenomaan osuuksien selvittämisessä avoimen nettikyselyn tieteellinen arvo on pyöreä nolla.

Kysymysten suunnittelu: aina ei kannata kysyä kaikilta samoja kysymyksiä

Kysymysten suunnittelu lähtee tietysti liikkeelle siitä, mitä halutaan tutkia: mistä halutaan tietoa. Suunnitteluun pätee muutama yksinkertainen perussääntö. Kannattaa olla mahdollisimman konkreettinen, välttää kielteisiä kysymysmuotoiluja ja kysyä yhtä asiaa kerrallaan.

Kysymysten muotoilulla vaikutetaan tuloksiin: tässä kohden tutkijan valta on jopa pelottavan suuri. Hyvä esimerkki on Britannian kansanäänestys EU –jäsenyydestä. Hallitus ehti jo päättää, että kansanäänestyksessä vastataan kysymykseen ’pitäisikö Yhdistyneiden kuningaskuntien pysyä Euroopan unionin jäsenenä’ sen sijaan, että olisi kysytty pitäisikö unionista erota. Ei -puoli näki, että vastauksia halutaan selvästi ohjata kyllä -puolelle, onhan helpompi vastata kyllä kuin ei. Hallitus joutui suostumaan kompromissiin. Nyt kysymys kuuluu: Pitäisikö Yhdistyneiden kansakuntien pysyä EU:n jäsenvaltiona vai erota siitä?

Kysymykset pitäisi osata muotoilla niin, että joku viitsii niihin vastata. Näinä aikoina ei ole varaa ärsyttää tai pitkästyttää vastaajaa, kunnollisen vastaajajoukon kerääminen voi muutenkin olla työn takana.
Yksi yleinen vastaajan kannalta epämukava kysymystyyppi toistuu nykyään kyselystä toiseen. Juuri sopivasti tyyppiesimerkki tästä kolahti sähköpostiin muutama päivä sitten. Osana kyselyä sain eteeni 25 –kohtaisen kysymyspatteriston, jolla luodattiin mielikuvia kyselyn lähettäneestä järjestöstä. Minua pyydettiin arvioimaan olenko samaa mieltä, osittain samaa mieltä, en samaa enkä eri mieltä, osittain eri mieltä vai täysin eri mieltä siitä, että kyseinen järjestö on uudistuskykyinen, aloitteellinen yhteiskuntapoliittinen vaikuttaja; ajassa elävä, vetovoimainen kansalaisjärjestö; luotettava; helposti lähestyttävä; avoin; omaa vahvan talouden ja yhteiskunnan tuntemuksen; tarjoaa inhimillistä tukea. Ja niin edelleen.

Eikä tässäkään ollut vielä kaikki. Seuraavassa kysymyksessä pyydettiin arvioimaan onko viestinnässä onnistuttu hyvin, melko hyvin, ei hyvin eikä huonosti, melko huonosti tai peräti huonosti. Nyt arvioitavia kohtia oli 27. Luettelo sisälsi järjestön kaikki mahdolliset julkaisut, sähköisen materiaalin ja tiedotteet.

Kysymystyyppi voi olla toisinaan perusteltukin, kun vastaajaryhmä tunnetaan hyvin mutta silloinkin vaihtoehdot kannattaisi rajoittaa muutamaan. Kysymystyyppi on myös helppo korvata kysymyksellä, jossa vastaajaa pyydetään poimimaan luettelosta esimerkiksi kolme luonnehdintaa, jotka kuvaavat parhaiten kyseistä järjestöä.
Kokonaan toinen asia on vielä se, että kosketukseni kyseiseen järjestöön on hyvin ohut; kysely oli selvästi lähetetty laajasti kaikille sidosryhmiksi laskettaville tahoille. Minulla ei nyt vain yksinkertaisesti ollut paljon mitään sanottavaa kyseisestä järjestöstä. Yhtään järjestön julkaisua en muista nähneeni.

Kyselylomake on tiedon hankkimista varten, mutta se myös viestii laatijastaan

Montako kertaa olet saanut sinulle osoitetun kyselyn, johon vastatessasi huomaat, etteivät kysymykset sovi oikeastaan sinun tilanteeseesi lainkaan? Itse olen esimerkiksi kuulunut ammatinharjoittajajäsenenä palkansaajajärjestöön. Saan usein pyynnön vastata jäsenkyselyyn. Kyselyjen taustatiedoissa ’yrittäjä’ on kyllä listattu yhtenä työntekemismuotona, mutta siihen mielenkiinto yrittäjiä kohtaan sitten loppuukin. Kysellään esimerkiksi työnantajasta, esimiehestä tai noudatettavasta työehtosopimuksesta – kysymyksiä, joihin yrittäjä ei voi vastata. Voisiko järjestö lähettää enää vahvempaa viestiä siitä, että ammatinharjoittajien asiat eivät ole asialistalla aivan ensimmäisenä?

Hyvin suunniteltu kyselylomake ei olekaan tärkeää pelkästään kyselyn onnistumisen kannalta. Se kertoo aina myös kyselyn teettäjästä.
Kysymysten laatiminen on helppoa, kun mielessä on vain se tyypillisin vastaaja. Niitä on vaikeampaa laatia, kun ottaa huomioon erilaiset poikkeukset ja pienet vastaajaryhmät. Ja niitä on todella vaikeaa laatia, kun ottaa huomioon poikkeuksen poikkeukset – sen yhden, joka palkansaajajärjestön kyselyssä onkin juuri käynnistänyt oman yrityksen opintovapaalta käsin, mutta aloittaa kohta perhevapaan.

Toki kyselyn kohdentamisellakin voidaan yrittää ohjata kyselyä juuri oikealle kohderyhmälle, mutta harvoin osoiterekistereistä pystytään kovin yksityiskohtaisia hakuja tekemään. Kyselyn laatijan tehtävänä on miettiä kaikki mahdolliset erityistilanteet, joista vastaaja saattaa itsensä löytää ja joko ohjata vastaaja pois koko kyselystä tai suunnitella vastausvaihtoehdot niin, että jokainen löytää niistä omansa.

Kuinka iso otos?

Kysymys riittävästä otoksesta ei ole enää niin relevantti kuin ennen, koska kyselyt tehdään niin usein netin kautta. Kasvava otosjoukko ei silloin juurikaan kasvata tutkimuksen kuluja.

Aina ei ole kuitenkaan järkevää toteuttaa kyselyä netin kautta vaan lähdetään tekemään posti- tai puhelinkyselyä. Silloin otoksen koko on tärkeä kustannuskysymys.

Kuinka iso otos siis tuo edustavan tuloksen? Moni ihminen ajattelee automaattisesti, että jos tutkittava joukko on iso, niin silloin otoksenkin täytyy olla iso. Että aivan eri määrä ihmisiä tarvitaan otokseen, jos perusjoukkona on viisi miljoonaa suomalaista kuin jos perusjoukko koostuisi vaikkapa yksittäisen työpaikan tuhannesta työntekijästä.

Näin ei kuitenkaan ole vaan jos perusjoukon koko on suurempi kuin noin 500 henkilöä, ei sen suureneminen enää kasvata tarvittavaa otosta. Usein USA:n presidenttigallupit tehdään pienemmällä otoksella kuin Suomen vastaavat, silti niitä pidetään edustavina.

Se mikä ratkaisee tarvittavan otoksen koon, on se mitä haluamme tutkimuksella saada selville eli toisin sanoen, kuinka yksityiskohtaista tietoa haluamme. Otoksen on oltava edustava kaikissa osaryhmissä.

Mitä rikkaat ajattelevat köyhistä (HS Kysely)

…eli kerro avoimen nettikyselyn tuloksista oikein.

”Tutkimus toteutettiin internetissä” on tuttu loppukaneetti tutkimusuutisessa. Lause ei kuitenkaan sinällään kerro vielä mitään tutkimuksen luotettavuudesta ja tulosten yleistettävyydestä.

Tieteellinen, otoksen pohjautuva kyselytutkimus voidaan toteuttaa ja nykyään usein toteutetaankin internetin kautta. Silloin otokseen valikoituneille lähetetään sähköpostiin henkilökohtainen linkki kyselylomakkeeseen. Vastaaja klikkaa lomakkeen auki, täyttää sen, klikkaa enteriä ja lomake palautuu tutkijalle.

Tutkija näkee, ketkä otokseen kuuluvat ovat vastanneet. Kyselylle voidaan laskea vastausprosentti ja tutkija pystyy arvioimaan, kuinka luotettavaa tietoa kyselyllä saadaan eli toisin sanoen kuinka hyvin vastanneet edustavat sitä joukkoa, josta otos on poimittu.

Avoin nettikysely on toinen asia – tai itse asiassa mikä tahansa avoin kysely.

Hesari teki yhteistyössä Itä-Suomen yliopiston kanssa niin sanotun köyhyyskyselyn, jonka yhdeksi tulokseksi uutisoitiin, että iso osa hyvätuloisista on sitä mieltä, että köyhyys on ihmisen oma vika.
Vastaajia pyydettiin myös kertomaan vapaamuotoisesti ajatuksiaan köyhistä. Ja vastauksiahan tuli: köyhät ovat epäsiistejä, eivät pysty huolehtimaan itsestään, köyhyys on henkistä. Ja niin edelleen.

Kysely toteutettiin avoimena nettikyselynä. Toisin sanoen kuka tahansa köyhyydestä jotakin mieltä oleva saattoi kyselyyn vastata.

Avoimen kyselyn kohdalla on mietittävä todella tarkkaan, keitä vastaajat ovat ja mikä heidän motiivinsa vastaamisen voivat olla.

Ensinnäkin on todennäköistä, että sellaiset vastaavat, joilla on jotakin sanottavaa kyselyn aihepiiristä.

Jos esimerkiksi kysyt, oletko kokenut katuväkivaltaa, niin on todennäköistä, että sitä kokeneet haluavat jakaa kokemuksensa. Sitä vastoin, jos kokemuksia ei ole, niin moniko meistä viitsii klikata lomakkeen auki ja kertoa asian? Tästä kyselystä emme siis todellakaan saa tietoa katuväkivallan yleisyydestä!

Minkälaista tietoa avoimen nettikyselyn kautta sitten voi saada?

Ehkä vastaajia pyydettiin kuvailemaan kokemuksiaan katuväkivallasta. Tällaisista asioista saamme kyllä tietoa – siis sisällöllistä tietoa.

Ehkä heitä pyydettiin kertomaan paikoista, joissa he ovat nähneet tai kokeneet väkivaltaa julkisella paikalla. Tämä on paitsi sisällöllistä, myös jossain määrin määrällistä tietoa. Jos jotkut paikat saavat paljon mainintoja, niin voidaan melko luotettavasti päätellä, että niissä paikoissa on suurempi riski joutua katuväkivallan uhriksi.

Jotain voi päätellä siitäkin, missä linkki tutkimukseen oli. Minkälaisia ihmisiä sivuilla voi olettaa vierailevan? Jos esimerkiksi nuoria, niin nuorten hengailupaikat luultavasti painottuvat katuväkivaltavastauksissa. Hesarin lukijoista keskimääräistä useampi taas saattaa olla hyvätuloinen.

Olennaista on, että tutkimuksesta osataan kertoa oikein: ei tehdä määristä johtopäätöksiä silloin kun niitä ei voi tehdä. Jos päivälehti kysyy, pitäisikö hallituksen erota, niin ei ole mitään keinoa päätellä, kumpi ryhmä intoutuu vastaamaan, hallituksen puolustajat vai siitä eroon haluavat.

Hesarinkaan köyhyys -kyselystä ei olisi missään nimessä saanut tehdä määrällisiä yleistyksiä: tiedämme, että jotkut rikkaat ajattelevat köyhistä niin kuin lehti uutisoi. Koska kyselyyn saattoi vastata kuka tahansa, on mahdollista – ja todennäköistäkin – että ne rikkaat, joilla on voimakas mielipide köyhyydestä, intoutuvat vastaamaan. Maltillisemmin ajattelevat eivät vastaa.

Tavallaan kysely ei tuonut oikein mitään uutta tietoa: jo aikaisemmin tiedettiin, että jotkut rikkaat (ja muutkin ihmiset!) ajattelevat, että köyhyys on köyhän oma vika.