Helsingin Sanomat. Mielipide. Pentti Routio. Keskiviikkona 25.01.2006.

Virhemarginaali mittaa otannan virhettä.

Mahtaako muitakin ärsyttää tämä tapa puhua vaalikyselyn "virhemarginaalista", kun kaikki kuitenkin tietävät, että todelliset tulokset helposti menevät moninkertaisesti tämän marginaalin ulkopuolelle?
Sikäli kuin tiedän, virhemarginaalia ei edes ole tarkoitettu mittaamaan tutkimuksen yleistä luotettavuutta, vaan ainoastaan otannasta aiheutuvaa virhettä. Kun näet kysymyksiä ei ole osoitettu kaikille äänioikeutetuille, vaan noin tuhannen henkilön otokselle, tämä usein hiukan vääristää tuloksia, ja tätä vääristymää mittaa virhemarginaali.

Jos esimeikkisi ehdokkaan kannatus on tutkitussa otoksessa 51 prosenttia, ja virhemarginaaliksi arvioidaan + - 2 prosenttia, tämä tarkoittaa, että kaikkien äänioikeutettujen joukossa tämän ehdokkaan kannatus on välillä 49-53 prosenttia tietyllä todennäköisyydellä (usein 95 prosenttia), ja olettaen, että otoksesta saadut tiedot ovat virheettömiä.

Virhemarginaali mittaa vain sitä virhettä, joka aiheutuu otannasta eli siitä, että otos poikkeaa perusjoukosta. Se ei siis sisällä lainkaan sellaisia usein suuria virhelähteitä kuin käytetyn mittarin viallisuus, tiedon antajan tai tutkijan muistivirheet tai vääristelyt, taikka vaaliennusteissa usein suurikin epävarmojen äänestäjien joukko.

Tällaisia etäisempiä virhelähteitä ei kyselyn tuloksia käsittelevä tilastomatemaatikko usein halua tai osaakaan arvioida. Tiedotusvälineet usein pyytävät uutisen yhteyteen niistä kommentin politiikan asiantuntijalta.

Nykyisellä tavalla käytetty tunnusluku "virhemarginaali", mittaa siis vain pientä osaa tutkimuksen kaikista virhelähteistä ja todellisesta luotettavuudesta.

Se omaa täten melko vähän uutisarvoa, ja sen voisi jättää uutisessa mainitsemattakin luottaen siihen, että tutkijat huolehtivat sen kurissa pitämisestä tarpeeksi suurta otosta käyttäen.

Lukijoiden saama asiatietous ei tästä juuri vähenisi, varsinkin kun nyt on ollut tapana ilmoittaa vain virhemarginaalin leveys, mutta ei sen todennäköisyyttä, jolloin käsite joka tapauksessa jää epäselväksi. Toinen vaihtoehto olisi, että uutisessa määriteltäisiin virhemarginaali selvemmin, vaikkapa laatikossa uutisen yhteydessä,

Tällöin voisi ilmoittaa täsmällisemminkin tulosten tilastollisen merkitsevyyden, sehän vaihtelee muuttujittain. Siinä olisi se hyvä puoli, että lukijat pääsisivät harjoittelemaan tutkimustulosten arvioimista, kaikille hyödyllistä tietoa.

Pentti Routio, tutkimusmetodiikan opettaja Helsinki.
Helsingin Sanomat. Mielipide. Keskiviikkona 25.01.2006.
Neljä palstaa sivulla C5 ylhäällä.

Helsingin Sanomat. Mielipide. Vesa Kuusela. Tiistaina 31.01.2006.

Ovatko puhelimitse tehdyt kyselyt luotettavia?

"Satunnainen numeroiden valinta tuottaa edustavan otoksen maan talouksista, jos voidaan olettaa, että jokaisessa taloudessa on yksi puhelin."

Seppo Laaksonen (HS 24.1) ja Pentti Routio (HS 25.1) ovat käsitelleet tällä sivulla "galluppien" eli otostutkimusten menetelmällisiä ongelmia. Kirjoitukset ovat olleet valaisevia ja oikeaan osuvia.

Niissä ei kuitenkaan ole mainittu tämän hetken kenties vaikeinta ongelmaa, jonka on aiheuttanut matkapuhelinten yleistyminen.

Otostutkimuksessa valitaan tutkimuksen kohteena olevasta perusjoukosta pieni osa tutkittavaksi. Tällainen otos tai "näyte" tulisi poimia satunnaisesti luettelosta, jossa ovat kaikki perusjoukon jäsenet lueteltuina.

Yksityiset tutkimuslaitokset poimivat usein puhelinhaastatteluja varten puhelinnumeroita, ei siis ihmisiä tai osoitteita. Valinta voidaan tehdä luettelosta tai rekisteristä tai satunnaisia puhelinnumeroita voidaan tuottaa tietokoneella.

Satunnainen numeroiden valinta tuottaa edustavan otoksen maan talouksista, jos voidaan olettaa, että jokaisessa taloudessa on yksi puhelin.

Kymmenen vuotta sitten, kun matkapuhelimia ei mainittavasti ollut, menetelmä oli perusteltu ja uskottava, mutta matkapuhelinten yleistyminen on muuttanut tilanteen olennaisesti. Tällä hetkellä vajaalla puolella Suomen talouksista on perinteinen lankapuhelin. Noin puolella talouksista on yksinomaan matkapuhelimia.

Ilman ainuttakaan matkapuhelinta on muutama prosentti (noin neljä prosenttia) talouksista. Käytännöllisesti katsoen jokaisella työikäisellä suomalaisella on oma matkapuhelimensa, samoin kuin teini-ikäisellä.

Vanhemmilla ihmisillä matkapuhelimia on selvästi vähemmän. erityisesti vanhemmat naiset eivät juurikaan matkapuhelinta omista.

Edellä mainitut ryhmät eivät ole muodostuneet satunnaisesti, vaan ne ovat niin yhteiskunnallisesti kuin ammatti-, koulutus- ja väestörakenteeltaan sekä käyttäytymiseltään varsin erilaisia, ja niiden koot vaihtelevat paljon muun muassa maantieteellisesti.

Lisäksi on huomattava, että matkapuhelin on henkilökohtainen laite, mutta lankapuhallin on tarkoitettu koko taloudelle.. Ero on suurin piirtein sama kuin rannekellon ja seinäkellon välillä

Edellä kuvatussa tilanteessa edustavan puhelinnumero-otoksen poiminta on erittäin vaikeata: Jos poimitaan vain lankapuhelinnumeroita, jätetään puolet väestöstä poiminnan ulkopuolelle. Jos poimitaan vain matkapuhelinnumeroita, jätetään vanhemmat ihmiset poiminnan ulkopuolelle, mutta tilalle saadaan paljon nuoria.

Suomessa 12,5 prosenttia kännykän käyttäjistä on alle 15-vuotiaita. Lisäksi ongelmana on, että suuret kotitaloudet tulevat yliedustetuiksi, koska niissä on useampia matkapuhelimia. Tilanne on menetelmällisesti erittäin monimutkainen eikä vielä ole kehitetty tilastotieteellisest6i tyydyttävää tapaa poimia otoksia puhelinnumeroista.

Ongelma on tunnettu ja aiheuttaa suurta huolta mm. Yhdysvalloissa, koska siellä myös virallista tilastotietoa kerätään tekemällä otoksia satunnaisilla puhelinnumeroilla (tosin matkapuhelintiheys Yhdysvalloissa on vielä niin alhaalla, että niistä ei ole suurta ongelmaa).

Esimerkiksi sellainen menettely, jossa poimitaan satunnaisesti tietty määrä lankapuhelinnumeroita ja tietty määrä matkapuhelinnumeroita, ei tuota edustavaa otosta. Teoriassa otos ehkä voitaisiin "oikaista" antamalla eri väestöryhmille erilaiset painot, mutta se edellyttäisi sekä taustainformaatiota, jota ei ole saatavilla, että lisäinformaation keräämistä vastaajilta. Yksinkertaiset väestötietoihin perustuvat painokertoimet eivät auta.

Äskettäin järjestetyssä' kansainvälisessä puhelinhaastattelujen menetelmällisiä ongelmia pohtineessa konferenssissa oli lukuisia esimerkkejä siitä, että matka- ja lankapuhelimessa haastatelluilta saadut tulokset olivat erilaisia. Selitys kaikissa tapauksissa oli se, että eri puhelimilla tavoitetaan eri tyyppisiä ihmisiä.

Tilastotieteellisesti varmimmalla pohjalla liikutaan, kun henkilöotos poimitaan esimerkiksi väestörekisteristä ja kotitalousotos osoiterekisteristä ja näin saaduille otosyksiköille etsitään puhelinnumerot.

Suomen työikäistä väestöä edustava henkilöotos saadaan myös poimimalla satunnaisesti vain matkapuhelinnumeroita ja painottamalla saadut tiedot (tämä edellyttää myös, että haastattelijat varmistavat vastaajan iän). Tietääkseni kumpaakaan näistä menetelmistä ei sovelleta yleisesti mielipidetutkimuksissa. Tosin tutkimuslaitokset eivät tuo julki otantamenetelmiään.

Se, että tutkimusmenetelmiä ei kuvata riittävällä tarkkuudella, on itse asiassa viime vuonna hyväksyttyjen otostutkimusten standardien vastaista. Se on myös tutkimuseettisesti kyseenalaista.

Otostutkimuksen tuloksia sellaisenaan ei näet voi koskaan osoittaa oikeiksi tai vääriksi. Sen sijaan käytettyjen menetelmien soveltuvuutta ja niiden vaikutuksia tuloksiin on mahdollista arvioida luotettavasti. Menetelmäselvityksen perusteella voisi sitten päätellä jotakin myös tulosten luotettavuudesta.

Vesa Kuusela, kehittämispäällikkö, haastattelu- ja tutkimuspalvelut, Tilastokeskus
Helsingin Sanomat. Mielipide. Tiistaina 31.01.2006.
Seitsemän palstaa ylhäällä sivulla C3 ja kuva neljä palstaa ja kuvateksti: "Ääntenlaskenta on alkanut."

Helsingin Sanomat. Mielipide. Jari Pajunen. Hannu Ilkas. Perjantaina 03.02.2006.

Väestörekisteriotanta on puhelinhaastatteluissa käytössä.

Tilastokeskuksen kehitysjohtaja Vesa Kuusela arveli (HS 31.1) kirjoituksessaan, että väestörekisteriotantaa ei sovellettaisi mielipidemittausten puhelinhaastattelujen vastaajaotannoissa.

Lisäksi Kuusela luetteli joukon perusteita, miksi väestörekisteriotanta on ylivertainen ratkaisu.

Voimme kuitenkin päivittää Kuuselan tietoja ja todeta, että Taloustutkimus Oy:ssä totesimme samat asiat muutama vuosi sitten ja sen seurauksena Taloustutkimus on käyttänyt väestörekisteriotantaa monien tutkimusten, muun muassa mielipidemittausten, yksinomaisena otantalähteenä kaksi viime vuotta.

Otokset poimitaan satunnaisotannalla tutkimusten kohderyhmiin kuuluvista henkilöistä. Päinvastoin kuin Kuusela olettaa, olemme tämän kertoneet ja kerromme tutkimusten tilaajille jokaisen tutkimuksen yhteydessä.

Melko usein myös tutkimustuloksia julkaiseva taho tämän tiedon välittää eteenpäin tulosten hyödyntäjille, lukijoille ja kuulijoille.

Taloustutkimus antaa julkaistuista tutkimuksista tiedot toteutustavasta, esitetyistä kysymyksistä jne. myös kolmansille osapuolille.

Ilman toimeksiantajan lupaa emme kuitenkaan saa kertoa tutkimuksen tuloksia.
Väestörekisteriotannan käyttö markkinatutkimuksiin ja mielipidemittauksiin oli aikaisemmin käytännössä mahdotonta siksi, että otosten toimitusajat olivat pitkiä. Myöskään puhelinnumerotietoja väestörekisteristä ei saa, vaan ne on etsittävä muista lähteistä.

Menneinä vuosina ei ollut kattavia puhelinnumerotiedostoja, etenkin matkapuhelinnumeroiden saanti oli hankalaa. Nyt tilanne on toinen, ja puhelinnumerot voidaan etsiä kaikki, paitsi salaiset numerot kätevästi luettelosta.

Numeroiden etsinnässä käytämme kolmivaiheista tapaa; henkilön matkapuhelinnumeroa, jos sitä ei löydy, etsitään hänen nimissään olevaa lankapuhelinnumeroa, ja ellei sitäkään löydy, käytetään ns. viitehenkilöitä (muut samassa taloudessa asuvat täysi-ikäiset) ja etsitään heidän nimissään olevaa puhelinnumeroa.

Haastatelluista noin kolme neljäsosaa tehdään matkapuhelinnumeroihin.

Kuusela kertoo tietävänsä, että tutkimusyritykset poimivat haastateltavien puhelinnumeroita rekisteristä tai tuottavan niitä tietokoneella. Ainakaan Taloustutkimus ei ole koskaan tuottanut eikä tuota puhelinnumeroita tietokoneella tietosuojasyistä.

Jari Pajunen, tutkimusjohtaja, kuluttajatutkimusklusterin johtaja
Hannu Ilkas, tutkimusjohtaja, Taloustutkimus Oy.

Ilta-Sanomat. Savola. Tiistaina 31.01.2006.

"Gallupit" ja kuluttajansuoja.

Omaa taisteluaan vaaleissa kävivät myös tiedotusvälineet, jotka yrittivät haistella kumman ehdokkaan puolelle kansalaiset ovat asettumassa. Helsingin Sanomien mittaaja oli TNS Gallup, Yleisradion Taloustutkimus ja MTV3:n Research International.

Ensimmäiset lukemat löi pöytään viime keskiviikkoiltana MTV3, joka kertoi Tarja Halosen kannatukseksi 55 % ja Sauli Niinistölle 45 %. Epätietoisia oli peräti 37 % vastaajista.

Perjantaiaamun Helsingin Sanomat kertoi Halosen ja Niinistön kamppailun kiristyneen entisestään. Viikkoa aikaisemmin HS-Gallup oli mitannut Halosen johtavan 53-47. Nyt sen mukaan puntit olivat melkein tasan: 51-49 Haloselle. Epätietoisia HS-Gallupissa oli neljännes vastaajista.

***

Kansalaisten ällistys oli suuri kun Yleisradion Tv-uutiset tuli saman päivän iltana ulos omilla numeroillaan: Halonen johtaakin 55-45. Kantaansa ei ilmoittanut 15 % vastaajista. Ylen tutkimus oli päivää Hesarin tutkimusta tuoreempi.
Ylen Tv-uutiset siis julisti puolitoista vuorokautta ennen vaalihuoneistojen avautumista pääuutisenaan kaikella arvovallallaan, että Tarja Halonen johtaa Niinistöä vastaan 55-45.

Kaksi vuorokautta myöhemmin Tv-uutiset kertoi todellisen vaalituloksen: 51,8-48,2 Haloselle. Sen tilaama mielipidemittaus ei mahtunut edes kolmen prosentin virhemarginaaliin!

Helsingin Sanomien Gallup oli huomattavasti lähempänä vaalitulosta, heittoa oli vain 0,8 prosenttiyksikköä.

***

Harvoin on luotettavana pidettyjen Tv-uutisten pääuutinen mennyt niin pahasti pieleen kuin perjantai-iltana meni. Suomalainen ampumahiihtäjäkin osuu Taloustutkimusta paremmin.

Osumatarkkuutensa puolesta ko. "tutkimus" olisi kuulunut pikemminkin viihteen puolelle, ja illan pääuutislähetystä sopivampi ympäristö sille oli ollut uutisia edeltävän Simo Frangenin SF-studion ylimääräisessä uutislähetyksessä.

Yleisradiolle ja Tv-uutisille tapaus on nolo. Julkisen palvelun yhtiö hämmentämässä presidentinvaaleja vähän ennen äänestyksen alkua mittauksella, joka meni metsään niin että roikui.

Jos kaupasta saisi yhtä epäkuranttia tavaraa kuin Ylen/Taloustutkimuksen mielipidemittaus oli, tulisi mieleen kysyä kuluttajasuojan perään.
Hannu Savola.

Upotettuna punaisella: "Tv-uutisten mielipidemittaus meni metsään niin että roikui". Kuva, jossa tv-ruutu, jossa Halosen kuvassa 55 ja Niinistön kuvassa 45. Kuvateksti: "Ylen Tv-uutiset hämmensi juuri vaalien alla mielipidemittauksella, joka meni pahasti pieleen." Myös kirjoittajan pieni omakuva. Koko juttu Savola-laatikossa sivun 10 alareunassa sivun levyisenä.
Ilta-Sanomat Savola. Tiistaina 31.01.2006.

Kuinka viimeiset presidenttigallupit uutisoitiin Tv1:ssä ja Nelosella. Sanatarkka selostus perjantai-illalta 27.01.2006. Nämä uutiset Hannu Savola näki ja sitten kirjoitti.

Lue myös!

HS-Humbug. Epä-älyllinen Gallup-humpuuki jatkuu: Helsingin Sanomat unohtaa "tutkimusta" selostaessaan virhemarginaalit, jälleen kerran."Eikö tämä huoraaminen ole lukijoiden öykkärimäistä aliarviointia?" Tiistaina 20.12.2005.

Erään gallupin anatomia. Presidentinvaalit 2006. Aamulehti ja Turun Sanomat torstaina 05.01.2006.
Ensireaktio.  Gallup-uutinen. Keskisuomalainen perjantaina 07.01.2006.
Välitön kommentti.   Gallup-sota johtuu väärintulkinnoista ja -uutisoinneista, yhä vuonna 2006!
Aineiston hankintaa. Aamulehti.
Muita kommentteja. Savon Sanomat ja Ilta-Sanomat.
Aineiston hankintaa. Turun Sanomat (netti).
Gallupintekijän puolustuspuheenvuoro (netti).
Loppureaktio. Helsingin Sanomatkin rupesi ottamaan virhemarginaalit huomioon selostaessaan uutta galluppiaan tiistaina10.01.2006! Tulossa!

Sanomanetti maanantaina 16.01.2006. Ilta-Sanomien toimittaja ei ymmärrä galluppien tarkoitusta! Gallupit kertovat kuitenkin vain kyselyhetken mielialoista!
Vuonna 2000 professori Martikainen sekoili mutta nyt onnisti! Kirjoitus.

Sanomanetti maanantaina 16.01.2006. Äänestysvarmuudesta ja ehdokkaan varmuudesta.
Galluptulokset on julkaistu "väärin". Korjaus luvassa! Kirjoitus.

Sanomanetti torstaina 19.01.2006. Pääkirjoitus. Gallupit - mielipiteenmuodostajia vai mielipiteestä kertovia?  Pääkirjoitus.

Helsingin Sanomat. Mielipide. Seppo Laaksonen. Tiistaina 24.01.2006.
Kyselyiden ongelma on niiden laadussa.

Pentti Routio. Helsingin Sanomat. Mielipide. Keskiviikkona 25.01.2006.
Virhemarginaali mittaa otannan virhettä.

Helsingin Sanomat. Mielipide. Hannu Ilkas. Perjantaina 27. tammikuuta 2006.
Mielipidetiedustelut eivät ole mitään ennusteita.

Kuinka viimeiset presidenttigallupit uutisoitiin Tv1:ssä ja Nelosella. Sanatarkka selostus perjantai-illalta 27.01.2006. Nämä uutiset Hannu Savola näki ja sitten kirjoitti.

Sanomanetti lauantaina 28.01.2006. Pääkirjoitus.
Lauantai-illan ennustus: Halonen voittaa. 

Hannu Savola. Ilta-Sanomat. Tiistaina 31.01.2006.
Savola. "Gallupit" ja kuluttajansuoja. 

Vesa Kuusela. Helsingin Sanomat. Mielipide. Tiistaina 31.01.2006.
Ovatko puhelimitse tehdyt kyselyt luotettavia?

Jari Pajunen. Hannu Ilkas. Helsingin Sanomat. Mielipide. Perjantaina 03.02.2006. Väestörekisteriotanta on puhelinhaastatteluissa käytössä.