laadukas markkinatutkimus

20
Opas kvantitatiivisen markkinatutkimuksen parissa työskenteleville Laadukas markkinatutkimus Miten se syntyy?

Upload: others

Post on 04-Oct-2021

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Laadukas markkinatutkimus

Opas kvantitatiivisen markkinatutkimuksen parissa työskenteleville

Laadukas markkinatutkimus Miten se syntyy?

Page 2: Laadukas markkinatutkimus

Laadukas markkinatutkimus – miten se syntyy?

Tämä opas antaa askelmerkit siihen, mitä laadukas kvantitatiivinen markkinatutkimus käytännössä vaatii. Erityisesti kun puhutaan strategisesta tutkimuksesta, jonka tavoitteena on kehittää liiketoimintaa, asiakaskokemusta ja/tai henkilöstökokemusta, yhdistäviä teki-jöitä löytyy paljon. Kun taas ajatellaan tutkimusprojektin loppuraportointia ja datasta saat-avaa hyötyä, on onnistumisen edellytykset määritetty paljon ennen kuin ensimmäistäkään raportin sivua on tehty.

Opas sisältää seuraavat osat

• Tavoitteen määritys• Lomakkeen suunnittelu• Kohderyhmä, otanta ja tiedonkeräys• Datan analysoiminen• Raportin rakentaminen• Tulosten esittelytilaisuus• Yhteenveto• Kooste päähuomioista

On hyvä tiedostaa, että onnistunut tutkimusprojekti rakentuu pyramidin tavoin. Yksikin heikko kerros murentaa kokonaisuuden hyödynnettävyyttä huomattavasti. Onnistu-minen edellyttää keskittymistä olennaisiin asioihin, eikä sitä voi ajatella liukuhihnatyön tavoin suoritettavana erillisten henkilöiden hoitamina erillisinä vaiheina.

Tavoitteena tällä oppaalla on antaa sekä tutkijoille että tutkimuksia hyödyntäville asiak-kaille hyödyllisiä ja käytännöllisiä näkökulmia onnistuneen lopputuloksen saavuttamiseksi. Vaikka tämä opas keskittyy erityisesti markkinatutkimukseen internet-haastattelujen näkö-kulmasta, ovat monet asiat yleistettävissä myös henkilöstö- ja asiakastutkimuksiin sekä muihin tiedonkeruumenetelmiin.

Helsingissä 2020

Teksti Teemu Putto

Taitto Heidi Uimonen Kuvat Unsplash

Tämä opas on ilmestynyt ensimmäisen kerran blogikirjoitussarjana vuoden 2020 aikana Designtutkimus Helsingin verkkosivuilla.www.designtutkimus.fi© Designtutkimus Helsinki Oy

Page 3: Laadukas markkinatutkimus

3

Tavoitteen määritysTutkimuksen tavoite lähtee asiakkaan tarpeesta. Ilman selkeää tavoitetta tutkimusprojektilla ei ole mahdollisuutta onnistua. Tilanne on kuin suunnistajalla, joka lähetetään metsään ilman karttaa ja kompassia.

Tutkimusprojekti lähtee liikkeelle asiakkaan tarpeesta. Tutkijan on ymmärrettävä tämä tarve selkeästi: miksi tutkimusta lähdetään tekemään ja millaisten päätösten tekemisessä sen on autettava? Yksi hyvä tapa kiteyttää nämä asiat jo tutkimus-tarjoukseen on käyttää tavoitelausetta ja avainkysymyksiä.

Tavoitelause määrittää ylätason tavoitteen

Tavoitelauseessa kerrotaan se, mitä hyötyä tutkimuk-sen on tuotettava. Avainkysymyksillä kerrotaan, mitä välietappeja tämän hyödyn tuottaminen vaatii. Jos tavoitelausetta ja avainkysymyksiä ei ole tarpeeksi hyvin määritetty, on projektin jälkeen usein käsissä enemmän kysymyksiä kuin vastauksia. Projekti rönsyilee ja siitä tulee vain kokoelma irrallisia tiedonjyviä.

Liian epämääräisiä tavoitelauseita tutkimukselle ovat esimerkiksi:

• ”Selvitämme, mitä kuluttajat ajattelevat tuotteesta”• ”Selvitämme, miten halukkaita asiakkaat ovat suosittele-

maan palveluita”• ”Selvitämme, miten henkilöstökokemus yrityksessä ver-

tautuu muihin”

Asiakkaan tarve ei normaalitilanteessa ole hankkia dataa, vaan saada datasta hyötyä. Siksi tutkimuksen tavoite onkin hyvä kääntää muotoon, joka selvästi aset-taa suuntaviivat toiminnan parantamiselle. Esimerkiksi:

• ”Miten saamme tuotteen myyntiä kasvatettua?”• ”Miten parannamme asiakkaiden sitoutuneisuutta?”• ”Miten rakennamme henkilöstön innostuneisuutta ja

tehokkuutta?”

Avainkysymykset asettavat tarkemmat askelmerkitTavoitelause on hyvä purkaa jo tutkimustarjoukseen tarkemman tason avainkysymyksiksi. Niiden tehtävänä on kuvata, millaisten asioiden kautta tavoitetta lähde-tään ratkaisemaan. Esimerkiksi myynnin kasvattamisen osalta avainkysymykset voisivat liittyä optimaalisen position, potentiaalisimman kohderyhmän tai parhaan mahdollisen hinnoittelun selvittämiseen.

Avainkysymysten määrittäminen tutkimustarjoukseen on sekä tutkijan että asiakkaan näkökulmasta erittäin hyödyllinen asia. Niitä voidaan käyttää tutkimusprojektin onnistumisen mittarina – onnistuttiinko tavoiteltu infor-maatio tuottamaan?

Miksi tavoitteen huolellinen määrittely on tärkeää?Tavoitteen määritys on vaihe, jossa tutkimusprojektille asetetaan suunta ja määritetään riman korkeus. Siihen ei kannata suhtautua liian kevyesti, sillä asetettu tavoite ohjaa kaikkia seuraavia vaiheita, auttaa pitämään kat-seen olennaisessa ja kertoo myös odotukset lopputulok-selle. Erityisesti tutkijan velvollisuutena on huolehtia, että molemmilla osapuolilla on selkeä ja yhteisesti hyväksytty (kirjallinen) näkemys siitä mitä ollaan ratkaisemassa ja milloin projekti on täyttänyt sille asetetut tavoitteet.

Tavoitteen määrittämiseen kannattaa käyttää aikaa, eikä ole huono idea myös pitää sitä projektin ajan huoneentauluna esillä!

Page 4: Laadukas markkinatutkimus

4

Lomakkeen suunnitteluLomake on tulevan datan pohjapiirros. Kvantitatiivisen markkinatutkimuksen hienoimpia piirteitä on se, että voimme itse määritellä millaisen datan tarvitsemme löytääksemme vastaukset asetettuihin tavoitteisiin. Kun data on kerätty, ovat mahdollisuudet vaikuttaa siitä irti saatavaan tietoon rajalliset. Voidaankin sanoa, että kysymyslomake on kerättävän datan pohjapiirros. Sillä varmistetaan, että reitti tutkimukselle asetetuista tavoitteista selkeisiin johtopäätöksiin ja konkreettisiin toimenpidesuosituksiin löytyy varmasti ja selkeästi.

Lomakesuunnittelu vaatii vahvaa asiantuntemustaLomaketta suunniteltaessa asiakkaan ja tutkijan roolien on oltava selkeitä. Asiakas on oman tarpeensa asian-tuntija, mutta itse lomakkeen rakentamisen on oltava tutkijan vahvaa osaamisaluetta.Olennaista lomaketta suunniteltaessa on löytää tapa,

millä haluttu tieto saadaan vastaajilta irti mahdollisim-man laadukkaassa ja hyödynnettävässä muodossa. Sisällön osalta tärkeänä ohjaavana tekijänä toimii tutkimukselle asetettu tavoite.Teoriassa se, joka määrittelee tutkimuslomakkeelle

tulevat kysymykset on vastuussa myös projektin lop-putuloksen hyödyllisyydestä, mutta käytännössä pro-jektin lopputuloksesta vastuun kantaa aina tutkija. Siksi tutkijan on syytä pitää tässä vaiheessa lankoja vahvasti käsissään.

Ilman korkealaatuista lomaketta ei ole luotettavaa dataaVastaajaystävällinen lomake on paras tae korkealle datan laadulle. Halutun vastaajamäärän kasaaminen on markkinatutkimuksessa harvoin ongelma, mutta tulosten luotettavuutta ei voida tarkastella vain vastaa-jamäärän kautta.

Vastauskato on tekijä, joka markkinatutkimuksissa jätetään liian usein noteeraamatta. Pelkistettynä vastauskadolla tarkoitetaan tilannetta, jossa kaikkia haluttuja vastaajia ei pystytty haastattelemaan. Mark-kinatutkimuslomakkeen osalta tämä kiteytyy lähinnä kahteen asiaan: joko tavoiteltu vastaaja ei edes aloit-tanut vastaamista, tai sitten hän jätti sen kesken.

Vastauskadon aiheuttama ongelma datan laatuun syntyy siitä, että vastanneiden ja vastaamatta jättänei-den väliltä löytyy tyypillisesti muitakin eroja kuin vas- taamishalukkuus. Siksi vastauskadon aiheuttamaa

harhaa ei pystytä korjaamaan uusilla haastateltavilla tai datan painottamisella.

Markkinatutkimuksissa vastauskatoa ei tyypillisesti läh-detä tarkemmin analysoimaan tai paikkaamaan. Siksi tehokkain tapa sen hallintaan onkin ennaltaehkäisy. On pyrittävä varmistamaan, että lomakkeen aloitusprosen-tit saadaan mahdollisimman korkeiksi ja keskeytys-prosentit mahdollisimman mataliksi. Avaintyökalu tähän on onnistunut tutkimuslomake.

Lomake suunnitellaan asetetun tavoitteen pohjaltaLomakesuunnitteluvaihetta ohjaa tutkimukselle asetettu tavoite. Jokaisen lomakkeelle suunnitellun kysymyksen kohdalla kannattaa miettiä seuraavia kolmea asiaa:

1. Onko kysymys kriittinen tavoitteen saavuttamisen kannalta?

2. Miten kysymystä aiotaan analyysivaiheessa hyödyntää?

3. Miten kysymys linkittyy muuhun lomakesisältöön?

Jos vastaus kaikkiin näihin kolmeen kysymykseen ei ole selkeä, kannattaa kysymyksen tarpeellisuutta arvioida huolellisesti.

Tutkimuslomakkeen tarkastelu asetetun tavoitteen näkökulmasta auttaa pitämään lomakepituuden kurissa. Lomakepituus ei ole kriittinen tekijä sen suhteen miten miellyttäväksi vastata lomake koetaan, mutta sillä on iso merkitys siihen, aloitetaanko vastaamista ollen-kaan.

Kokenut tutkija osaa arvioida lomakkeen pituutta etu-käteen ja sitä voidaan testata myös koehaastatte- luilla. Jos lomakepituus internet-haastatteluissa nou-see yli 15 minuuttiin on todennäköistä, että tutkimuksen tavoitteen rajaamisessa ei ole onnistuttu tai sitä ei ole lomakkeella noudatettu.

Page 5: Laadukas markkinatutkimus

5

Tee lomakkeesta loogisesti etenevä tarina

Hyvä tutkija asettaa itsensä lomakesuunnitteluvaiheessa vastaajan asemaan.

Sitten kun vastaaja on päättänyt aloittaa vastaamisen, nousee ratkaisevaksi asiaksi se, miten raskaalta ja vai-valloiselta lomake tuntuu. Onnistunut tutkimuslomake pitää vastaajan mielenkiinnon yllä.

Kysymyslomakkeen on oltava vastaajan näkökulmasta loogisesti etenevä tarina, ei vain joukko peräkkäin ase- tettuja kysymyksiä. Vastaamisen on oltava helppoa, ja siksi erilaisia kysymystyyppejä on hyödynnettävä tehokkaasti. Jos lomakkeella on kymmenittäin asteikol- lisia väittämiä tai laajoja kysymysmatriiseja, ei vastaa-jaa ole suunnitteluvaiheessa huomioitu.

Kysymyksiä muotoiltaessa on mietittävä, miten asia voidaan kysyä vastaajalle mahdollisimman helpolla tavalla siten, että kysymys täyttää kuitenkin datan analysoinnin asettamat vaatimukset. Usein kannattaa esimerkiksi miettiä, onko mahdollista korvata joukko skaalallisia väittämiä yhdellä monivalintatehtävällä, sillä vastaajarasituksen kannalta näillä on merkittävä ero. Tämä riippuu erityisesti siitä, millaisia tilastollisia analyysejä datasta aiotaan tehdä.

Älä ärsytä vastaajaa

Vastaamalla lomakkeeseen vastaaja antaa tutkimuksen kannalta kriittisen panoksen. Hänen panostaan pitää arvostaa ja hänen ärsyttämistään on syytä välttää.

Lomakkeen on mukauduttava vastaajan antamien vastausten mukaan. Älä kysy asioita joihin vastauksen voi päätellä jo edellisistä kysymyksistä. Käytä esimerkiksi dynaamisia listoja, joissa vastausvaihtoehdot muodos-tuvat edellisten valintojen perusteella. Äläkä kysy asioita, jotka voi päätellä vastaajalle epärelevanteiksi, vaan käytä rohkeasti niin sanottuja hyppyjä.

Varmistu, että vastaaja löytää jokaisessa kysymyksessä itselleen sopivan vastausvaihtoehdon. Vaihtoehdot ”en osaa sanoa” ja ”muu, mikä” ovat aina tärkeitä käyttää, ellei niiden poisjättämiselle ole selkeitä perusteita.

Älä pakota vastaajaa vastaamaan avoimiin kysymyk-siin, eli anna hänelle mahdollisuus siirtyä lomakkeella eteenpäin kirjoittamatta vastauslaatikkoon mitään. Jos vastaaja ei ole halunnut avoimeen vastaukseen kom-mentoida, häneltä tuskin pakottamallakaan saadaan laadukasta vastausta. Todennäköisemmin aikaan-saadaan vain keskittymisen herpaantuminen tai lomak-keen keskeyttäminen.

Varmista myös, että lomakkeella olevat kysymykset ovat yksiselitteisiä. Jos vastaaja joutuu vastatessaan miettimään mitä kysymyksellä tarkoitetaan, on se ongelma joka kertautuu projektin edetessä. Raporttia lukiessaan ja tulosten esittelyä kuunnellessaan asiakas todennäköisesti tulee miettimään samaa asiaa, ja tulosten uskottavuudelta saattaa pudota pohja.

Palkitse laadukkaista vastauksista

Vastaajaa on motivoitava kahteen asiaan: vastaamaan ylipäänsä ja vastaamaan ajatuksella. Koska vastaaja lahjoittaa aikaansa vastaamiseen, ovat vastaajapalk-kiot usein suositeltavia. Niiden kohdalla on kuitenkin tärkeää muistaa, että ne eivät ole sidottuja annettujen vastausten laatuun. Vastaamisprosenttiin niillä usein on positiivinen vaikutus ja se on luonnollisesti tärkeää.

Tehokkain keino kannustaa laadukkaaseen vastaa-miseen on hyvin toteutettu lomake, mutta muitakin keinoja kannattaa aina harkita. Esimerkiksi pelillis-täminen tarjoaa useita mahdollisuuksia. Mieti esimer-kiksi, voitko rakentaa lomakkeen siten, että se toimii nettitestin tavoin – vastaaja saa vastaustensa pohjalta itselleen henkilökohtaisen palautteen/profiilin?

Testaa, kysy palautetta – ja reagoi!

Jokainen kysymyslomake kannattaa testata koehaas-tatteluilla. Ja jokaiseen kysymyslomakkeeseen on hyvä sisältyä vastaajapalauteosio.

Koehaastatteluissa kannattaa yleensä kerätä noin 5-10 prosenttia kokonaisotoksen vastaajamäärästä. Ainakin tältä joukolta kysytään paitsi tutkimuslomake, myös vastaajapalaute.

Vastaajapalauteosiossa kannattaa pyytää vastaajalta arviota lomakkeesta kokonaisuutena. Jos asteikolla ”1 = erittäin huono … 5 = erittäin hyvä” vastausten keskiarvo putoaa selvästi neljän alapuolelle, on vastaa-jaystävällisyydessä selvästi parantamisen varaa.

Lisäksi ymmärtääksesi paremmin lomakkeen mah-dollisia haasteita, kannattaa vastaajapalautetta usein kysyä myös osa-alueittain ja antaa vastaajille mahdolli-suus myös antaa avointa palautetta. Silloin koehaastat-telujen jälkeen lomakkeen mahdolliset epäloogisuudet tai muut merkittävät ongelmakohdat saadaan usein tehokkaasti selville.

Koehaastatteluvaiheessa kannattaa myös tarkastaa lomakkeen keskeytysprosentti. Jos se nousee yli 10 prosentin tasolle, on vastauskadosta muodostumassa mahdollinen ongelma. Tarkista missä kohdissa

Page 6: Laadukas markkinatutkimus

6

lomaketta vastaajat keskeyttävät ja mieti, mitä näille ongelmakohdille voisi vielä tehdä.

Tarkista vielä data kokonaisuudessaan – vastaako se sitä mitä lähdit keräämään? Jos ohjelmoinnissa on tullut virheitä, ne kannattaa huomata nyt. Asiaan voidaan vielä helposti reagoida.

Kokemus vastaajien antamista lomakearvioista ker-too, että hyvä vastaajapalaute syntyy mielenkiintoisesta aiheesta, loogisesti etenevästä lomakkeesta, selkeästä ulkoasusta, huolellisesta kieliasusta ja helposti vas-tattavista kysymyksistä. Jos lomake on toimiva, ei ole merkittävää eroa kestääkö siihen vastaaminen viisi tai kymmenen minuuttia. Jos lomakkeen toimivuudessa on ongelmia, voi tämä pituusero kuitenkin olla kriittinen.

Jos avoimessa vastaajapalautteessa tulee kommentte-ja ”joko tämä loppui”, on vastaajaystävällisyydessä onnistuttu hyvin.

Page 7: Laadukas markkinatutkimus

7

Kohderyhmä, otanta ja tiedonkeräysPohjapiirroksesta rakennusvaiheeseen. Kun data on kerätty, ovat mahdollisuudet vaikuttaa sen luotettavuuteen hyvin rajalliset. Siksi otannan suunnittelu ja varsinainen tiedonkeräys on suoritettava erityistä huolellisuutta noudattaen. Tässä osiossa pyritään nostamaan esiin muutamia onnistumisen edellytyksiä ja kompastuskiviä. Vaikka ajallisesti kohderyhmän määrittäminen, otannan suunnittelu ja varsinainen tiedonkeräys voivat tapahtua eri vaiheissa projektia, on niitä tässä luontevaa käsitellä yhdessä.

Kohderyhmän valitseminen: vältä tarpeettomia rajauksiaTutkimuksen kohderyhmän määrittely on tärkeä vaihe, sillä tutkimuksen tuloksia ei voi yleistää tutkitun kohde-ryhmän ulkopuolelle. Jos tutkimukseen lähdettäessä rajaat jonkin olennaisen kohderyhmän tutkimuksen ulkopuolelle, olet tehnyt ison virheen – etkä välttämättä koskaan saa tietää sitä. Siksi tutkittavan kohderyhmän on mieluummin oltava liian laaja kuin liian rajattu.

Jos haluat varmistua siitä, että kaikki tärkeät vastaaja-ryhmät tulevat mukaan, kannattaa tutkimuksen kohde-ryhmän rajaus suorittaa tutkimuslomakkeella. Käytän-nössä lomakkeen alkuun suunnitellaan pieni joukko kysymyksiä, jolla varsinaiseen tutkimukseen mukaan otettavat vastaajat saadaan kartoitettua.

Tätä lähestymistapaa kannattaa usein käyttää siitäkin syystä, että sillä ei ole tiedonkeruun suhteen juurikaan aikataulullisia tai kustannuksellisia vaikutuksia. Lop-putuloksena saat mukaan varmasti kaikki relevantit vastaajaryhmät ja pystyt helposti muuttamaan tulokset väestötason estimaateiksi.

Otoksen rakentaminen: satunnaisotanta on edustavuuden perustaKun kohderyhmä on valittu, on tilanne yleensä sellainen, että kaikkia siihen kuuluvia on mahdotonta haastatella. Tällöin on turvauduttava otokseen. Jotta otoksen perus-teella saadut tulokset voidaan yleistää koskemaan koko tutkittavaa perusjoukkoa, on otoksen oltava satunnai-sesti poimittu.

Yksinkertainen satunnaisotanta tarkoittaa sitä, että kaikilla tutkittavan perusjoukon jäsenellä on yhtä suuri mahdollisuus päästä mukaan otokseen. Käytännössä siis mukaan tulevat vastaajat arvottaisiin kaikista kohde-ryhmään kuuluvista. Kun otos on poimittu satunnai-sotannalla, voidaan sen tulokset yleistää koskemaan

koko perusjoukkoa ja saaduille tuloksille voidaan laskea luotettavuusmittareita.

Esimerkiksi omaan ystäväpiiriin, omaan sosiaalisen median verkostoon tai tietyn sivuston kävijäkuntaan perustuvat otokset eivät täytä satunnaisotannan määritelmää. Näin kerätyillä tutkimusdatoilla onkin useimmiten lähinnä viihdearvoa.

Tiedonkeräys: älä hätäile!

Tiedonkeräysvaiheessa on tärkeää varmistua siitä, että asetettu kohderyhmä tavoitetaan mahdollisimman edustavasti. Yleinen tapa epäonnistua tässä on käyttää tiedonkeräysvaiheeseen liian vähän aikaa.

Internet-paneeleista on helppoa kerätä isojakin otoksia muutamissa tunneissa, mutta olennainen kysymys onkin, ovatko nopeimmin vastaavat muilta taustatekijöiltään ja asenteiltaan samanlaisia kuin ne, jotka eivät mukaan ehdi? Tämä on usein epärealistinen oletus. Siksi on hyvä muistaa, että pelkästään se onko datassa edustavan näköisesti eri taustaryhmiä ei kerro siitä, onko data luo-tettava ja laadukas.

Liian nopea tiedonkeräys voi synnyttää dataan pal-jon harhoja. Ongelmallista on se, että näitä harhoja on vaikeaa tai jopa mahdotonta jälkikäteen tunnistaa. Siksi varmin keino saada kohderyhmää edustavaa dataa on varata tiedonkeräämiseen riittävästi aikaa – usein noin viikko, mutta haastavammissa kohderyhmissä jopa pitempikin aika.

Page 8: Laadukas markkinatutkimus

8

Otoskoko: paljonko vastaajia tarvitaan?Datan laatu on tärkeämpi asia kuin datan määrä. Otoskoon vaikutusta tulosten luotettavuuteen voidaan miettiä vasta siinä vaiheessa, kun tiedämme että kerätty data on edustava ja harhaton. Jos datan laadussa on ongelmia, on otoskoko triviaali asia – sen kasvattami-nen vähentää toki satunnaisvaihtelua, mutta ei poista harhaa.

Usein suurta otoskokoa kunnioitetaan siksi, että sen avulla on helppo löytää enemmän tilastollisesti merkit-seviä eroja. Tällöin ei kuitenkaan nähdä metsää puilta. Tapa, jossa löydökset jaetaan tietyn raja-arvon mu-kaan merkitseviin ja ei-merkitseviin ei olekaan enää aivan tätä päivää, sillä jokaiselle yksittäiselle tulokselle on nykyään helppo laskea oma luotettavuusarvionsa. Tärkeämpää kuin tuijottaa yksittäisiä merkitsevyyksiä onkin keskittyä löydösten sisällölliseen merkitsevyyteen.

Otantateoriaan perehtymättömälle voi olla haas-tavaa hyväksyä, että tutkittavan perusjoukon koolla on yllättävän pieni merkitys tarvittavaan otoskokoon. Ajatellaanpa tilannetta, jossa haluamme selvittää sekä oululaisten että kiinalaisten mielipiteitä tietystä asias-ta. Voi tuntua hurjalta, että molemmissa tapauksissa samalla otoskoolla päästään yhtä luotettaviin tuloksiin, mutta näin tilanne käytännössä on. (Oululaisille kuiten-kin tiedoksi, että tämä johtuu otantateoriasta, eikä sitä voi yleistää muihin asioihin siten, että yksi oululainen vastaisi kaikissa tilanteissa seitsemäätuhatta kiinalaista.)

Kun tutkimusotos on edustava ja harhaton, tarkentaa isompi otos toki estimaattien tarkkuutta. Tarkentuminen ei kuitenkaan tapahdu lineaarisesti, vaan luottamusvälin puolittaminen vaatii aina otoskoon nelinkertaistamista. Siksi tulosten kokonaisluotettavuuden kannalta isoissa perusjoukoissa on huomattava ero sillä, onko haas-tateltu sata vai tuhat vastaajaa, mutta sillä onko haas-tateltu tuhat vai kaksituhatta vastaajaa on jo yllättävän vähän merkitystä.

Luotettavien kokonaistason tulosten saamiseen riittää usein varsin pieni vastaajamäärä. Markkinatutkimuk-sissa tilanne on kuitenkin usein se, että kokonaistason tulosten tarkastelu ei riitä, vaan tuloksia halutaan

tarkastella myös taustaryhmissä. Tarvittava otoskoko määräytyykin tavallisimmin pienimmän tarkasteltavaksi halutun osajoukon mukaan. Siksi on tiedettävä etukä-teen, missä taustaryhmissä tuloksia halutaan tarkastella.

Tyypillisesti pienimpään tarkasteltavaan tausta-ryhmään halutaan minimissään 30 vastaajaa. Lasken-nallisena esimerkkinä, jos arvioimme etukäteen, että tutkimuksessa tämä joukko edustaa viittä prosenttia kohderyhmästä, täytyy kokonaisotoksessa olla 600 vas-taajaa jotta taustaryhmään saadaan tarpeeksi vas- taajia.

Otoskoon optimointi on tutkimuksia ostavalle asiak-kaalle tärkeää erityisesti kustannusnäkökulmasta, sillä markkinatutkimuksissa laadukkaan otoksen hankinta on suurimpia kustannukseen vaikuttavia tekijöitä.

Datan siivoaminen: usein tekemättä jätetty vaiheEnnen kuin datasta ryhdytään tekemään tarkempia analyysejä ja johtopäätöksiä, on se vielä siivottava. Selvästi virheelliset/asiattomat vastaukset on poistet-tava, sillä niiden mukana pitäminen voi vääristää lop-putulosta suurestikin. Poistamista varten käytössä on hyvä olla selkeitä mittareita, joiden kautta vastausten todenmukaisuutta voidaan arvioida.

Datan laaduntarkkailuun käytettävät mittarit kannattaa aina suunnitella etukäteen. Näitä voivat olla esimerkiksi käytetty vastausaika, epärealistiset vastausyhdistelmät tai datamatriiseissa vastausten epäilyttävän pieni keskihajonta. Yleinen käytäntö on se, että hylätyksi vas-taajaksi päätyminen vaatii ”kiinni jäämistä” vähintään kahdessa mittarissa.

Siivoaminen on tärkeä, mutta usein väliin jätetty vaihe. Tyypillisessä paneeliotoksessa poistettavia vastaajia löytyy noin 3–5 prosenttia, mutta tämä määrä voi olla huomattavasti suurempikin, riippuen lomakkeen vastaajaystävällisyydestä. Jos tämä joukko jätetään mukaan tutkimusotokseen, voivat tulokset olla jotain ihan muuta kuin mitä niiden todellisuudessa pitäisi olla.

Jos kerätty data ei edusta halutuilta taustoiltaan tavoi-teltua kohderyhmää, sitä voidaan myös painottaa. Yksinkertaistettuna – jos väestöä edustavassa otok-sessa tietty ikäryhmä jää aliedustetuksi, voidaan sii-hen kuuluville vastaajille antaa suurempi painoarvo kuin muille. On kuitenkin hyvä tiedostaa, että datan painotustarve on usein signaali hätäisesti tai muuten huolimattomasti suoritetusta tiedonkeruusta. Se ei poista vastauskadosta tai esimerkiksi liian nopeasti suoritetusta kenttätyöstä aiheutuneita harhoja.

Page 9: Laadukas markkinatutkimus

9

Datan analysointimikä on analysoinnin tavoite? Ennen kuin ensimmäistäkään sivua tutkimus-raportista on tehty, on data analysoitava huolellisesti. Tässä analysoinnilla tarkoitetaan datan läpikäyntiä tilastollisilla menetelmillä, ei vain silmämääräistä arviointia. Laadukasta raportointia ei voi tehdä tietämättä mikä datassa on olennaista. Datan analysointivaiheen yksi tärkeimmistä tehtävistä on kirkastaa datasta syntyvän tarinan kaari. Siinä rakennetaan polku tutkimuksesta asetetuista tavoitteista selkeisiin johtopäätöksiin ja konkreettisiin toimenpidesuosituksiin.

Datan raportointi ei ole datan analysointia

Kvantitatiivisessa markkinatutkimuksessa data jää vali-tettavan usein alihyödynnetyksi. Loppuraportti saattaa sisältää vain ristiintaulukointeja, vastausjakaumia ja keskiarvoja ehkä lisättynä tekijöiden välisillä korre-laatioilla ja tilastollisilla merkitsevyystestauksilla. Johto-päätökset eivät tällöin perustu tilastollisen analysoinnin tuottamiin löydöksiin, vaan jakaumien katselemisen tuottamiin ahaa-elämyksiin.

Tällaisessa tapauksessa asiakas ei saa projektista läheskään sitä hyötyä, joka hänen kuuluisi saada. Edellä kuvatut tavat lähestyä dataa ovat vain kuvailevia pin-taraapaisuja. Lopputuloksen jääminen tällaiselle tasolle ei saisi olla hyväksyttävää tutkimuksissa, jotka tähtäävät liiketoiminnan kehittämiseen.

Suunnitteluvaihe asettaa raamit analysoinnilleDatan analysointivaihe alkaa vaiheesta ”miltä data näyttää” ja sen pitää päättyä vaiheeseen ”mitä data merkitsee.” Tavoitteena on, että löydetyt merkitykset perustuvat mahdollisimman vähän tutkijan omiin oletuksiin ja mahdollisimman paljon tilastollisella ana-lysoinnilla tehtyihin löydöksiin.

Palaamme tässä tavoitteen asetannan ja lomakesuun-nitteluvaiheen tärkeyteen. Jos projektin alkuvaiheessa ei ollut kirkasta määritelmää siitä, mihin haasteisiin tutkimuksella haetaan ratkaisua, on konkreettisia vas-tauksia nyt erittäin vaikeaa löytää. Toisaalta, jos jo lomakesuunnitteluvaiheessa ei ajateltu sitä, millaisia tilastollisia analyysejä datasta aiotaan tehdä ja mil-laisia muuttujia näiden analyysien luotettavaan suorit-tamiseen, ollaan nyt heikoilla jäillä.

On siis tärkeää, että lomakesuunnitteluvaiheessa ei ole ajateltu pelkästään yksittäisiä kysymyksiä, vaan jo silloin on mietitty myös sitä, miten näiden kysymysten tuot-tamaa informaatiota pystytään yhdistämään.

Entä jos tutkija ei itse tee tilastollisia analyysejä?On hyvä tiedostaa, että se joka datan tilastollises-ti analysoi myös ymmärtää datan ja sen merkityksen parhaiten. Mitä useamman henkilön kesken projektin toteutus jakautuu, sitä suurempi riski on ”rikkinäisille puhelimille” .

Käytännössä tilanne on kuitenkin usein se, että data-analyytikkona projektissa ei toimi projektista vastaava tutkija. Tämä voi olla täysin toimiva ratkaisu, jos tilanne on huomioitu prosessin kuluessa.

Data-analyytikolle turhauttavin tilanne on se, että hänelle toimitetaan kasa dataa, ja pyydetään löy-tämään siitä jotain mielenkiintoista. Onnistumisen mahdollisuudet ovat erittäin rajatut, jos analyytikko ei tiedä tutkimuksen tavoitetta, eikä hän ole ollut aktiivisesti mukana suunnittelemassa tutkimuslomaketta.

Vaikka projektissa käytettäisiin erillistä data-analyy-tikkoa, ei häntä voi pitää erillisenä osana projektia. On hyvä ottaa hänet mukaan niihin asiakastapaamisiin, joissa tutkimuksen tavoite kirkastetaan. Häntä on kuun-neltava tarkasti silloin, kun määritellään tavoitteeseen pääsemiseen vaadittavia kysymyksiä. Projektin aikana hänen ja vastaavan tutkijan välillä on oltava jatkuva ja tiivis keskusteluyhteys. Jos data-analyytikko tällä tavoin kytketään vahvaksi osaksi koko prosessia, on realistista odottaa häneltä myös näkemyksellistä panosta.

Tärkeä huomio on myös se, että tämä on data-ana-lyytikon kannalta usein motivoivin tapa toimia. Nimittäin jos hän on vain työrukkanen, joka toteuttaa vain tut-kijan pyytämiä menetelmiä, ollaan hyvin kaukana optimitilanteesta sekä lopputuloksen laadun että työn tekemisen merkityksellisyyden osalta.

Page 10: Laadukas markkinatutkimus

10

Mitä onnistuminen tilastollisessa analysoinnissa vaatii?”Jos ainoa työkalusi on vasara, kaikki ongelmasi näyttävät nauloilta!”

Tämä sanonta pitää erittäin hyvin paikkansa datan tilastollisen analysoinnin kanssa. Siksi onkin tärkeää, että datan analysoijalla on hallussaan mahdollisimman laaja työkalupakki tilastollisia monimuuttujamenetelmiä. Sen mitä näistä menetelmistä käytännössä valitaan pitää perustua vain ja ainoastaan siihen, miten ne edesauttavat asetettuun tavoitteeseen pääsemistä. Joskus tarvitaan regressioanalyysiä, joskus taas kor-respondenssianalyysi vie pisimmälle. Useimmiten toimivin lopputulos saadaan yhdistelemällä eri lähes-tymiskulmia.

Menetelmien taakse ei kuitenkaan pidä piiloutua. Jos menet asiakkaan luokse esittelemään markkinatutki-muksen tulokset kolmannen asteen yhtälöllä, saattaa vastaanotto olla jäätävä. Onkin hyvä muistaa, että tyypillisesti asiakasta kiinnostaa vain lopputulos ja perustelut siitä, miten siihen on päädytty. Tilastollisten menetelmien tuloksia raportoitaessa avainosaamista onkin se, miten analysoinnin tulokset esitetään henki-löille, jotka eivät ymmärrä menetelmiä tai joita mene-telmät eivät kiinnosta.

Datan analysoinnin on oltava läpinäkyvää!

Kun puhutaan luotettavasta – ja hyödyllisestä – datan analysoinnista, on ehdoton kriteeri sille läpinäkyvyys. Käytännössä asiakkaan on halutessaan saatava tietää täsmällisesti, miten datan analysointi on tehty.

Siksi kaikkiin ”mustiin laatikkoihin”, joissa data syötetään sisään ja tulokset saadaan ulos, mutta asiakkaalle ei avoimesti kerrota, miten tulosten laskenta tapahtui, on syytä suhtautua suurella varauksella. Datan analy- soinnin tehtävänä on luoda polku konkreettisiin johto- päätöksiin. Jos tämä polku ei ole avoimesti nähtävissä, se vaikeuttaa tulosten tulkintaa ja jättää lopputuloksen päälle useita kysymysmerkkejä.

Esimerkki: Kilpailuetutekijöiden selvittäminen

Tämä esimerkki on tarkoituksella pidetty tutkittavien muuttujien osalta yksinkertaisena havainnollistamisen takia. Tulokset perustuvat siis tässä kuvitteelliseen dataan.

Esimerkissä tarkastellaan tilannetta geneerisen yrityksen osalta, mutta lähestymistapa on täysin yleis-tettävissä moniin eri käyttötarkoituksiin, esimerkiksi tuotteen positioinnista ja viestikärkien kartoittamisesta aina työnantajamielikuvan kehittämiseen saakka.

MISTÄ TÄSSÄ ESIMERKISSÄ ON KYSYMYS?Datan tehokas hyödyntäminen vähentää tarvittavien kysymysten määrää ja tuottaa konkreettisempia tulok-sia. Kun kysymysten tuottama tieto osataan hyödyntää tehokkaasti ja eri kysymykset pystytään linkittämään toisiinsa, voidaan vähälläkin kysymysmäärällä päästä pitkälle. Yksittäisten kysymysten tuijottaminen taas ei auta meitä näkemään metsää puilta.

Tämä yksinkertainen esimerkki esittelee yhden tavan, millä yrityksen kilpailuetutekijät (nykyiset tai potentiaa-liset) pystytään selvittämään markkinatutkimuksen kei-noin tehokkaasti ja luotettavasti.

MITEN KILPAILUETUTEKIJÖITÄ VOIDAAN LÄHTEÄ SELVITTÄMÄÄN?Jokaisella menestyvällä yrityksellä on oltava oma kil-pailuetutekijänsä. On useita tapoja määrittää kilpai-luetutekijöitä, mutta ainakin kolme seuraavaa kohtaa ovat relevantteja:

• Yritys on kilpailuetutekijässä kilpailijoitaan vahvempi• Kilpailuetutekijä on kuluttajalle tärkeä valintamotiivi• Kilpailuetutekijä ei ole helposti kopioitavissa

Usein törmää siihen, että keskitytään näistä vain ensimmäiseen kohtaan ja puhutaan erottautumisen tär-keydestä. On kuitenkin muistettava, että erottautumisella ei ole arvoa sinänsä, vaan sen on tapahduttava ominai-suuksissa, joilla on kuluttajille merkitystä.

Page 11: Laadukas markkinatutkimus

11

Siksi kvantitatiivisella markkinatutkimuksella kilpailue-tutekijöitä lähdettäisiin ratkaisemaan kahden ulottu-vuuden kautta:

1. Mikä tekijät ovat yrityksen valinnassa tärkeitä?2. Miten yrityksen koetaan onnistuvan näissä tekijöissä?

Helppoa? Teoriassa kyllä. Käytännössä jos ja kun halutaan luotettavia ja todellisuuden kanssa yhtäpitäviä tuloksia, vaaditaan paljon enemmän kuin pari suoraa kysymystä.

KILPAILUETUTEKIJÖIDEN TÄRKEYS – MITEN SE SAADAAN SELVILLE?Kun puhutaan erilaisten ominaisuuksien tärkeyden mittaamisesta, on yleisimmin käytetty tapa asteikollinen kysymys, eli esimerkiksi ”asteikolla 1–5, kuinka tärkeä ominaisuus edullisuus sinulle on?”

Tämä on kuitenkin karkea ja erottelukyvyltään tehoton lähestymistapa, joka johtaa kahteen ongelmaan:

1. Tulokset eivät peilaa todellista käyttäytymistä2. Tulosten jatkohyödyntäminen analyyseissä on tehotonta

Syy ongelmiin on siinä, että vastaaja ei joudu teke-mään valintoja eri ominaisuuksien välillä, vaan hän voi toivoa täydellisyyttä. Siksi tällaisella mittaamisella esimerkiksi hinnan tai eettisyyden merkitykset ylikoros-tuvat todellisuuteen verrattuna. Onhan helppoa ilmoittaa tekevänsä eettisiä valintoja, jos se ei edellytä luopumista mistään muusta.

Jatkoanalysoinnin kannalta on myös erittäin haas-tavaa, jos yksilötasolla meillä on viisi erittäin tärkeää ja viisi melko tärkeää valintamotiivia. Tästä on mahdoton-ta päätellä sitä, mistä langasta meidän pitää todelli-suudessa vetää voittaaksemme kuluttajan puolellemme.

Parhaiten kuluttajien todellisiin valintamotiiveihin pääsee kiinni pakottamalla kuluttaja tekemään valin-toja erilaisten tekijöiden välillä myös tutkimuksessa. Yksinkertaisimmillaan tämä voi tarkoittaa parittaista vertailua (”kumpi sinulle on ostotilanteessa tärkeämpää, eettisyys vai edullinen hinta”), tehokkaammin toteutet-tuna esimerkiksi MaxDiff-menetelmän avulla.

Toki ennen kuin varsinaiseen mittaamiseen päästään käsiksi, meillä on oltava pohjatieto siitä, mitkä valin-tamotiivit kyseisellä toimialalla ovat relevanteimmat. Usein olennaisimmat motiivit pystytään määrittämään aiemman tutkimustiedon ja toimialatuntemuksen kaut-ta, mutta vähänkin epävarmoissa tilanteissa pohjalle kannattaa tehdä kvalitatiivinen tutkimus, jonka avulla varmistutaan siitä, että mitään olennaista ei jää huo-mioimatta.

Vaihe 1: Motiivien tärkeyden mittausJos mittaisimme kuluttajien valintamotiiveja asteikollisel-la kysymyksellä, voisi lopputulos näyttää oheisenlaiselta:

Tällaisesta tuloksesta on hyvin vaikea vetää mitään johtopäätöksiä. Tulokset ovat lähellä toisiaan, eikä niiden tärkeyksien välisestä suhteesta voida tehdä päätelmiä. Kuten myös edellä mainittu, esimerkiksi hinnan merkitys ylikorostuu tällaisessa mittauksessa aina.

Seuraavassa esimerkissä hyödynnämme MaxDiff-me-netelmää. Se pohjautuu ominaisuuksista rakennettuihin yhdistelmiin, joita vastaajalle tulee arvioitavaksi useam-pi kappale.

Valintatehtävä näyttää vastaajalle seuraavanlaiselta:

Tässä tapauksessa vastaaja vastaa viiteen yllä olevan kaltaiseen valintatehtävään, joissa ominaisuudet vaih-televat aina osittain. On myös mahdollista ja usein täysin riittävää kysyä jokaisessa tehtävässä vain, mikä on vastaajan mielestä kaikkein tärkein ominaisuus. Kun data on kerätty, se analysoidaan tilastollisesti siten, että eri ominaisuudet saadaan suhdeasteikolliseen tärkeysjärjestykseen sekä kokonaistasolla että yksilötasolla.

Page 12: Laadukas markkinatutkimus

12

MaxDiff-raportoinnissa kokonaisuudessaan sata pis-tettä jaetaan mitattujen ominaisuuksien kesken niiden tärkeyden suhteessa. Käytännössä tämä tarkoittaa sitä, että oheisesta kuvasta voimme paitsi päätellä ominai-suuksien tärkeysjärjestyksen, niin tiedämme nyt myös esimerkiksi sen, että ystävällinen palvelu on kuluttajille kaksi kertaa tärkeämpi asia kuin nopea asiointi.

Vaihe 2: Motiiveissa onnistumisen selvittäminenOmaa onnistumista ei voi mitata tyhjiössä.

Ei riitä, että tiedämme, miten me itse suoriudumme eri ominaisuuksissa. Erilaisilla ominaisuuksilla on täysin erilaiset odotusarvot, eikä saatuja prosenttilukuja voida suoraan verrata toisiinsa. Siksi oman yrityksen suoritusta on mitattava aina suhteessa muihin markkinatoimijoihin.

Ajatellaan nyt tilannetta, jossa yrityksemme ”Oma yritys” on varsin tuore tulokas markkinoilla, eivätkä sen mielikuvamittarit ole vielä erityisen vahvoja. Kun mieli-kuvamittareita on kysytty yrityksen tunteneilta, näyttää tilanne suorina prosenttilukuina tältä verrattuna pääkil-pailijoihimme.

Tämä ei kuitenkaan vie meitä kovin pitkälle. Jotta analysoinnissa päästään aidosti kiinni yritys-

ten vahvuuksiin ja heikkouksiin kilpailijoihin verrattuna, meidän on pystyttävä poistamaan taustatekijöistä johtuvat tasoerot eri yritysten välillä. Silloin pystymme päättelemään sen, missä tekijöissä suoriudumme tällä

hetkellä suhteessa hyvin ja missä heikosti.Tässä tapauksessa käytämme apuna biplot-me-

netelmää hahmottaaksemme markkinapositiot.

Nyt ymmärrämme dataa jo paremmin. Esimerkiksi Kilpailija A:n selkeä erotteleva tekijä on ”ystävällinen palvelu”, kun taas ”Oma yritys” positioituu lähelle omi-naisuuksia ”korkealaatuiset tuotteet” ja ”laaja valikoima”.

Tulosten jatkohyödyntämistä varten otamme yri-tystämme erottelevat tekijät ulos vielä lukuarvioina. Erottuvuudet perustuvat tässä Khi-neliö -analyysiin.

Nyt meillä on käytössämme data, joka havainnollistaa oman markkinapositiomme suhteessa kilpailijoihin.

Page 13: Laadukas markkinatutkimus

13

Vaihe 3: Löydösten yhdistäminenOlemme nyt selvittäneet kaksi olennaista ulottuvuutta – valintamotiivien tärkeyden ja yrityksemme suoriutu-misen niissä suhteessa kilpailijoihin. Jotta näitä tuloksia voidaan tehokkaasti hyödyntää, on ne vielä koostet-tava yhteen. Hyödynnämme siinä yksinkertaista nelikenttätarkastelua, jossa origo asettuu yritysten keskiarvon kohdalle.

Tähän kiteytyy kaikkein olennaisin tieto. Kaikki muut olivat vain välivaiheita tavoitteeseen pääsemiseksi.

Tästä kuvasta voimme tulkita suoraan seuraavia asioita:• Yrityksemme kilpailuetu löytyy tällä hetkellä tuotteiden

laadusta• Meidän on nyt keskityttävä palvelun ystävällisyyden

parantamiseen.• Laaja valikoima erottelee meitä muista, mutta koska se ei

ole kuluttajille olennainen kriteeri, ei valikoimaa kannata enää ainakaan laajentaa. Voi jopa miettiä, olisiko sen supistaminen taloudellisesti kannattavaa.

Tätä taustaa vasten on helppo lähteä miettimään sitä, mitkä haasteista ovat todellisia ja mitkä mielikuvallisia – eli mitä toimenpiteitä markkina-aseman vahvistaminen vaatii.

Lisäksi kuvaan on havainnollistamiseksi lisätty regres-siosuora, joka antaa meille osviittaa siitä, että mitä tärkeämpi tekijä on, sitä heikommin siinä suoriudutaan suhteessa kilpailijoihin. Työmaata siis riittää, mutta nyt parannuskohteet ovat selkeästi tiedossa.

Tämän saman datan pohjalta voidaan tarkastelua viedä haluttaessa vielä huomattavasti pitemmälle. MaxDiff-mittaus antaa erottelukykynsä johdosta erittäin hyvän pohjan motiivipohjaiselle segmentoinnille. Seg-mentoinnin suoritettuamme tietäisimme vielä, millaisiin ryhmiin kuluttajat jakautuvat valintamotiiviensa mukaan, ja mistä segmenteistä oma potentiaalimme löytyy. Tämä on hyvä esimerkki siitä, miten pitkälle jo muuta-man kysymyksen tehokkaalla analysoinnilla voidaan päästä.

Yhteenveto

Huolellinen tilastollinen analysointi vähentää epävar-mojen oletusten tarvetta. Kun ei tarvitse arvailla sitä, mitä tuloksista voidaan päätellä, pystytään keskit-tymään siihen, mitä käytännön toimenpiteitä tulosten pohjalta pitää tehdä.

Jos esimerkiksi tässä tapauksessa ominaisuuksien tär-keys olisi kysytty asteikollisena ja ominaisuuksissa suo-riutuminen vain omasta yrityksestä, ei tällaista analyysiä olisi luotettavasti pystytty toteuttamaan. Tällöin tulosten pohjalta suunnitellut toimenpiteet voisivat pahimmillaan olla todella haitallisia.

Joskus kuulee sanottavan, että markkinatutkimuksen tulokset eivät pidä yhtä todellisen kuluttajakäyttäyty-misen kanssa. Näin varmasti voi joskus olla. Useimmiten syy löytyy kuitenkin silloin siitä, että kyseessä on heikosti suunniteltu tutkimus ja huolimattomasti hyödynnetty data.

Page 14: Laadukas markkinatutkimus

14

Hyvä tutkimusraportti tiivistää tarinan datan taustalta. Se lähtee tutkimukselle asetetuista tavoitteista ja etenee luontevana kaarena olennaisten löydösten kautta kokonaisuudesta tehtyihin johtopäätöksiin ja toimenpidesuosituksiin.

Kaikki tähänastiset tutkimusprosessin vaiheet ovat valmistaneet meitä tähän. Kun tarinan rakentamista on ajateltu jo tavoiteasetantavaiheesta lähtien, on nyt helppoa muodostaa kiehtova ja looginen tarina selkeästi etenevällä juonella.

Raportin rakentaminen

Keskity näkemyksiin, älä dataan

Yksittäisten kysymysten tulosten läpikäynti on puudut-tavaa ja lopputuleman kannalta hyödytöntä. Silti se on liian usein se ainoa tapa, jolla tutkimuksen tuloksia esitetään.

On hyvä muistaa, että tutkimuksella todennäköises-ti lähdettiin ratkaisemaan asiakkaan haasteita ja sille asetettiin alkuvaiheessa selkeä tavoite. Tavoitteeseen pääseminen vaatii yleensä useita kysymyksiä ja niiden huolellista analysointia. Asiakas odottaa selkeitä vas-tauksia ja ratkaisja, ei yksittäisiä tuloksia.

Jos tutkimusraportti koostuu kysymyskohtaisista tulok-sista, ollaan hyvin kaukana tarinankerronnasta ja olennaisen kiteyttämisestä. On kyseenalaista, jaksaako kukaan tällaista raporttia lukea – puhumattakaan siitä, kykeneekö kukaan löytämään siitä olennaiset asiat.

Tarina vaatii käsikirjoituksen

Hyvä tarina alkaa aina käsikirjoituksesta. On syytä miettiä etukäteen, mitä asioita tehdystä tutkimukses-ta kannattaa nostaa esiin. Jos raportointia lähdetään rakentamaan siten, että ensin tuotetaan diakaupalla erilaisia graafeja ja näistä yritetään koostaa toimivaa kokonaisuutta, yritetään kiivetä takapuoli edellä puuhun.

Jokainen tutkimus on erilainen ja jokainen käsikirjoitus on mietittävä erikseen. On kuitenkin yleisiä elementtejä, joista käsikirjoitus voi koostua, kuten esimerkiksi:

• Tavoitteen kuvaus• Tutkimuksen toteutus• Tiivistys löydetyistä ratkaisuista• Kuvaus siitä, mihin löydetyt ratkaisut perustuvat• Näkemys siitä, mitä seuraavaksi kannattaa tehdä

Mitä osiot voivat esimerkiksi sisältää?

TAVOITTEEN KUVAUSTavoite on kuvattava sellaisena, millaiseksi se yhdessä asiakkaan kanssa projektin alussa sovittiin. Kun raportti esittelee tutkimuksen tavoitteen ja myös ne pääkysy-mykset, joihin tutkimuksella lähdettiin hakemaan vas-tauksia, on raportin lukijan helppo tehdä omat johto-päätelmänsä siitä, miten tutkimusraportilla pystyttiin asetettuihin tavoitteisiin vastaamaan.

TUTKIMUKSEN TOTEUTUSOlennainen osa, jonka ei saa kuitenkaan antaa karata lapasesta. Tässä kohtaa ei kannata mennä liian detal-jitasolle. Turhat menetelmäkuvaukset ja esimerkiksi kuvaus otosrakenteesta eivät välttämättä kuulu tähän osioon.

Tehokkaimmillaan tutkimuksen toteutus kuvataan yhden sivun tietotauluna, joka voi sisältää esimerkiksi seuraavia asioita:

• Tutkimuksen kohderyhmä• Tiedonkeräysmenetelmä• Tiedonkeräysajankohta• Otoslähde• Otoskoko• Vastausprosentti• Keskeytysprosentti• Vastaamiseen kulunut mediaaniaika

Näiden tietojen valossa pystytään tekemään johtopää-töksiä tulosten luotettavuudesta ja yleistettävyydestä. Jos tutkimus halutaan tulevaisuudessa toistaa, ovat olen-naiset tiedot tässä selkeästi kasattuina.

Page 15: Laadukas markkinatutkimus

15

TIIVISTYS LÖYDETYISTÄ RATKAISUISTAYksinkertaisimmillaan tämä voi olla yhden sivun tiivistelmä, jossa tutkimuksen tavoitteeseen ja asetettu-ihin pääkysymyksiin annetaan konkreettiset ja selkeät vastaukset.

KUVAUS SIITÄ, MIHIN LÖYDETYT RATKAISUT PERUSTUVATTämä osio ei saa olla sekamelska erillisiä kysymyksiä tai menetelmäkuvauksia, vaan tässä osiossa esitetään datan analysointivaiheessa tehdyt kriittiset löydökset, jotka johtivat meidän niihin ratkaisuihin, joita esitimme.

Osio sisältää tarinan kerronnan kannalta olennaisen tiedon havainnollisessa, tiivistetyssä ja visuaalises-ti selkeässä muodossa. Asiat, jotka eivät ole tarinan eteenpäin viemisen kannalta kriittisiä eivät tähän kuulu. Tämän osion tehtävänä on osoittaa vastaajalle, miten vahvoihin löydöksiin tehdyt johtopäätökset perustuvat.

Tämä osa saattaa tutkimuksen laajuudesta riippuen jakautua myös useaan väliosaan. Tällöin kannattaa miettiä sitä, miten väliotsikkoja ja väliyhteenvetoja voi hyödyntää tarinan kuljettamisessa.

NÄKEMYS SIITÄ, MITÄ SEURAAVAKSI KANNATTAA TEHDÄ”Tiivistys löydetyistä ratkaisuista” yleensä toimii jo tut-kimuksen yhteenvetona. Ei siis ainakaan kannata tehdä lisäksi yhteenvetoa, jossa luetellaan yksittäisiä tutkimus-löydöksiä. Yhteenvedon tehtävänä on kertoa näkemys kokonaisuuden merkityksestä.

Mutta vähintään yhtä tärkeää on antaa raportissa konkreettiset toimenpidesuositukset – mitä tutkija nyt asiakkaan asemassa tekisi näiden tulosten perusteella? Tämä on kohta, jossa usein arkaillaan liikaa ja vedotaan esimerkiksi siihen, että oma toimialatuntemus tai ym-märrys yrityksen prosesseista ei riitä ottamaan kantaa.

On kuitenkin hyvä muistaa, että tutkija on aina lopulta se, joka ymmärtää datan parhaiten. Siksi hänen velvol-lisuutensa on ennakkoluulottomasti, dataan perustuen, esittää vahva oma näkemyksensä siitä suunnasta, mihin seuraavaksi kannattaa edetä. Asiakkaan velvollisuus ei sen sijaan ole noudattaa näitä suosituksia – mutta tutki-jan vahvat kannanotot ovat usein asiakkaalle herättele-viä ja vievät projektin hyödyllisyyden uudelle tasolle.

Erityisen hyödyllistä vahvojen näkemysten esille nostaminen on tulosten esittelytilaisuudessa, sillä tästä käynnistyy usein erittäin hedelmällinen keskustelu, jossa datasta tehdyt löydökset ja tosielämän realiteetit saadaan entistä paremmin kytkettyä kiinni toisiinsa.

Tiivistä. Sitten tiivistä lisää. Mutta älä selkeyden kustan-nuksella!

Tutkimusraportin on oltava niin yksiselitteinen, että lukija ymmärtää sen ilman lisäselityksiä. Sen on oltava tarinana niin kiehtova, että lukija haluaa perehtyä siihen yksityiskohtaisesti. Siksi sen on oltava mahdollisimman selkeä ja kiteytetty.

Hyvän raportoinnin rakentaminen vaatii paljon priori-sointia ja visualisointia. Se vaatii rohkeutta jättää paljon asioita raportoinnin ulkopuolelle.

Hyvä raportointi vaatii taustalleen dataa ja tilastolli-sia menetelmiä. Mutta nämä ovat vain keinoja tarinan rakentamisessa, eikä niillä ole välttämättä sijaa itse lopputuloksessa. Hyvä tutkimusraportointi keskittyy vain kaikkein olennaisimpiin asioihin.

Jos raportoinnissa käytetään graafeja, on niihin py-styttävä kiteyttämään vain se olennainen asia, mikä halutaan nostaa esiin. Kun raportoinnissa käytetään tekstiä, on sen oltava helppolukuista ja tiivistettyä.

Yksi sudenkuoppa tiivistämisessä on asettaa rapor-toinnille tietty sivumäärä, jota ei saa ylittää. Huomat-tavasti tärkeämpää kuin sivumäärä on raportin selkeys ja helppolukuisuus.

Käytettävä työkalu raportoinnissa on sivuseikka, pääa-sia on, miten työkalua käytetään. Sisältö on aina tekno-logiaa tärkeämpää. Edelleen tutkimusraportoinnissa PowerPoint on käytetyin työkalu, ja se toimii tarkoituk-seensa edelleen varsin mallikkaasti.

PowerPoint-esityksiä suunniteltaessa on kuiten-kin muistettava tietyt perussäännöt. Yksi klassinen ja edelleen pätevä kiteytys näistä löytyy Alexei Kapterevin esityksestä ”Death by PowerPoint (and how to fight it)”.https://www.slideshare.net/thecroaker/death-by-powerpoint

Hyödynnä raportoinnin liitteitä

Toimiva, tiivis ja yksiselitteinen tarinallinen raportointi vaatii monien asioiden jättämistä raportin ulkopuolelle. Tämä pelottaa monia tutkijoita, koska ”asiakas on mak-sanut datasta”. Kuten edellä kuitenkin sanottua, asiakas useimmiten maksaa hyödystä – ei datasta.

Siitä huolimatta, yksittäiset kysymykset ja niiden tulok-set on usein hyvä liittää mukaan raporttiin. Tätä varten kannattaa hyödyntää raportoinnin liitteitä. Liitteisiin kuuluvat kaikki muutkin asiat, jotka eivät olleet olennaisia tarinan kertomisen kannalta, kuten esimerkiksi kuvaukset tehdyistä tilastollisista analyyseistä.

Näin toimittaessa meillä on erittäin toimiva kokonai-suus – strateginen raportti, joka kiteyttää selkeän ratkaisun asiakkaan haasteeseen, ja raportoinnin liitteet, joista löytyvät detaljitason tiedot niitä kaipaaville.

Page 16: Laadukas markkinatutkimus

16

Mikä on tulosten esittelytilaisuuden rooli? Tulosten esittelytilaisuus on edellä esiteltyjen vaiheiden jälkeen enää kirsikka kakun päälle. Jos tutkija on ollut kädet savessa sekä suunnittelu-, analyysi- että raportointivaiheessa, hän tuntee datan läpikotaisin ja tietää tarkkaan mitä on esittämässä. Nyt hän voi keskittyä vain tapaan, millä asiat esitetään. Olennaista on muistaa, että hyvän tulosten esittelytilaisuuden on täydennettävä raporttia. Tutkijan läsnäolon on tuotettava lisäarvoa siihen, että raportin lukisi itse. Jos esityksen ytimessä on materiaalin ääneen toistaminen, kannattaa esittelytilaisuus jättää mieluummin pitämättä.

Tulosten esittelytilaisuus

Mitä onnistunut tulosten esittelytilaisuus vaatii?On selvää, että yhtä ainoaa oikeaa tapaa esittää tut-kimustuloksia ei ole olemassa. Silti on olemassa tiettyjä perusasioita, joita kannattaa tutkimustulosten esittelyti-laisuudessa noudattaa. Monet näistä pätevät muihinkin esitystilanteisiin

RENTOUDU JA NAUTIKun pohjatyö on tehty hyvin ja tutkija tuntee datan ja esitysmateriaalinsa täysin, ei sisällön puolesta tarvitse jännittää. Itse esitystilanteessa sen sijaan sopiva määrä perhosia vatsassa pitää aistit valppaana. Jos esitysti-lanne tuntuu esiintyjälle rutiinilta, välittyy se tunne hel-posti kuulijalle – eikä välttämättä positiivisessa mielessä. Mitä rentoutuneempi esiintyjä on, sitä miellyttävämpää häntä on kuunnella. Jos kuulijat joutuvat jännittämään esiintyjän onnistumisen puolesta, menee heidän keskit-tymisensä aivan väärään asiaan.

HYÖDYNNÄ OMAA PERSOONAASIMiksi pitäisi olla jotain muuta kuin oikeasti on? Oma esi-intymistyyli kannattaa aina rakentaa omaa persoonaa hyödyntäen. Jos esimerkiksi pitää huumorista, kannattaa sitä hyödyntää myös tässä, kunhan siitä ei tee esityksen pääasiaa.

Jos esiintyjä on esiintymistilanteessa aivan erilainen kuin muussa kanssakäymisessä, hän luultavasti myös kuulostaa teennäiseltä. Ja teennäinen esiintyminen on raskasta kuunneltavaa.

INNOSTU, JA NÄYTÄ INNOSTUKSESILaadukkaasti tehty tutkimus toi varmasti esiin sellaisia löydöksiä, joista tutkija innostui. Miten paljon niistä voi-vatkaan innostua ne, jotka löydöksiä pääsevät käytän-nössä hyödyntämään?

Kun esitysmateriaali on rakennettu kiehtovan tarinan muotoon, voi esittäjä päästä helposti tunteeseen ”ette ole nähneet vielä mitään, odottakaas seuraavaa diaa!” Kannattaa muistaa, että innostus tarttuu – mutta niin tarttuu myös innostumattomuus. Pois siis turha vaati-mattomuus ja epävarmuus!MUISTA VAHVA ALOITUSEnsivaikutelman voi tehdä vain kerran. Kun menettää kuulijakuntansa kiinnostuksen, voi sen takaisin voittami-nen olla jatkossa melkein mahdoton tehtävä.

Tylsyyttä esityksen alussa pitää siis välttää kaikin keinoin. Esimerkiksi, miksi käyttää ensimmäiset minuutit tutkimuksen teknisten yksityiskohtien läpikäyntiin? Tuliko yleisösi paikalle niiden takia?

Esityksen yhden kohokohdan on oltava heti alussa. Yleisölle on tarjottava jotain, joka saa heidät uskomaan siihen, että esiintyjällä on arvokasta, kuuntelemisen arvoista asiaa!

MUISTA, ETTÄ OLET KERTOMASSA TARINAAMitä tarinallisempi raportista syntyi, sitä helpompi sen ympärille on rakentaa kiehtova esitys. Avainasia on se, että puheen pitää täydentää esitysmateriaalia, ei toistaa sitä. Kannattaa siis puheessa keskittyä havain-nollistamaan löydösten taustaa ja kiteyttämään niiden merkitystä.

Toimivassa tarinassa jokainen esitetty dia ja jokainen puhuttu lause kuljettaa kuulijaa johdonmukaisesti kohti loppukiteytystä ja konkreettisia toimenpidesuosituksia. Miksi pitää esityksessä dioja, mitkä eivät tätä tehtävää täytä? Tai miksi näyttää asioita, mistä ei ole mitään arvokasta sanottavaa?

KERRO ROHKEASTI OMAT MIELIPITEESITutkijan on tuotava esiin omat näkemyksensä tulosten merkityksestä ja ajatuksensa toimenpiteistä. Jos esityk-sen jälkeen kuulijoille ei ole lähtötilannetta selkeämpää, mitä seuraavaksi kannattaa tehdä, oli tilaisuudesta enemmän haittaa kuin hyötyä.

Page 17: Laadukas markkinatutkimus

17

Nykyaikaisen tutkijan tehtävä ei ole raportoida dataa, vaan tuottaa selkeitä vastauksia, näkemyksiä ja kan-nanottoja. Piiloutuminen sen taakse, että ”en tunne to-imialaa riittävästi” tai ”en tiedä kaikkia yrityksen toimin-nan yksityiskohtia” ei yksinkertaisesti ole hyväksyttävää. Jos tutkija ei ole onnistunut toteuttamaan tutkimusta, jonka datasta voi vetää selkeitä johtopäätöksiä, oli tutki-mus nollainvestointi.

On myös hyvä muistaa, että tutkijan vahvat kannano-tot eivät tietenkään ole absoluuttinen totuus, mutta ne ovat usein paras sytyke hedelmälliselle keskustelulle, jonka tuloksena teoria ja käytäntö nivoutuvat toimivaksi kokonaisuudeksi.

ANNA YLEISÖLLESI TILAAYksi hyvä mittari tulosten esittelytilaisuuden onnis-tumiselle on se, kuinka suuren osan ajasta yleisö on äänessä. Vuorovaikutus ei aina synny itsestään, vaan sitä on aktiivisesti rakennettava. Yleisöltä on kysyttävä mielipiteitä, ja heitä kannattaa haastaa. Parhaimmil-laan myös esiintyjä itse tulee haastetuksi, sillä se on usein osoitus aidosta kiinnostuksesta.

Jos sen sijaan yleisö istuu koko esityksen ajan hiljaa, syynä ei todennäköisesti ole se, että esityksen korkea laatu mykisti heidät. Luultavammin viesti ei vain puhute-llut, tai esitystapa oli nuuduttava.

Vuorovaikutusta on tärkeää olla läpi esityksen, mut-ta vasta esityksen lopussa yleisöllä on täysi ymmärrys siitä, mitä kokonaisuudella on haluttu sanoa. Esityksen loppuun on siis varattava riittävästi aikaa keskustelulle. Ja luonnollisesti, tätä keskustelua kannattaa jatkaa myös esittelytilaisuuden jälkeen.

Page 18: Laadukas markkinatutkimus

18

YhteenvetoTällä kirjoitussarjalla halusimme jakaa näkemyksiä ja kokemuksia kvantita-tiivisen markkinatutkimuksen tekemisestä sekä tutkimuksia ostaville että tutkimuk-sia tekeville tahoille.

Laadukkaan markkinatutkimuksen tekeminen ei onnistu ilman asiantuntemusta. Jo ennen datan analysointivaihetta on monta kompastuskiveä, ja vasta huolellisesti analysoitu data tuottaa vastauksia, kun taas pelkkä datan raportointi jättää johtopäätökset olettamusten varaan.

Tutkimusprosessin jokainen vaihe rakentuu aina edel-lisen vaiheen onnistumisen päälle. Haastavaa on, että lopputuloksesta on mahdotonta arvioida sitä, miten luotettavia tulokset ovat – ainoa keino vaikuttaa tähän on panostaa erittäin huolelliseen toteutukseen.

Laadukkaaseen markkinatutkimukseen ei riitä se, että käytössä on ohjelmisto, kasa kysymyksiä ja joukko vas-taajia. Pahimmillaan huolimattomasti tehty markkina-tutkimus tuottaa harhaista informaatiota, jonka nojalla voidaan tehdä vääriä liiketoiminnallisia päätöksiä. Ja se vasta on kallista ”tutkimusta”.

Nykyaikainen kvantitatiivinen markkinatutkimus voi olla – ja sen täytyy olla – paljon enemmän kuin listaus tehtyyn kyselyyn saaduista vastauksista. Sen on oltava yhdistelmä vahvaa suunnitteluosaamista, vahvaa ana-lytiikkaosaamista, rohkeaa dataan nojaavaa näkemyk-sellisyyttä sekä tiivistä yhteistyötä asiakkaan ja tutkijan välillä.

Rima on syytä asettaa jatkuvasti korkeammalle sekä tekijöiden että ostajien tahoilta. Ja siksi, ainakin jos tutkimuksen tavoitteena on toiminnan kehittäminen, on syytä jo jättää jakauma- ja keskiarvoraportit sinne minne ne kuuluvat.

Historian hämärään.

TÄMÄN JULKAISUN AVAINVIESTIT KITEYTETTYNÄ

• Ilman selkeää tavoitetta tutkimusprojekti on vain epä-määräistä puuhastelua.

• Jos tavoitetta ei uskalleta rajata terävästi, ei konkreettisiin hyötyihin myöskään päästä.

• Kysymyslomakkeelle kuuluvat vain sellaiset kysymykset, jotka ovat tutkimuksen tavoitteen kannalta kriittisiä.

• Tavoitteen lisäksi lomaketta suunniteltaessa on mietit-tävä tarkasti myös käytettäviä analysointimenetelmiä ja vastaajakokemusta.

• Tulokset voidaan yleistää vain siihen kohderyhmään, jota otos satunnaisesti edustaa. Esimerkiksi sosiaaliseen mediaan jaetut linkit eivät edusta satunnaisotantaa, vaan lähinnä viihdettä.

• Datan laatu tulee tärkeydessä ennen datan määrää. Jos otannan suunnittelussa tai tiedonkeruuvaiheessa tapahtuu virheitä, on turhaa esitellä virhemarginaaleja.

• Kerätyllä datalla ei ole arvoa sinänsä. Datan arvo syntyy tilastollisen analysoinnin kautta. Laadukas analysointi minimoi johtopäätösten tulkinnanvaraisuuden.

• Laadukas tutkimusraportti on johdonmukainen ja selkeä tarina, joka tiivistää selkeät vastaukset tutkimukselle asetettuihin tavoitteisiin. Se ei kuvaile dataa, se kertoo sen merkityksen.

• Hyvä tulosten esittelytilaisuus täydentää raporttia, ei toista sitä. Se on aidosti vuorovaikutteinen tapahtuma.

Page 19: Laadukas markkinatutkimus

19

MUISTA TAVOITTEEN MÄÄRITYKSESSÄ• Strategista päätöksentekoa tukevan tutkimuksen tavoite

on ratkaisulähtöinen. Molempien osapuolien on tie-dettävä, mitä haastetta ollaan ratkaisemassa.

• Yhteisen näkemyksen syntymistä voi auttaa tavoitelau-seen ja avainkysymysten käyttö.

• Tavoitelause kiteyttää sen, mitä hyötyä projektin on asiakkaalle tuotettava.

• Avainkysymykset kertovat tarkemmin sen, miten tavoite aiotaan saavuttaa. Avainkysymyksiä voidaan käyttää myös tutkimuksen onnistumisen mittarina.

• Mitä terävämmin tutkimuksen tavoite uskalletaan rajata, sitä konkreettisempiin hyötyihin projektilla pääs-tään. Liian löysä rajaus johtaa pintaa raapaisevaan lopputulokseen.

MUISTA LOMAKKEEN SUUNNITTELUSSA• Kysymyslomake määrittää käytettävän datan raken-

teen. Siksi tutkijan on oltava vastuuroolissa kysymyksiä määritettäessä.

• Kysymyslomaketta on peilattava asetettua tavoitetta vas-taan. Lomakkeelle kuuluu vain tavoitteen saavuttamisen kannalta kriittisiä kysymyksiä

• Pidä lomake mahdollisimman tiiviinä maksimoidaksesi aloitusprosentin

• Tee lomakkeesta mahdollisimman vastaajaystävällinen minimoidaksesi keskeytysprosentin ja saadaksesi varmasti laadukkaita vastauksia

• Hyödynnä koehaastatteluja ja vastaajapalautetta varmistaaksesi lomaketoimivuuden sekä teknisestä että vastaajanäkökulmasta.

MUISTA KOHDERYHMÄÄN, OTANTAAN JA TIEDONKERUUSEEN LIITTYEN• Älä rajaa tutkimuksen kohderyhmää epävarmoihin

oletuksiin perustuen• Jos otoksesta saatuja tuloksia halutaan yleistää laajem-

paan kohderyhmään, on otoksen oltava kohderyhmästä satunnaisesti poimittu

• Varaa tiedonkeräysvaiheeseen riittävästi aikaa. Muuten datasi tulee mitä luultavimmin olemaan harhainen

• Datan määrällä on merkitystä vasta kun datan laatu on kunnossa. Tehokkain tapa optimoida tutkimukseen kulu-vaa rahamäärää on välttää ylisuuren datan keräämistä.

• Data on siivottava aina ennen analysointiin ryhtymistä, sillä mukana on aina joukko vastaajia jotka eivät ole suhtautuneet asiaan tosissaan.

MUISTA DATAN ANALYSOINNISSA• Pelkästään vastausjakaumien tai keskiarvojen pohjalta

vedetyt johtopäätökset ovat erittäin epävarmalla pohjalla ja kertovat lähinnä datan analysointivaiheen väliin jättämisestä.

• Analysointivaiheen tehtävänä on kertoa meille, mitä datan perusteella kannattaa tehdä ja mihin analysointi-vaiheen löydöksiin tämä perustuu.

• Hyvällä data-analyytikolla on hallussaan laaja valikoima tilastollisia menetelmiä. Tällöin hän ei joudu pakottamaan dataa osaamiinsa menetelmiin, vaan pystyy aina poimi-maan toimivimmat lähestymistavat.

• Jos tutkimuksen data-analyytikkona toimii eri henkilö kuin vastaava tutkija, on hänet pidettävä tiiviisti mukana tutkimusprosessissa alusta alkaen. Hän ei voi olla vain liukuhihnan osan hoitaja.

• Luotettava datan analysointi on läpinäkyvää, avointa ja sellaista, jonka asiakas pystyy halutessaan toistamaan tilastollisilla ohjelmistoilla.

MUISTA RAPORTOINNISSA• Hyvä raportti on käsikirjoitettu johdonmukainen tarina –

ei luettelo yksittäisiä tuloksia• Hyvä raportti tiivistää selkeät vastaukset tutkimukselle

asetettuihin tavoitteisiin.• Hyvä raportti keskittyy tulosten merkitysten kiteyttämi-

seen, ei datan kuvailuun• Hyvä raportti on optimaalinen yhdistelmä tiiviyttä ja

selkeyttä• Kaikki materiaali, joka ei vie raportoinnin tarinaa eteen-

päin, on uskallettava jättää raportoinnin liitteisiin

MUISTA TULOSTEN ESITTELYTILAISUUDESSA• Hyvä tulosten esittelytilaisuus täydentää raporttia, ei

toista sitä ääneen• Hyvässä tulosten esittelytilaisuudessa kerrotaan kokonai-

suuden kiteyttävä tarina• Mitä rentoutuneempi ja innostuneempi esiintyjä on, sitä

miellyttävämpää häntä on kuunnella.• Hyvä tulosten esittelytilaisuus on aidosti vuorovaikutteinen

tapahtuma• Kuulijan on saatava tulosten esittelytilaisuudesta irti

huomattavasti enemmän kuin siitä, että hän lukisi vain raportin itse

Kooste päähuomioista

Page 20: Laadukas markkinatutkimus

www.designtutkimus.fi

[email protected]

LinkedIn: Designtutkimus Helsinki