checkmarket mechanical turk getting started guide

CheckMarket Otterstraat 1992300 TurnhoutBelgium  

mTurk

What is CheckMark

paper surve

sent to Che

automatica

as images t

A user is pr

user simply

to an mTur

The followi

mTurk. You

Step 1: RYou will rec

A Link 

9 t 

k Getti

CheckMket Mechan

eys. It work

eckMarket; 

ally processe

to be manua

resented wi

y types into 

rk task and w

ng steps wi

u only need 

Registratceive an e‐m

to the mTurk 

ing Sta

arket Meical Turk (m

ks like this: R

The forms a

ed; Comput

ally process

th a questio

the textbox

work on it s

ill guide thr

an internet

tion mailmail with yo

tool + Sign in 

arted G

echanicamTurk) is an 

Respondent

are scanned

ters cannot 

sed by hum

on, an imag

x what is w

simultaneou

ough the to

t connectio

l our sign‐in in

information

Page 1 

Guide

al Turk?easy‐to‐use

ts complete

d and the re

 read handw

ans. 

ge of a hand

ritten in the

usly. 

ool. You don

n. 

nformation

e tool to tra

e a paper qu

esponses to

writing so h

dwritten res

e image. Mu

n’t need to 

 so you can

m

anscribe op

uestionnaire

o closed que

handwritten

sponse and 

ultiple users

install any s

 start using

Tel.: Fax: www.ch

mturkteam@ch

en respons

e; These for

estions are 

n responses

a big textbo

s can then b

software to

g the mTurk

+32 14 700 703+32 14 700 709

heckmarket.comheckmarket.com

es from 

rms are 

 are saved 

ox. The 

be assigned

o use 

k. 

39mm

d 

CheckMarket Otterstraat 1992300 TurnhoutBelgium  

Step 2: S1. Go to the

2. Fill out y

3. Click the 

Check the R

for the nex

If you forgo

password?

You can alw

9 t 

Sign in e mTurk we

our e‐mail a

Sign in but

Remember 

t time you l

ot your pass

 (E). You wi

ways chang

ebsite: http:

address and

tton. 

me checkb

log in to the

sword and l

ll then rece

e your pass

://mturk.ch

d the passw

ox (D) if you

e mTurk too

ost your reg

eive an e‐ma

sword in the

Page 2 

heckmarket.

word you fin

u want you

ol. 

gistration m

ail with you

e account pa

.com/. 

nd in the reg

 A Inp

B Inp

C Sig

D Rem

E Lin

los

r browser t

mail, you ca

ur new passw

age after yo

m

gistration e‐

put field for yo

put field for yo

n in button 

member me ch

k to retrieve a

t or forgot you

o remembe

n always cli

word. 

ou’re signed

Tel.: Fax: www.ch

mturkteam@ch

‐mail. 

our e‐mail add

our password 

checkbox 

a new passwo

ur password

er your e‐m

ick on Forgo

d in (see pag

+32 14 700 703+32 14 700 709

heckmarket.comheckmarket.com

dress 

ord when you 

ail address

ot your 

ge 6). 

39mm

CheckMarket Otterstraat 1992300 TurnhoutBelgium  

Step 3: YAfter signinA task may  

A Your u

B Main 

C Welco

  The table o

Task

Stat

Prog

Tota

Ope

Com

Cert

Unc 

Clic

9 t 

Your taskng in, you wbe assigned

username – in

navigation 

ome message 

of tasks inclu

k 

tus 

gress 

al 

en 

mplete 

tain 

certain 

k on the na

ks will see the md to more t

nterface langu

udes the fo

Name of t

Open or cl

Percent of

Total num

Number o

Number o

Number o

Number o

me of a tas

mTurk’s welhan one pe

uage switch –

llowing info

task 

losed depen

f the total n

mber of imag

of images th

of images tra

of images tra

of difficult to

k (E) to ope

Page 3 

lcome pageerson at a ti

Sign out link

ormation: 

nding on if t

number of i

ges in task

hat still need

anscribed

anscribed a

o read imag

en it. 

e. You will fime to spee

DEF

there are an

mages com

d to be tran

and definite

ges 

m

nd an overvd up proces

Overview of y

Your tasks 

Task statistic

ny images le

pleted 

nscribed 

ly correct 

Tel.: Fax: www.ch

mturkteam@ch

view of all yssing. 

your tasks 

cs 

eft 

+32 14 700 703+32 14 700 709

heckmarket.comheckmarket.com

your tasks. 

39mm

CheckMarket Otterstraat 1992300 TurnhoutBelgium  

Step 4: mAfter openiHere you ca 

A Title 

B Butt

C Butto

D Sear

 Task statistopen (Opengives you aspent showthe Certain My statisticmany itemspersonal w 

Clic

Clic

9 t 

mTurk taing a task, yan see the t

 of the task + 

on to start tra

on to review d

rch for words i

tics shows yn Items), be total of all ws you the tn and Uncer

cs gives yous you have cord count a

k the green

k the orang

ask statisyou will go ttask’s overa

Status 

anscribing 

difficult to rea

in the comple

you how maeing filled oindividual wtotal amounrtain images

u an overviecompleted,and time sp

n Start input

ge Review U

stics to the task’sall statistics 

ad images 

ted items 

any imagesut now (Buwords that wnt of time sps. 

ew of your p and how ment is also s

t button (B)

Uncertains b

Page 4 

s overview and your p

EFG

the task hasy now) or were enterpent on inp

personal comany of theshown. 

) to start inp

button (C) t

page. ersonal sta

E General ta

F Personal ta

G Contact inf

as (Total Itecompleted ed, and notut. Again, t

ontribution tm you were

putting. 

to review di

m

tistics. 

ask statistics 

ask statistics 

formation in c

ms), and ho(Completet marked ashis overview

to the task. e certain or 

fficult to re

Tel.: Fax: www.ch

mturkteam@ch

case help is ne

ow many ofed Items). Ws uncertain.w gives you

 You can ser uncertain a

ead images. 

+32 14 700 703+32 14 700 709

heckmarket.comheckmarket.com

eeded 

f them are Word countTime 

u a count of 

ee how about. Your

39mm

r 

CheckMarket Otterstraat 1992300 TurnhoutBelgium  

Step 5: I

After clickin

A View t

B Quest

C Image

D Image

E Zoom 

Simply ente

Next Image

uncertain a

blue Previo

Make sure 

the process

Use the ma

9 t 

nputting

ng the gree

the keyboard 

tion 

es completed /

e of the handw

in to the imag

er the hand

e button an

about some

ous Image b

you use th

s!!! Once yo

agnifying gla

g open an

n or orange

shortcuts 

/ Total image

written answe

ge 

written wo

d repeat. W

 of the wor

button to go

e keyboard

ou reach thi

ass (E) to zo

nswers

e button, yo

s 

er 

rds you see

When you se

ds, mark it 

o back. 

d shortcuts 

is screen, do

oom in for b

Page 5 

ou will go th

FGHIJ

e in the ima

ee an empty

as uncertai

(A) for fast

o not use th

better reada

he mTurk’s i

Answer inp

Previous im

Mark as em

Mark as un

Next image

ge (D) into 

y image, ma

n (H). You c

er workflow

he mouse an

ability. 

m

nput interf

ut 

mage button (C

mpty (Ctrl + sp

ncertain (Ctrl +

e button (Ctrl +

the textbox

ark it as bla

can review t

w. This will 

nymore!!  

Tel.: Fax: www.ch

mturkteam@ch

face. 

Ctrl + Backspa

pace) 

+ ?) 

+ Enter) 

x (F), click th

nk, when yo

these later.

significantly

+32 14 700 703+32 14 700 709

heckmarket.comheckmarket.com

ace) 

he green 

ou are 

 Use the 

y speed‐up 

39mm

CheckMarket Otterstraat 1992300 TurnhoutBelgium  

Changin 

Click My ac

You can cha

A Your a

B Save t

C New p

9 t 

g your a

ccount in th

ange your n

account inform

the changes 

password text

ccount in

he main nav

name, e‐ma

mation 

tboxs 

nformati

vigation bar 

ail address a

Page 6 

ion 

to go to yo

and passwo

our account 

rd here. 

m

informatio

Tel.: Fax: www.ch

mturkteam@ch

n. 

+32 14 700 703+32 14 700 709

heckmarket.comheckmarket.com

39mm

CheckMarket Otterstraat 1992300 TurnhoutBelgium  

FAQ pag

 If you want

main naviga

Support 

Should you

CheckMark

E‐mail:  mtu

Tel:   + 32

Fax:   + 32

Workdays f

9 t 

ge 

t to know m

ation bar. 

 have quest

ket mTurk T

urkteam@c

2 14 700 70

2 14 700 70

from 9am to

more about C

tions, pleas

Team 

checkmarke

03 

09 

o 6pm CET 

CheckMark

se do not he

et.com 

Page 7 

ket’s mTurk,

esitate to co

, go to the F

ontact us. 

m

FAQ page by

Tel.: Fax: www.ch

mturkteam@ch

y clicking FA

+32 14 700 703+32 14 700 709

heckmarket.comheckmarket.com

AQ in the 

39mm