Μοντέλα μέτρησης απόδοσης συστήματος (KLM) και εισαγωγή στηστατιστική

: Υπεύθυνος Εργαστηρίου Μάριος Belk

Υλικό από HCI Group, Πανεπιστήμιο Πάτρας

Διερεύνηση του KLM μοντέλου

KLM = Keystroke Level ModelΕμπειρικό μοντέλο ανάλυσης πληκτρολογήσεων για

την εκτίμηση της απόδοσης ενός συστήματος Χωρίς συμμετοχή χρηστών Συνήθως κατά την φάση αρχικού σχεδιασμού Στηρίζεται στην παραδοχή ότι ο χρήστης δεν κάνει λάθη

Ιδιαίτερα χρήσιμη μέθοδος για συγκριτική μελέτη εναλλακτικών σχεδιασμών ή για λεπτομερή ανάλυση συχνά επαναλαμβανόμενων εργασιών

ο χρήστης τοποθετεί το χέρι του στη δεικτική συσκευή (ΤH) και προετοιμάζεται νοητικά (ΤM)

1)μεταφέρει τον δρομέα στο μενού File (TP) και ανοίγει το μενού (ΤK) 2)επιλέγει από το μενού (νοητική προετοιμασία, μετακίνηση στην επιλογή Save as,

πάτημα πλήκτρου: ΤM+ TP+TK)3)πληκτρολογεί το όνομα του αρχείου (απόκριση συστήματος, νοητική προετοιμασία,

μετακίνηση στο πληκτρολόγιο, πληκτρολόγηση ονόματος αρχείου: ΤR+TM+TH+ 8*TK)4)πάτημα ΟΚ (μετακίνηση στη δεικτική συσκευή, μεταφορά δρομέα στο ΟΚ και

πάτημα πλήκτρου: ΤΗ+TP+ TK)

Παράδειγμα ανάλυσης με KLM

…Σειρά σας

Χρησιμοποιήστε το KLM για να εκτιμήσετε τον τυπικό χρόνο (μέτρο απόδοσης) για την εργασία εισαγωγής αριθμών σε μια φόρμα (Web Num Analyzer) με χρήση του κυρίως πληκτρολογίου QWERTY

Tk Tp Th Tm Tr

0.6 sec 0.4 sec 1.35 sec 0 sec

Μέτρηση χρόνου με πείραμα και σύγκριση απόδοσης συσκευών

εισαγωγής κειμένου

Μέτρηση απόδοσης δύο εναλλακτικών τρόπων εισαγωγής κειμένου σε φόρμα (συγκεκριμένα αριθμών)

τα αριθμητικά πλήκτρα στο QWERTY (πάνω από τα γράμματα στο κυρίως σώμα του πληκτρολογίου)

και το αριθμητικό πληκτρολόγιο ή numpad (στα δεξιά).

Σκοπός αυτού του πειράματος είναι η διερεύνηση των διαφορών χρήσης αυτών των δύο εναλλακτικών

τρόπων εισαγωγής κειμένου σε φόρμα η επίδραση της εμπειρίας εκτέλεσης της εργασίας στον χρόνο

καταχώρησης των δεδομένων

Επίσης θα συγκρίνουμε τους χρόνους που μετρήσαμε με το πείραμα με τον «εκτιμώμενο χρόνο» που μας παρέχει το KLM μοντέλο ώστε να βγάλουμε χρήσιμα συμπεράσματα.

ΔιεξαγωγήΠειράματος ΕισαγωγήςΑριθμών

Χρήση του WebNumAnalyzer για εισαγωγή αριθμών σε φόρμα

Δύο εναλλακτικοί τρόποι («συσκευές») εισαγωγής κειμένου QWERTY NUMPAD

Δύο προσπάθειες για κάθε συσκευή QWERTY - Try1, QWERTY – Try2 NUMPARD - Try1, NUMPARD – Try2

Με βάση τις μετρήσεις όλων των συμμετεχόντων (αρχείο) θα προχωρήσουμε σε μία στατιστική ανάλυση ώστε να μελετήσουμε:

εάν η εμπειρία εκτέλεσης της συγκεκριμένης εργασίας επιδρά στον χρόνο καταχώρησης των

εάν η χρήση δύο διαφορετικών συσκευών εισαγωγής αριθμών επιδρά στον χρόνο (QWERTYκαι NUMPAD) καταχώρησης των δεδομένων

Ανάλυση αποτελεσμάτων

Παραδοτέο

1: Διαδικασία εκτίμησης (σύμφωνα με το KLM) της απόδοσης εισαγωγής αριθμών με χρήση του κυρίως πληκτρολογίου (QWERTY)

2: Πείραμα εισαγωγής κειμένου σε φόρμα Στατιστική ανάλυση των δεδομένων, ανάλυση των αποτελεσμάτων

και τα συμπεράσματα σας. Μέσα στην αναφορά συμπεριλάβατε μία ή δύο προτάσεις που θα

χρησιμοποιούσατε για να παρουσιάσετε τα αποτελέσματα και τα συμπεράσματα του πειράματος.

Παράρτημα

Εισαγωγή στην Στατιστική

& ΕπιστημονικήΈρευνα ΣτατιστικήΕπιστημονική έρευνα σχετίζεται με έναν γενικό προβληματισμό ή μια συγκεκριμένη ερώτηση

που αφορά ομάδες ατόμων, αντικειμένων ή άλλων οντοτήτων βασίζεται στην παρατήρηση φαινομένων και στην συλλογή πληροφοριών

(δεδομένα)

Στατιστική = σύνολο από τεχνικές που επιτρέπουν Το σχεδιασμό της διαδικασίας συλλογής δεδομένων (Σχεδιασμός

Πειραμάτων - Experimental Design) Τη συνοπτική και αποτελεσματική παρουσίαση δεδομένων (Περιγραφική

Στατιστική – Descriptive Statistics) Την ανάλυση των δεδομένων και την εξαγωγή χρήσιμων/γενικεύσιμων

συμπερασμάτων (Επαγωγική Στατιστική – Inferential Statistics)

– Στατιστική Βασικές Έννοιες Πληθυσμός = σύνολο των υπό μελέτη ατόμων, αντικειμένων ή

άλλων οντοτήτων Δείγμα = υποσύνολο του πληθυσμού που έχει επιλεγεί κατάλληλα

ώστε να τον αντιπροσωπεύει Γιατί: μελέτη ολόκληρου του πληθυσμού δεν είναι πρακτικά δυνατή

Σφάλμα δειγματοληψίας = ποσοστό λάθους/ασυμφωνία ανάμεσα στην παράμετρο ενός πληθυσμού και στον μετρούμενο στατιστικό δείκτη του δείγματος

Κατηγορίες Δεδομένων Οι επιστημονικές μελέτες απαιτούν συλλογή δεδομένων

Ποιοτικά (δεν υπάρχει κλίμακα μέτρησης) Ονομαστικές κατηγορίες (nominal data): π.χ. φύλο, χρώμα ματιών Ταξινομημένες κατηγορίες (ordinal data): π.χ. κατάταξη μεταλλίων

Ποσοτικά (υπάρχει κλίμακα μέτρησης) Συνεχή (continuous): χρόνος, βάρος, ύψος Διακριτά (discrete): αριθμός παιδιών μιας οικογένειας

Περιγραφική Στατιστική Κατανομές Συχνότητας: Παρουσιάζουν δεδομένα με εύληπτο τρόπο

Μέτρα Κεντρικής Τάσης: Στατιστικό μέγεθος το οποίο μπορεί να χρησιμοποιηθεί για να αντιπροσωπεύσει ένα σύνολο δεδομένων

Μέτρα Διασποράς: Δίνουν μία εικόνα σχετικά με το πόσο συγκεντρωμένες είναι οι παρατηρήσεις σε ένα σύνολο δεδομένων

Ιστόγραμμα Ραβδόγραμμα

Μέτρα κεντρικής τάσης (1/2) Μέση τιμή (mean):

Τι είναι: Ο αριθμητικός μέσος Πως υπολογίζεται: Πότε χρησιμοποιείται: Ποσοτικά δεδομένα

Διάμεσος (median): Τι είναι: Τιμή για την οποία το 50% των παρατηρήσεων έχει τιμή ίση ή

μικρότερη. Πως υπολογίζεται:

Περιττό πλήθος = Μεσαία τιμή σε αύξουσα διάταξη 3, 5, 7, 12, 13, 14, 21, 23, 29, 39, 40

Άρτιο πλήθος = Ημι-άθροισμα μεσαίων τιμών σε αύξουσα διάταξη3, 5, 7, 12, 13, 14, 21, 23, 29, 39, 40, 56 => (14 + 21) /2 = 17.5

Πότε χρησιμοποιείται: Ποσοτικά δεδομένα όταν υπάρχουν outliers Ταξινομημένες κατηγορίες

Μέτρα κεντρικής τάσης (2/2)

Επικρατούσα τιμή (mode): Τι είναι: Τιμή με την μεγαλύτερη συχνότητα Πως υπολογίζεται: Ισούται με την τιμή με την μεγαλύτερη συχνότητα Πότε χρησιμοποιείται: Ονομαστικές Κατηγορίες (π.χ. χρώμα ματιών)

Μέτρα διασποράς (1/2) Εύρος (range)

Τι είναι/Πως υπολογίζεται: Διαφορά μεγαλύτερης τιμής από την μικρότερη

Πότε χρησιμοποιείται: Πρόχειρο μέτρο διασποράς αφού επηρεάζεται σημαντικά από το μέγεθος του δείγματος καθώς κάθε νέα παρατήρηση μπορεί να αλλάξει την τιμή της μικρότερης ή της μεγαλύτερης παρατήρησης στο δείγμα.

Ήμι-ενδοτεταρτομοριακό εύρος (semi-interquartile range) Τι είναι/Πως υπολογίζεται: μισό του εύρους που καλύπτει το κεντρικό

50% της κατανομής παρατηρήσεων Πότε χρησιμοποιείται: Σε συνδυασμό με την διάμεσο. Επηρεάζεται

λιγότερο από ακραίες παρατηρήσεις.

Μέτρα διασποράς (2/2) Τυπική απόκλιση (standard deviation)/ Διακύμανση (variance)

Τι είναι/Πως υπολογίζεται: Διακύμανση: Τυπική Απόκλιση:

Πότε χρησιμοποιείται: Η διακύμανση και η τυπική απόκλιση αποτελούν το πιο αξιόπιστο και το πιο συνηθισμένο μέτρο διασποράς. Συνδυάζονται συνήθως με την μέση τιμή και λαμβάνουν υπόψη την απόσταση όλων των παρατηρήσεων από αυτήν.

Επαγωγική στατιστικήΣυνήθως ο στόχος μιας έρευνας είναι να διερευνηθεί η

επίδραση μιας μεταβλητής σε μία (η περισσότερες) άλλη μεταβλητή

Σχεδιασμός πειραμάτων όπου ο ερευνητής ελέγχει την μία μεταβλητή και παρατηρεί τις τιμές της άλλης μεταβλητής χωρίς να επιδρούν άλλες μεταβλητές.

εξαρτημένη μεταβλητή = αυτή/αυτές που ελέγχω ανεξάρτητη μεταβλητή = αυτή/αυτές που παρατηρώ

Το ζητούμενο είναι να χρησιμοποιηθούν τα δεδομένα από τα δείγματα ώστε να προκύψουν χρήσιμα συμπεράσματα για ολόκληρο τον υπό εξέταση πληθυσμό.

(1/3)Έλεγχος ΥποθέσεωνΔιαδικασία που χρησιμοποιεί δεδομένα από δείγματα ώστε να

εκτιμήσει την αντίστοιχη παράμετρο του πληθυσμού.

Πολλές παραλλαγές ανάλογα με τις διαθέσιμες πληροφορίες Η λογική του συνοψίζεται σε 4 βήματα: Διατύπωση υποθέσεων Διαμόρφωση κριτηρίων Συλλογή δεδομένων Αξιολόγηση μηδενικής υπόθεσης

(2/3)Έλεγχος Υποθέσεων

20/2

Διατύπωση υποθέσεων Μηδενική Υπόθεση (Ho) = η αλλαγή της εξαρτημένης μεταβλητής δεν

επιδρά στην ανεξάρτητη Εναλλακτική Υπόθεση (Η1) = αλλαγή της εξαρτημένης μεταβλητής επιδρά

στην ανεξάρτητηΔιαμόρφωση κριτηρίων Ο ερευνητής τελικά θα συλλέξει κάποια δεδομένα από δείγματα για να

αξιολογήσει την αξιοπιστία της μηδενικής υπόθεσης Προκύπτει το ερώτημα: «Η διαφορά ανάμεσα στην τιμή του στατιστικού

δείκτη και στην τιμή που προβλέπει η Ηο για την παράμετρο του πληθυσμού οφείλεται πραγματικά στην επίδραση της ανεξάρτητης μεταβλητής ή απλά σε σφάλματα δειγματοληψίας;»

Επίπεδο σημαντικότητας ή επίπεδο α = μέγιστη πιθανότητα το αποτέλεσμα να οφείλεται σε σφάλματα ή τυχαίους παράγοντες

Συλλογή δεδομένων Το δείγμα πρέπει να είναι αντιπροσωπευτικό (τυχαία

δειγματοληψία)

(3/3)Έλεγχος ΥποθέσεωνΑξιολόγηση της Ho Χρήση κάποιου στατιστικού δείκτη ελέγχου (π.χ t-test, z-test κλπ)

Στατιστικός δείκτης ελέγχου > 1 Πιθανότητα λήψης των αποτελεσμάτων μεγαλύτερη από το να είναι τυχαία

Εγώ θέλω να αποδείξω ότι είναι σημαντικά μεγαλύτερη Μικρότερο αποδεκτό α = 0,05 (5% να οφείλονται στην τύχη)

σφάλματα και ς παράγοντε τυχαίουςσε οφείλονται τααποτελέσμα

μεταβλητής ςανεξάρτητη τηςεπίδραση στην οφείλονται τααποτελέσμα ελέγχου

στατιστικό

– Παράδειγμα Περιγραφή ΣτόχουΈρευνας

Ένας ερευνητής πιστεύει ότι η χρήση μία ειδικής μεθόδου διδασκαλίας ανάγνωσης σε παιδιά δημοτικού θα βελτιώσει την ικανότητα τους στην ανάγνωση σε βάθους χρόνου 4 μηνών.

Για να μετρήσει την ικανότητα των μαθητών στην ανάγνωση χρησιμοποιεί ένα ειδικό τεστ με 20 ερωτήσεις

Επιλέγει με την μέθοδο της τυχαίας δειγματοληψίας ένα δείγμα από 7 παιδιά (γενικά το δείγμα πρέπει να είναι >30, εδώ είναι μικρό για ακαδημαϊκούς λόγους)

Δημιουργεί μία τάξη και εφαρμόζει για 4 μήνες την τυπική διαδικασία διδασκαλίας ανάγνωσης και για 4 μήνες την ειδική.

Έχει στην διάθεση του τον αριθμό των σωστών απαντήσεων που έδωσαν οι μαθητές στο τεστ μετά από την κάθε περίοδο 4 μηνών.

Υποθέστε ότι ο ερευνητής θέλει να είναι 95% σίγουρος για τα συμπεράσματα του.

– Παράδειγμα Έλεγχος Υποθέσεων(1/2)

Δεδομένα

ΥποθέσειςΥποθέσεις ΗΗοο = Η χρήση της ειδικής μεθόδου διδασκαλίας δεν έχει καμία επίδραση = Η χρήση της ειδικής μεθόδου διδασκαλίας δεν έχει καμία επίδραση

στην ικανότητα ανάγνωσης των παιδιών στην ικανότητα ανάγνωσης των παιδιών Ηο : μ1 – μ2 = 0 Ηο : μ1 – μ2 = 0 ΗΗ11 = Η χρήση της ειδικής μεθόδου διδασκαλίας επιδρά στην ικανότητα = Η χρήση της ειδικής μεθόδου διδασκαλίας επιδρά στην ικανότητα

ανάγνωσης των παιδιών ανάγνωσης των παιδιών Η1 : μ1 – μ2 ≠ 0 Η1 : μ1 – μ2 ≠ 0

– Παράδειγμα Έλεγχος Υποθέσεων(2/2) Χρήση του στατιστικού πακέτου ανάλυσης του Excel

Αξιολόγηση / ΣυμπεράσματαΑξιολόγηση / Συμπεράσματα Εφόσον η τιμή του Εφόσον η τιμή του tt (στατιστικός δείκτης ελέγχου) είναι (στατιστικός δείκτης ελέγχου) είναι μικρότερημικρότερη (κατά (κατά

απόλυτη τιμή) από την απόλυτη τιμή) από την κρίσιμη τιμήκρίσιμη τιμή δεν μπορούμε να απορρίψουμεδεν μπορούμε να απορρίψουμε την την ΗΗ00

Το συμπέρασμα μας είναι ότι η για αυτή την μελέτη Το συμπέρασμα μας είναι ότι η για αυτή την μελέτη τα δεδομένα μαςτα δεδομένα μας δεν δεν παρέχουν επαρκείς αποδείξειςπαρέχουν επαρκείς αποδείξεις που να στηρίζουν την άποψη ότι η ειδική που να στηρίζουν την άποψη ότι η ειδική διδασκαλία επιδρά στην ικανότητα ανάγνωσης των παιδιώνδιδασκαλία επιδρά στην ικανότητα ανάγνωσης των παιδιών. .

Εξετάζουμε την δίπλευρη Εξετάζουμε την δίπλευρη περίπτωση, η μονόπλευρη περίπτωση, η μονόπλευρη αναφέρεται σε μία διαφορετική αναφέρεται σε μία διαφορετική τεχνική ελέγχου υποθέσεων τεχνική ελέγχου υποθέσεων γνωστής και ως γνωστής και ως κατευθυνόμενος κατευθυνόμενος έλεγχος υποθέσεωνέλεγχος υποθέσεων..