shape writer

25
Seminar Report On SHAPE WRITING TECHNOLOGY Submitted by PREETHA V K In the partial fulfillment of requirements in degree of Master of Technology (M-Tech) in Computer and Information Science DEPARTMENT OF COMPUTER SCIENCE COCHIN UNIVERSITY OF SCIENCE AND TECHNOLOGY KOCHI-682022 2007

Upload: joe-hack

Post on 24-Apr-2015

107 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Shape Writer

Seminar Report On 

SHAPE WRITING TECHNOLOGY

Submitted by 

PREETHA V K

In the partial fulfillment of requirements in degree of 

Master of Technology (M­Tech) in Computer and Information Science

DEPARTMENT OF COMPUTER SCIENCE

COCHIN UNIVERSITY OF SCIENCE AND TECHNOLOGY

KOCHI­682022

2007

Page 2: Shape Writer

ACKNOWLEDGEMENT

            I thank GOD almighty for guiding me throughout the seminar. I would like to 

thank all those who have contributed to the completion of the seminar and helped me 

with valuable suggestions for improvement.

I am extremely grateful to Prof. Dr. K Poulose Jacob, Director, Dept.of computer 

Science,   for   providing  me   with  best   facilities   and   atmosphere   for   the   creative   work 

guidance and encouragement. I would like to thank my coordinator, G. Santhosh Kumar, 

Lecturer, Dept.of computer Science, CUSAT, for all help and support extend to me. I 

thank all staff members of my college and friends for extending their cooperation during 

my seminar.

    Above all I would like to thank my parents without whose blessings; I would not 

have been able to accomplish my goal.

2

Page 3: Shape Writer

ABSTRACT

This paper gives an overview of Shape Writer—a system for fast high­accuracy 

text entry and command input on pen­based computers. Shape Writer views words as 

patterns mapped on a stylus keyboard. Using pattern recognition the system recognizes 

users’   pen­gestures   partially   independently   of   scale   and   translation.   The   system   has 

shown   potential   in   being   a   faster   and   more   accurate   replacement   of   handwriting 

recognition, and in contrast to other specialized writing systems, it has a built­in smooth 

learning curve. This paper describes the User Interface information and the recognition 

architecture that is capable of pattern matching the user’s input against 10,000–60,000 

patterns  with very  low  latency  (_ 35  ms on  a  1GHz Tablet  PC).   It   is  concluded by 

focusing some of the main features of shape writer.

3

Page 4: Shape Writer

CONTENTS

1. INTRODUCTION…………………………………….. ……... 4

2. BASIC CONCEPTS OF SHAPE WRITING…………. ……... 4  

3. INFORMATION AND CONSTRAINTS…………………….. 5

4.  USER INTERFACE………………………………………….. 6 

4.1. Keyboard Design

4.2. Error Correction

4.3. Feedback

5. MULTI CHANNEL ARCHITECTURE……………………… 12

5.1 Template Pruning

5.2 Shape Channel Recognition

5.3. Location Recognition Channel

5.4. Channel Integration

6. INSTALLATION……………………………………………... 19

7. CONFIGURATION………………………………………….. . 19

8. FEATURES OF SHAPE WRITER……………………………. 20

9. CONCLUSION……………………………………………….. 22

10. REFERENCE ………………………………………………. 23

4

Page 5: Shape Writer

1. INTRODUCTIONShape  Writing   is   a   novel   form of  writing   that   uses   pen   strokes  on  graphical 

keyboards to write text which is invented by Shumin Zhai and Per Ola Kristensson, IBM 

researchers. Shape writing, previously known as Shorthand Aided Rapid Keyboarding 

(SHARK), is a writing method designed to enable users to enter text efficiently at a faster 

rate than previously possible on mobile phones, handheld computers and other mobile 

devices. It  can also be used with external  tablets connected to desktop computers for 

those   who   need   an   effective   alternative   to   two   handed   touch   typing   on   a   physical 

keyboard. Unlike the hand writing systems which rely on pre­defined symbols based on 

either   widely   practised   scripts   (ie.natural   handwriting)   or   novel   symbols   (such   as 

Graffiti), shape writing is defined on and used with a graphical keyboard.

2. BASIC CONCEPTS OF SHAPE WRITING

A   shape   writing   system   (current   system   is   called   Shape   Writer)   displays   a 

graphical keyboard to the user. Instead of tapping each individual letter key explicitly and 

precisely, the user slides the pen over all the letter keys in a word sequentially on the 

graphical keyboard.

Shape writing is easy. Rather than tapping individual keys, one simply draws a 

continuous line from letter   to  letter  on a graphical keyboard.  The resulting pattern is 

recognized by Shape Writer as a “sokgraph” (Shorthand On Keyboard as a GRAPH). 

Figure 1 shows the ideal trace (left) and one actual and acceptable input stroke (right) for 

the word “the”. The user's pen trace can deviate and sometimes not even cross some of 

the intended keys as long as it is closer to the intended word's trace than any other word 

traces in a lexicon.

5

Page 6: Shape Writer

The ideal trace is called a “sokgraph” (shorthand on keyboard as graph). In other 

words, a sokgraph is the continuous trace that is formed by serially connecting the center 

points of the keys on a graphical keyboard for a string of letters (normally a word).To 

shape write a word, the user draws a pen stroke on the keyboard that approximates the 

sokgraph of the word. Once the pen stroke terminates(by lifting the pen for example),the 

shape  writing   system  in  principle   compares   the  pen  stroke  on   the  keyboard  with  all 

sokgraphs  generated   from a   lexicon  and   returns   the  closest  match.  Shape  writing   is 

inherently   error   tolerant,   allowing   noises   such   as   hand   tremors   or   faster   and   more 

“sloppy” writing.

3. INFORMATION AND CONSTRAINTS

Text entry can be viewed as a communication system through which information 

is transmitted from the user to the computer. With shape writing the writer encodes his 

message geometric shapes defined on a graphical keyboard. Such a process is noisy both 

because one often has to cross irrelevant letters in order to reach the intended letter and 

because the writer can be sloppy and miss some relevant letters. In other words the stroke 

drawn is often imperfect. The shape writing recogniser decodes the message from the 

code + noise and outputs the message.

The most basic way of capturing the lexical level of language regularities is the 

notion of a lexicon that consists of all permissible letter combinations including words, 

parts of words, names and acronyms. The use of lexicon is a critical aspect of shape 

writing. Using lexical constraints a shape writing system allows many irrelevant letters to 

6

Page 7: Shape Writer

be crossed and still have the intended word returned. Taking fig 2 as an eg. , the letters 

intended to be crossed were w­r­i­t­i­n­g, but the actual pen stroke crosses w­r­t­o­s­i­s­e­

t­e­s­i­n­g.   Shape   writer   can   still   return   the   word   “writing”   because   the   lexicon 

constraints   eliminate   all   illegitimate   letter   strings.     An   intended   word   can   still   be 

recognised although irrelevant letters between intended letters are crossed or even if some 

of the letters in a word are missed by pen stroke.

                             Figure 2. Shape writer on a Tablet PC

4. USER INTERFACE

Shape writing is built on a foundation of pattern recognition of users’ input. As 

such, there is an added complexity layer between the user and the system. Since pattern 

recognition can result in mis recognitions the added complexity layer is another “failure 

point” of the interactive system that does not exist in a traditional software keyboard. To 

alleviate the issue effective user interfaces are required that simultaneously prevent errors 

and minimize user effort to correct them when they do happen.

7

Page 8: Shape Writer

4.1. Keyboard Design

A stylus keyboard is an alternative text entry interface to handwriting recognition. 

A stylus keyboard (sometimes called virtual or “graphical” keyboard) is an image of a 

keyboard displayed on a touch­sensitive screen. The user enters text by serially tapping 

the keys with a pen. The first stylus keyboards used the traditional QWERTY keyboard 

layout. However QWERTY is a poor choice, since QWERTY was originally designed to 

prevent   mechanical   jamming   in   typewriters.   As   a   result   the   frequent   letter   key 

combinations are distributed to the left and right sides of the keyboard, which results in 

frequent zigzag movements when typing text with a pen.

ATOMIK (Alphabetically Tuned and Optimized Mobile Interface Keyboard) was 

designed to address this problem. It has the following three features. 

First, ATOMIK has higher movement efficiency for stylus typing than any other existing 

stylus keyboards. This was achieved by a Metropolis optimization algorithm in which the 

keyboard   was   treated   as   a   "molecule"   and   each   key   as   an   "atom".   The   "atomic" 

interactions   among   all   of   the   keys   drove   the   movement   efficiency –   defined   by   the 

summation of all Fitts' law movement times between every pair of keys, weighted by the 

statistical   frequency   of   the   corresponding   pair   of   letters   in   English   ­   towards   the 

minimum. 

Second, the layout was alphabetically tuned. There is a general tendency that letters from 

A to Z run from the upper left corner to the lower right corner of the keyboard. This gives 

novice users a cue to look for letters that are no yet memorized.

Third,   the   letter   connectivity   of   the   most   common  words.   Many   common   words   or 

comment fragments of words, such as "the" and "ing" are totally connected. 

8

Page 9: Shape Writer

        

Figure 4.1 Shape Writer on ATOMIC Shape Writer on QWERTY

4.2. Error Correction

All text entry methods inevitably lead to errors. Therefore it is important to enable 

fast   and   flexible   error   correction  mechanisms.  For   instance,  with  a   standard  desktop 

computer setup, the user can use the BACKSPACE, DELETE, HOME, END and arrow 

keys to move the caret around in the document, and delete text in both the forward and 

backward direction using the DELETE and BACKSPACE keys). The de­facto direction­

manipulation text editing interface used by the graphical user interfaces (GUI) allows the 

user   to   move   the   caret   at   any   desired   position   in   the   text.   In   fact,   the   search   for 

comparatively more effective tools for text editing led to the publication of a now famous 

computer input device. Efficient error correction can be improved when words rather than 

characters should be corrected. For this purpose the shape writing system uses a user 

interface component called an edit buffer. Words appear in the edit buffer to the right and 

pushes existing words to the left. When words cross the left edge they are synthesized into 

keyboard key strokes and injected into the operating system’s key stroke dispatch queue.

4.2.1 Correcting a Confusion Error

With continuous shape writing, words are written on a word­by­word basis. This 

means   an  error   results   in   an   entire  word  being   incorrect.  The   system alleviates   this 

problem by providing several pen­gesture functions for  intuitive editing. Figure shows 

how a user deletes the two words  and editing  by simply crossing them. Any individual 

word or sequence of words can be deleted by a crossing action

9

Page 10: Shape Writer

To enable efficiency while simultaneously reducing novice users’ frustration, the 

selection process of an alternate word supports two different selection methods. With the 

first method the user first taps on the word with the pen to reveal the list of alternate 

words. Then the user selects the desired word from the list with another tap with the pen. 

In the second method, the user taps and holds the pen down on the word. Then the user 

slides the pen to the desired word and lifts up the pen. The second method is more fluid 

but informal user testing revealed that some users are used to pull­down menu widgets 

appearing   after   a   tap  only.  These  users  were   confused  when   the  menu   immediately 

disappeared when they lifted the pen.

10

Page 11: Shape Writer

4.2.2. Correcting an Out-of-Vocabulary Error

Another possible error is the out­of­vocabulary (OOV) error. If a user wants to 

write a word that does not exist in the lexicon the user has to add that word explicitly. 

Since shape writing recognition does not rely on training data words can be immediately 

added to  the system’s lexicon. If  a user  taps a word using the software keyboard the 

system automatically performs a check to see if the word exists in the system lexicon. If it 

does not, the user’s tapped word is drawn with a surrounding dashed rectangle to create 

an affordance for the user to click on it (see Figure a). When the user clicks on the word, 

the user  can select   the ADD TO LEXICON function  from  the  pull­down menu  (see 

Figure b). The new word can be immediately shape written by the user afterwards.

4.3. Feedback

4.3.1. Display of Recognized Word and Reinforcement of the Ideal Shape 

As soon as the user lifts up the pen or finger, the recognized word is displayed. 

The recognized word is  displayed at   the point of pen­up since that  is  the most likely 

position where the user’s focus of visual attention will be. In addition the ideal shape of 

the recognized word is displayed for a brief period of time (600 ms). The display of the 

11

Page 12: Shape Writer

ideal shape reinforces the shape of the word to the user. Figure below shows the ideal 

shape for the word  system  displayed over the software keyboard. The dot indicates the 

starting position of the ideal shape.

4.3.2. Minimizing Pen­Trace Clutter

Displaying the ink of the pen as the user articulates a pen­gesture is advantageous. 

First,   it   gives   the   user   information   that   the   pen   motion   is   still   recorded.   Second,   it 

provides a sense of orientation to the user on where the pen has traveled on the keyboard. 

However, some words are longer than others and when the pen has moved back and forth 

on the keyboard the visual clutter from the pen trace becomes distracting. A solution is to 

progressively fade the tail part of the pen­gesture when the trace increases in length 

12

Page 13: Shape Writer

4.3.3. Morphing Visualization

A morphing algorithm is implemented to help novice users understand what part 

of their pen traces contributes to the match of the recognized word. After the user has 

lifted up the pen the complete pen trace of the user is drawn with blue ink and the ideal 

shape of the word is drawn in red ink (see Figure 3.3.3). Thereafter both traces are re 

sampled into an equal large number of equidistant sample points. Next, the sample points 

that are indexed at the same position in the user’s pen trace and the ideal word shape are 

connected by imaginary lines. A pair of two imaginary lines is then formed into an area 

by connecting the four vertices in the line­pair in sequence. This area is painted by a low­

translucent   blue   color.   The   visual   area   explicitly   communicates   the   spatial   distance 

between the pen trace and the ideal word shape to the user. To create a stronger visual 

effect the user’s pen trace is gradually transformed into the ideal word shape over time 

(Figure   3.3.3).   The   intermediate   forms   of   the   user’s   pen   trace   are   found   by   linear 

interpolation.

13

Page 14: Shape Writer

5. MULTI CHANNEL ARCHITECTURE OF GESTURE RECOGNITION ENGINE

Three  characteristics   set   the  SHARK gesture   system apart   from other  gesture 

recognition systems. First,   the number of sokgraph gestures each individual  user may 

need is much greater than the gesture repertoire of an alphanumeric  recognizer such as 

Graffiti or Jot, or a typical command gesture recognizer based on a linear machine, often 

used   in   HCI   research   projects.  Second,   unlike  natural   longhand   cursive  handwriting 

recognition, a fraction of the sokgraph short hand gestures, particularly those for short 

words,   can   be   identical   or   similar   in   shape;   therefore   shape   alone   may   not   provide 

sufficient information to recognize the user’s intent. Third, a set of sokgraphs defined on 

a   keyboard   layout   constitutes   a   symbolic   system  novel   to   the  user.  This   is   both   an 

advantage and a disadvantage. It is an advantage because each sokgraph has a unique 

ideal prototype, in contrast to natural hand writing in which even the same letter can be 

written in perfectly legitimate but very different styles. It is also a disadvantage because 

there is not a natural corpus of sokgraphs that can be collected, precluding many of the 

standard data­driven machine learning approaches to recognition.

Fig. 4.3.3. The user has written the word computer. The user’s pentrace is gradually morphing towards the ideal word shape

14

Page 15: Shape Writer

        Figure 5.  A multi­channel architecture for sokgraph recognition.

In consideration of these requirements we developed a multi­channel recognition 

system (see Figure 4).  Each channel  does not  necessarily  have enough discriminative 

power,   but   the   collective   information   from   the   multiple   channels   can   separate   the 

sokgraphs   sufficiently.  The  two core  channels   are   a   shape   recognizer   and  a   location 

recognizer. The former classifies a pen gesture according to the normalized (scale and 

translation   invariant)   shape   of   the   pen   gesture.   The   latter   classifies   a   pen   gesture 

according to the absolute location of the gesture on the keyboard.

Both the shape channel and the location channel draw their recognition templates 

from   a   lexicon.  The   SHARK  paradigm   requires   the   lexicon   to   include   all   (but   just 

enough) words a particular user needs in regular writing. This lexicon can be constructed 

with  various  methods.   It   can  be   a   preloaded   standard  dictionary,   or   a   list   of  words 

extracted from the user’s previously written documents, including emails and articles, or 

words added by the user. In practice it is a combination of all.

15

Page 16: Shape Writer

5.1 Template Pruning

Due to the massive vocabulary required for the SHARK system, an initial pruning 

component first filters out a large number of the sokgraph templates from entering later 

stage recognition channels. An effective filtering mechanism is based on the start and end 

positions of the sokgraph templates, normalized in scale and translation. Compute the 

start­to­start and end­to­end distances between a sokgraph template and the normalized 

unknown input gesture. If either of the two distances is greater than a set threshold, the 

template will be discarded. This pruning process was implemented efficiently by only 

storing the coordinates of the start and end points of a template pattern in a linked list. 

Traversing the list and collecting the templates that pass this filter is thus an inexpensive 

operation, even for large datasets.

5.2 Shape Channel Recognition

The   most   basic   means   of   sokgraph   classification   is   based   on   the   shape 

information contained in the user’s input gesture. There are many approaches to on­line 

shape similarity measurements. Most relevant to the current work are those methods used 

in pen­gesture recognition or handwriting recognition. Pen­gesture recognition commonly 

uses   trained  classifiers  based  on   the  classic   linear  machine.  Handwriting   recognition 

systems use a multitude of techniques and approaches, including neural networks, hidden 

Markov models, and model matching. An early model based approach to cursive script 

recognition   system   pioneered   the   use   of   so­called  elastic   matching  in   handwriting 

recognition.   While   being   outperformed   in   cursive   script   recognition   by   statistical 

classifiers nowadays, elastic matching retains the valuable property of not requiring any 

training   at   all.   Elastic   matching   in   cursive   script   recognition   measures   the   spatial 

similarity of two patterns by comparing the point­to­point correspondences in sequence, 

allowing   certain   elasticity   if   a   nearby   point   has   a   shorter   spatial   distance   than   the 

corresponding point.

Shumin Zhai and Per Ola Kristinsson initially experimented with using elastic matching 

for the SHARK2 system, but in early testing they found that elasticity in the matcher is an 

16

Page 17: Shape Writer

undesirable   classification  property   when   the   template   space   is   crowded   with  nearby 

competing patterns.  They found  that  they could significantly  reduce  the error  rate  by 

introducing a linear matcher, a proportional matcher.

Proportional Shape Matching:  The proportional shape matching distance between an 

unknown pattern u and a template pattern t is defined as 

                   

where N is the total number of sampling points of the patterns. It is easy to see that the 

elastic   matching       algorithm   presented   by   Tappert   with   zero   look­ahead   reduces   to 

Equation. Before applying Equation the patterns are resampled into N equidistant points 

and normalized in scale and location. Normalization is achieved by scaling the largest 

side of the bounding box of a pattern to a pre­determined length L:

where W and H are the original width and height of the bounding box. Finally translate 

the pattern’s geometric centroid to the origin in the coordinate system.  The final result of 

the shape channel is an approximate scale and translation invariant distance measure of 

the similarity between the patterns, based on the average sum of the equidistant sample 

points’ spatial distance.

 

 5.3. Location Recognition Channel

The second core channel of sokgraph recognition in the current architecture examines the 

absolute location of the user’s gesture trace on the keyboard. The rationale for having 

such  a  channel   is   twofold:  1.  Location   information provides  an  increased  recognition 

resolution of sokgraphs; 2.  Location is part  of  the user’s memory of a  sokgraph and 

therefore will be reproduced during gesture production. 

17

Page 18: Shape Writer

Shape Confusion and Location Information  By sokgraph shape alone some words 

may be near or in complete confusion with each other. To gain a quantitative baseline 

understanding of sokgraph confusion, present a brief analysis of the confusion pairs of 

sokgraphs in a 20K lexicon on an ATOMIK layout. As shown in Table 1, there are a small 

fraction of words that have identical sokgraphs. Considering normalized sokgraph shape 

only (independent of scale and location), there are 1117 pairs of words that have identical 

sokgraphs (confused pairs), for example root vs. heel, mend vs. shea, abe vs. ids, can vs. 

cam, and ben vs buy. Many of these conflicts are not natural or complete English words. 

For example, in a 20K lexicon, the word at conflict with du; as conflicts with lo, oz, by, 

ny and ft; rjr conflicts with sas

If we consider shape plus the starting key position, the number of confusion pairs reduces 

to 519. If we consider shape plus ending key position, the number is 522. If we consider 

shape plus both the start and ending key positions, the number of confusion pairs reduces 

to 493. Examples of confusion pairs with identical start  and ending positions include 

refuge  vs.  refugee, webb  vs.  web,  and  traveled  vs.  travelled.  284 pairs (58%) of these 

remaining confusions pairs are Roman numerals, such as “lxvi” vs. “lxxxvi”, “xci” vs. 

“xcii”, and “mmxvii” vs “mmxviii”. Table 1 also shows the numbers of confusion pairs 

for   the   sokgraphs  defined  on  QWERTY layout.   In   conclusion,   location  cue  helps   to 

reduce sokgraph ambiguity. 

18

Page 19: Shape Writer

Location  Memory  Since   in   the   SHARK   paradigm,   users   initially   use   and   learn   a 

sokgraph by tracing the letters, the sokgraph location on the SK plays an important role in 

the memory of the each individual sokgraph. Even for a completely memorized sokgraph, 

the user is likely to remember its approximate location on the SK together with its shape, 

particularly the beginning and ending positions. 

Location   Channel   Algorithms  location   algorithm   computes   the   distance   of   the 

unknown input trace u to the template (ideal) trace t of word w on the SK (now both u and 

t are absolute). t is defined by the lines connecting the centers of the letters that constitute 

w.  Both  t  and u are re­sampled to a fixed number  N of equidistant points. The location 

channel distance is defined as:

                 

where  N  denotes the number of sampling points in the patterns.  r  is the radius of an 

alphabetical key. This means that we form an invisible “tunnel” of one key width that 

contains all letter keys in  w. A perfect     distance score of zero is given when the entire 

gesture input trace u is within this tunnel of t . Otherwise, the sum of the spatial point­to 

point distances is used. In other words, Equations (3­6) give special weight to traces that 

are contained within the tunnel of radius r whose path is formed by serially connecting all 

19

Page 20: Shape Writer

the   individual keys used in a word. This was based on the observation from actual use 

that when all letters in a word is traced (“tunneling”), one would expect the word to be 

recognized  no  matter  what   the  shape  of   the   trace   is.     are  weights   for 

different point­to­point   distances. The shape of    α (i) can be set in   various   ways. For 

example it could be dynamically trained through a large amount of data when available. It 

can also be prescriptively set. Currently use a function that gives the lowest weight to the 

middle point, and the rest of the points’ weights increase linearly towards the two ends. 

This is because when producing a gesture it is easier for the user to pay visual attention to 

the beginning and ending points than the rest of the locations.

5.4. Channel Integration

The  shape  and   location  channels  output  distance   scores  between  an  unknown 

gesture and templates drawn from the lexicon. These distances in the two channels are not 

on a common scale and cannot be directly compared. The issue of multiple classifier 

integration of distances or scores is not new in pattern classification. Several methods are 

proposed using such methods as voting or distance to rank conversion. Bouchaffra et al. 

present a method of deriving probabilities from handwriting recognizer scores based on 

training. As is common in engineering, a reasonable assumption is that the distance from 

an   input   gesture   to   the   template   of   the   intended  word   (in   either   channel)   follows   a 

Gaussian distribution. In other words, if an input gesture has distance x to a template y, 

the   probability   of  y  being   the   targeted   word   can   be   calculated   using   the   Gaussian 

probability density function:

where μ = 0 and σ can usually be obtained through training from large amount of data. 

σ reflects how sensitive a channel is. For example if  σ equals to one key radius, those 

templates whose distance to the input gesture are greater than one key width ( 2σ ) have 

20

Page 21: Shape Writer

practically zero probability of being the intended sokgraph. In the current system σ used 

as a parameter to adjust the weight of the contribution of each channel. The greater σ is, 

the more flat the p(x) distribution will be, and hence the less discriminatory the channel is 

when it is integrated with the other channel (hence less weight). As a pruning

measure all candidates (templates) with x > 2σ are discarded without further processing. 

Among the remaining candidates  w∈W,  the marginalized probability of a word  w with 

distance x being the user intended target word is: 

Finally integrate the probabilities from the two channels using Bayes’ rule and obtain a 

confidence score for the word:

where e  p  (w)  S′ and  p  (w)  L′ are the probability scores from the shape and location 

channel respectively; S W and WL are the sets of the remaining candidates that passed the 

2σ threshold pruning stage in the shape and location channel respectively. The result of 

the integration process is a ranked list of the templates ordered by confidence.

6. INSTALLATION

Shape Writer requires Sun Java runtime version 5 or above to be present and the 

install will fail and tell you so if it is not detected on your system. Once the current Java 

runtime is installed the program will setup properly. This is not a standard Windows XP 

installer so it might be important where you install it for it to work properly. Once Shape 

Writer is installed it is invoked by executing the shark.exe file created by the install.

21

Page 22: Shape Writer

7. CONFIGURATION

SHARK has a settings area that provides good control over the user's experience 

with the program. The first tab in the SETTINGS is the GENERAL tab that lets you 

select if you are left or right handed. This is a big boon for left­handed users as SHARK 

will adapt to the different writing styles of the two groups. You can also turn off the 

animated morphs I mentioned earlier in this section. The last setting you can make here is 

to enable/ disable the phantom keyboard. The phantom keyboard is an interesting feature 

that some users will really like. Since text is entered into SHARK by moving over the 

keypad some users will have problems since the hand may obscure the keyboard on the 

screen. The phantom keyboard produces a second identical (but non­functional) keyboard 

alongside the real one. This lets you input words and still see the whole keyboard during 

the process. The ink strokes can be toggled to show on the phantom keyboard too. 

The next tab under SETTINGS is the LEXICON tab where you can specify a 

special lexicon file to use instead of the integrated one. It is also here that you can add or 

remove words from the lexicon. Following the LEXICON tab is the KEYBOARD tab 

where you can toggle between the ATOMIK and QWERTY key layouts with a preview of 

the particular   layout   selected.  There   is  also a  place here   to  use special   layouts but   I 

wouldn't   mess   with   these   without   an   intimate   knowledge   of   the   program.   It   is   an 

interesting inclusion by the SHARK programmers as it would allow any layout to be used 

by the program.

The   last   SETTINGS   tab   is   the   RECOGNITION   tab   where   virtually   every 

technical setting of the actual recognition engine can be tweaked.

8. FEATURES OF SHAPE WRITER

Shape writing is easy. Rather than tapping individual keys, one simply draws a 

continuous line from letter   to  letter  on a graphical keyboard.  The resulting pattern is 

recognized by ShapeWriter as a “sokgraph” (Shorthand On Keyboard as a GRAPH).  

Shape writing works on QWERTY and other graphical keyboard layouts. Customized 

22

Page 23: Shape Writer

layouts can be made for special purposes or different languages. For high performance, 

IBM   has   designed   a   layout   based   on  ATOMIK,   an   optimized   graphical   on   screen 

keyboard. Sokgraphs defined on this layout are efficient to produce, tolerant to error, and 

easy to remember. The following factors make shape writing particularly powerful.

Efficiency: Rather than articulating one letter at a time (longhand), shape writing allows 

the   user   to   write   word   level   sokgraphs    a   form   of   shorthand.

Human sensitivity to geometric patterns: A person’s ability to recognize, memorize and 

draw   patterns   is   remarkable.   Shape   writing   capitalizes   on   this   remarkable   human 

capability.   Drawing   patterns   with   a   stylus   is   fluid,   dexterous   and   fun.

Intelligent  pattern recognition:  ShapeWriter   is  "intelligent".  The number  of   legitimate 

words (ranging from thousands to tens of thousands in a lexicon) is only a fraction of the 

number of all letter permutations (tens of millions). ShapeWriter takes advantage of the 

regularities   of   words   formation   and   recognizes   user's   ink   trace   on   keyboard   with 

maximum   flexibility   and   error   tolerance.   An   intended   word   can   still   be   recognized 

although irrelevant letters between intended letters are crossed or even if some of the 

letters   in   a   word   are   missed   in   the   stylus   trace.

Ease   of   learning:   Shape   writing   bridges   initial   ease   of   use   with   eventual   high 

performance by embedding learning in use. In psychology terms, for initial ease of use, 

the user interface needs to be recognition­based – action by visual guidance. To reach 

high performance, however, the user interface should support recall­based skills. In shape 

writing, these two modes are gradually connected. One shifts from recognition to recall 

over  time. The graphical keyboard serves as a visual map and a  training wheel  from 

careful visual tracing towards a fluid form of shorthand writing.

Ease of error correction: Underneath each word in ShapeWriter's text stream editor is a 

list of probable alternative words that can be selected with one additional pen stroke. One 

can   also   delete   or   insert   words   anywhere   in   the   text   stream   editor.

ShapeWriter also supports  Command      Strokes     ­ a fluid and efficient form of pen­based 

command.

23

Page 24: Shape Writer

9. CONCLUSION

Shape Writer   recognizes  continuous shorthand gestures  and  features  a  smooth 

learning curve for users. Beginning users of shape writer traces the letter keys comprising 

a word and over time the memory of the sokgraphs build up in the users’ memory. After 

some usage users can quickly flick the sokgraphs without looking much at the keys. In 

addition to text entry, shape writer can be used as a command recognizer for various 

applications.   To   understand   all   issues   involved   and   the   full   potential   Shape   Writer, 

possibly even beyond mobile computing as a form of speed writing, requires a great deal 

more research in the future.

.

24

Page 25: Shape Writer

10. REFERENCE

1. ZHAI, S. AND KRISTENSSON, P.O. 2007. Introduction to shape writing. In 

MacKenzie, I.S. and Tanaka­Ishii, K. (Eds.), Text Entry Systems, 139­158. San Francisco: 

Morgan Kauffman.

2. KRISTENSSON, P.O. 2004.  Large Vocabulary Shorthand Writing on Stylus 

Keyboard. Licentiatavhandling, Linköping University, Sweden.

3.  KRISTENSSON,  P.O.  AND ZHAI,  S.  2004.  SHARK2:  a   large  vocabulary 

shorthand writing system for pen­based computers. In  Proceedings of the 17th Annual  

ACM Symposium on User Interface Software and Technology (UIST ‘04). ACM Press: 

43­ 52.

4. Per Ola Kristensson: Discrete and Continuous Shape Writing, for Text entry 

and control, Dissertain No. 1106, 2007

5.   ZHAI,   S.   AND   KRISTENSSON,   P.O.   2003.   Shorthand   writing   on   stylus 

keyboard.   In  Proceedings  of   the  ACM Conference  on  Human  Factors   in  Computing 

Systems (CHI ’03). ACM Press: 97­104.

6. www.shapewriter.com

7. www.almaden.ibm.com

7. www.wikipedia.org

25