AusarbeitungdesReferates„K ommunikation mit anderen Spezies-

SyntaxfreieInteraktionen in derMensch-Maschine-Kommunikation“

zumSeminar„Kommunikation:DasMiteinandervon

MenschundMaschine“

AndreasBunge1

13.August2000

1abunge@techfak.uni-bielefeld.de

2

INHALTSVERZEICHNIS 3

Inhaltsverzeichnis

1 Einführung 4

2 WIMP 42.1 WasbedeutetWIMP? . . . . . . . . . . . . . . . . . . . . . . . . 42.2 Kritikpunkte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3 Einflüsseauf die Mensch-Computer-Interaktion 7

4 SyntaxfreieInteraktionen in Benutzerschnittstellen 84.1 SyntaxfreieInteraktionen- Definiton . . . . . . . . . . . . . . . . 84.2 Unterschiedbisherige- zukünftigeBenutzerschnittstellen. . . . . 84.3 Gestaltungsaufgaben. . . . . . . . . . . . . . . . . . . . . . . . 9

5 Interaktion mit dem Computer 105.1 Interaktionsorganisation. . . . . . . . . . . . . . . . . . . . . . . 105.2 Interaktionstechniken . . . . . . . . . . . . . . . . . . . . . . . . 11

5.2.1 BlickgesteuerteInteraktionen . . . . . . . . . . . . . . . 115.2.2 ManuelleInteraktionen. . . . . . . . . . . . . . . . . . . 115.2.3 Gesten-undnonverbaleInteraktionen . . . . . . . . . . . 125.2.4 SprachbasierteInteraktionen. . . . . . . . . . . . . . . . 125.2.5 Ausgabetechnologien. . . . . . . . . . . . . . . . . . . . 12

6 Zusammenfassung/Ausblick 13

4 2 WIMP

1 Einführung

DasProblemheutigerComputersystemeliegt darin,daßsiedemMenschennichtsodienen,wie ihr Leistungspotentialesvermutenließe.SobietensiedemBenut-zerzwarsehrvieleFunktionen,esdauertabersehrlange,bisall dieseFunktionenerlerntwerdenkönnen.ComputerarbeitbedarfalsobislangeinerhohenEinarbei-tungszeit.Genauan diesemPunktsetztdieseAusarbeitungan: Nicht der Menschsoll ler-nen,mit demComputerumzugehen,sondernderComputersoll sichsoaufseinenBenutzereinstellen,daßdiesersichschnellzurechtfindet.

Um diesesZiel zuerreichen,ist eszunächsteinmalwichtig,diebisherigenAn-sätzezur Mensch-Computer-Interaktionzu analysieren,um ihre Schwachpunktezu erkennen.Da auf WIMP basierendeBenutzerschnittstellenamweitestenver-breitet ist, stelle ich diesesSchnittstellenprinzipin Kapitel 2 kurz vor, um danneinigeKritikpunkte aufzuzeigen,die in zukünftigenAnsätzenverbessertwerdensollten. Natürlich ist es ebensowichtig zu wissen,welcheFaktorenüberhauptEinfluß auf die KommunikationzwischenMenschund Computerhaben,nach-zulesenin Kapitel 3. In Kapitel 4 wird dannder neueAnsatzder „SyntaxfreienInteraktionen“vorgestellt,aufdenenauchdasim RahmenderzugrundeliegendenDiplomarbeit([J. H. Israel])entstandeneBetriebssystemVOSbasiert.

Kapitel 5 faßteinigeInteraktionstechnikenzusammen,die in neuartigenSy-stemenverwendetwerdenkönnten.

Wennnicht andersangegeben,sind die in dieserAusarbeitungverwendetenAbbildungenaus[J.H. Israel]entnommen.

2 WIMP

2.1 WasbedeutetWIMP?

WIMP ist eineAbkürzungundstehtfür „Window IconMenuPointing devices“.AufgrunddesNamensläßt sichschonvermuten,wie in etwa Programmeausse-hen,die auf dieserSchnittstellebasieren:Die auf dem Bildschirm angezeigtenDatenwerdenin Fensternorganisiert,die entwederüberlappend,gekacheltodermaximiertdargestelltwerdenkönnen(Abb. 1) . Mit Hilfe dieserFenstertechnikist esfür denBenutzerleicht möglich,mehrereAufgabenparallelzu bearbeiten(„Multitasking“). Er kanndie gewünschtenKommandosmit Hilfe von Zeigein-strumentenauswählen,alsoi.d.R. mit derMaus.DieseKommandosstehendemBenutzerin MenüszurVerfügungoderwerdenalsIconsdargestellt(Abb. 2).

WIMP-Schnittstellensind seit 1983 immer mehrverbreitetund folgen demDesktop-Prinzip,d.h. die Anordungder Datensoll sich an einemSchreibtischorientieren,daherauchderBegriff „Ordner“ für Verzeichnis.

2.1 WasbedeutetWIMP? 5

Abbildung1: VerschiedeneFenster-Anordnungen

Abbildung2: Die ElementeeinerWIMP-Schnittstelle

6 2 WIMP

2.2 Kritikpunkte

Der WIMP-Ansatzbasiertnicht auf dersystematischenAnalysederBedürfnissedesMenschen.Es wurdealsonicht analysiert,welcheBedürfnisseder Menschbzgl.derKommunikationmit demComputerhat,sonderneswurdezunächsteinAnsatzentwickelt, der danndemBenutzer„vorgesetzt“wurde.DaseigentlicheZiel, nämlichder benutzerangemesseneUmgangmit demRechner, ist aufgrundfolgenderKritikpunktenicht ganzerfüllt worden.SomußderBenutzerauf jedenFall die Kommandoserlernen,die derComputerihm zur Verfügungstellt.Auch wenndasLernendurchIconsundMenüsverein-fachtwird, ist dassicherlichnichtoptimal.

Ein weitererKritikpunkt ist die Verwendungvon generischenDialogen(z.B.der „Speichernunter“-Dialog),die zwar demProgrammierereinerAnwendungviel Arbeit abnehmen,aberkeineautomatischeAnpassungandieBedürfnissedesBenutzersermöglichen.Denkbarwärenz.B.Menüs,diesichdermaßenanpassen,daßsichoft verwendeteEinträgeim oberenTeil desMenüsanfinden,wasaller-dingsauchgewöhnungsbedürftigist, v.a.wennmansichschonandie bisherigenMenüsundDialogegewöhnthat.

Weiterhin ist die strikt sequentelleKommunikationzwischenMenschundComputerzu bemängeln.SequentielleKommunikationheißtin diesemFall, daßimmer nur einerder beidenKommunikationspartner- MenschoderComputer-agierenkann,währendderandereauf seinenEinsatzwartet.Auch sindverschie-deneEingabegerätenichtsinnvoll parallelnutzbar, wieeszumBeispielin Compu-terspielenderFall ist (MausundTastatur).Die Folgedarausist einesehrniedrigeBandbreitevomMenschenzumComputer, währenddieBandbreitein umgekehr-ter Richtungaufgrundder hohenLeistungsfähigkeit heutigerRechnersehrhochseinkann.Der letztePunktkannzur Informationsüberflutungführen.

Die Frageist natürlichnun: Wie kannmaneinebessereMensch-Computer-Interaktion zustandebringen?Um dieseFragezu beantworten, ist es zunächsteinmalwichtig zu wissen,welcheFaktorenüberhauptEinfluß auf die Mensch-Computer-Kommunikationhaben.

7

3 Einflüsseauf die Mensch-Computer-Interaktion

FolgendePunktesind auf jedenFall bei der PlanungeinerneuartigenBenutzer-schnittstellezuberücksichtigen:

� WelcheAufgabenwill der Benutzer mit dem Rechnererledigen?EinfacheAufgabenkönnenz.B. das Kreieren,Auswählen,PositionierenoderdasLöschenvon Objektensein.I.d.R.sindaberv.a.komplexereAuf-gabenwie dasSchreibenvon TextenoderProgrammierenvon Anwendun-genzuerledigen.

� Eigenschaften/Fähigkeiten desMenschenHier sindv.a.diesensorischen,kognitivenundmotorischenFähigkeitendesMenscheneinzubeziehen.

� NachrichtenaustauschHierbeiist zubeachten,daßbei jederArt vonKommunikationauchStörun-genauftretenoderauchNachrichtengarnichtankommenkönnen.Entspre-chendeVorkehrungenzur Fehlererkennungund-minimierung/-beseitigungmüsseneingeplantwerden.

� Verfügbare TechnikDer besteAnsatznützt nichts,wenndie entsprechendeTechniknicht vor-handenist, um diesenAnsatzin die Realitätumzusetzen.Also mußmansich immer auchvor Augenhalten,wastechnischrealisierbarist und wasnicht.

Wird der Computernur ungenügendan die Fähigkeiten desMenschenan-gepaßt,so kanndasz.T. gefährlicheFolgenhaben.So kannder BenutzerdurchInformationsüberflutungund einenzu hohenAbstraktionsgradder dargestelltenInformationenüberfordertwerden.Oderabererwird durchhochautomatisierteProzesseundmonotoneArbeitsabläu-fe unterfordert.In beidenFällenerhöhtsichdasRisiko von Unfällen,wennmanandenEinsatzvonBenutzerschnittstellenin Fabrikmaschinendenkt.

Mithilfe der im nächstenKapitel eingeführten„SyntaxfreienInteraktionen“soll dieseGefahrvermiedenwerden.

84 SYNTAXFREIE INTERAKTIONEN IN BENUTZERSCHNITTSTELLEN

4 Syntaxfreie Interaktionen in Benutzerschnittstel-len

4.1 SyntaxfreieInteraktionen - Definiton

„Syntaktische Handlungsabläufesind zusammengefügteHandlungen,bei denenjedeHandlungihrenWert erst durch die Fügungerhält. DasInteraktionsverhal-teneinerBenutzerschnittstellegilt als syntaxfrei, wennsich der Mensch währendder Mensch-Computer-Interaktion die SyntaxseinerHandlungen nicht verdeut-licht. Dazukanner sich der VielzahlseinernatürlichenundabstrakterInterakti-onsmöglichkeitenbedienen.“([Nielsen],Übersetzungaus[J. H. Israel])

Ziel dersyntaxfreienInteraktionenist dieOrientierungannatürlichenArbeits-abläufenundsomiteineVerringerungderEinarbeitungszeit,indemnichtspezielleFunktionenundKommandosdesComputerserlerntwerdenmüssen,sondernderComputerdie EingabendesBenutzersinterpretiert.

4.2 Unterschiedbisherige- zukünftige Benutzerschnittstellen

Alle bisherigenAnsätzeundsomitauchderWIMP-Ansatzsindnicht syntaxfrei,dennderUmgangmit demComputermußerlerntwerden.UndbeimLernenmußsichderMenschderSyntaxseinerHandlungensehrwohl bewußtsein.In zukünf-tigenSystemensoll essosein,daßderComputerdenMenschen„versteht“,ohnedaßdieserdenUmgangmit demComputererlernenmuß.

Die RolledesComputerswird sichdahingehendverändern,daßerselbständi-geragiert,d.h. im Gegensatzzu bisherigenSystemenist die Vorgabenicht mehr,genaudaszu tun,wasderBenutzerihm explizit „sagt“ - waszugegebenermaßenhäufignicht funktioniert -, sonderner soll dastun, wasder Benutzerwill . Dassoll durch BeobachtungdesBenutzers,z.B. mit Hilfe von Tracking-Systemen,realisiertwerden.Sokannz.B. deraktuelleZustanddesBenutzersmit Biosenso-ren(s.Kap.5.2.3)o.ä.erkanntwerden.Dadurchkannfestgestelltwerden,ob derBenutzermit demErgebniszufriedenist, dasder Computerihm präsentiertundevtl. sofort ein neuerVorschlaggemachtwerden,falls der Benutzerunzufriedenerscheint.

Informationsüberflutungsoll verhindertwerden,indemnichtbenötigteObjek-te automatischverstecktwerden.

Weiterhin soll der Interaktionsstromverändertwerden,insbesonderesollenverschiedeneEingabegeräteparallelbenutztwerdenkönnenundsomitdie weiterobenbemängelteBandbreitevomMenschenzumComputererhöhtwerden.

Ein wichtiger Punkt für zukünftigeSchnittstellensind auchkontinuierlicheBenutzerdialoge,mit derenHilfe die WartezeitenMensch� Computerverringert

4.3 Gestaltungsaufgaben 9

werdensollen.Es gibt ja keinediskretenKommandosmehr, die der Computerausführensoll, sondernderBenutzersoll sichin einemständigenDialogmit demComputerbefinden.

AnhanddierserPunktewird in [J. H. Israel] eineSystematikzur GestaltungzukünftigerBenutzerschnittstellenbeschrieben,aufdie ich im nächstenAbschnittnähereingehenmöchte.

4.3 Gestaltungsaufgaben

Abbildung3: SystematikzurGestaltungzukünftigerBenutzerschnittstellen

In Abb. 3 lassensichdreiGestaltungsbereicheerkennen,nämlichdieEingabe-undAusgabeelementeundderDialogalsVerknüpfungdieserElemente.In jedemdieserGestaltungsbereichesolltennun bestimmteAufgabenerfüllt werden,umeinebenutzerfreundlicheMensch-Computer-Kommunikationzuermöglichen:

� Anpassungandie Motorik undSensorik

� CodierungderInformation

� OrganisationderInformation

AusderMotorik undSensorikdesMenschenfolgenRegelnfür Abmessungenso-wie für Betätigungseinrichtungenund-kräftevon mechanischenEingabeelemen-ten. Für die Ausgabeelementeergebensich Darstellungsparameterfür optischeundakustischeAnzeigen.

Mit CodierungvonInformationenist dasAbbildenvonNachrichtenaufmoto-rischeAktivitätenundSinnesreizegemeint.Dabeikannin Analog-/Digitalwerten,

10 5 INTERAKTION MIT DEM COMPUTER

alphanumerischenZeichen,Grafik und in gesprochener/geschriebenerSprachecodiertwerden.

Bei der Organisationder InformationenwerdenmehrerezusammengehörigeDatenzeitlich, örtlich und inhaltlich strukturiert.Als Beispielfür örtlicheStruk-turierungkannmandenZif fernblockaufderTastatursehen.

5 Interaktion mit demComputer

5.1 Interaktionsor ganisation

Wie bereitserwähnt,sollte ein BenutzerohnelangeEinarbeitungszeitmit demComputerumgehenkönnen.Ideal hierfür wärenatürlich,wennkeineVorgabenfür dasInteraktionsverhaltenseitensdesMenschengemachtwürden,dochdasistnatürlichsehrschwierig.Soist esbeispielsweiseselbstfür denMenschenin man-chenSituationennahezuunmöglich,Gestenrichtig zu interpretieren.Ziel sollteesdennochsein,die Mensch-Computer-Interaktionso natürlichwie möglich zugestalten.

Dabeiist esauchwichtig, daßmandieInteraktionandasmenschlicheVermö-genzur Informationsverarbeitunganpasst,z.B. ist essinnvoll, mehrereInformati-onskanäledesMenschengleichzeitigzu nutzenwie beispielsweisedenauditivenunddenvisuellenKanal.DaeshierbeidurchausUnterschiedezwischendenMen-schengibt - auf manchenmagesstörendwirken,wennz.B. ein angezeigterTextzusätzlichvorgelesenwird -, ist esnotwendig,daßder Computersich im LaufederZeit eineWissensbasiszumInteraktionsverhaltendesBenutzersanlegt, damiter „weiß“, wie deraktuelleAnwenderambestenInformationenaufnehmenkann.Gleichesgilt natürlichauchfür Informationen,diederBenutzerandenComputersendet.SokönnenzumBeispielbestimmteGesteneinesMenschenimmerdassel-bemeinen,währendeinandererMenschetwasanderesausdrückenmöchte.DieseGestenkönnendanngespeichertwerden.Dasnächstemal,wenneinesolcheGe-stevon diesemBenutzervorkommt, kannder Computersofort eineBedeutungzuordnen.ObdieseInterpretationrichtig war, mußallerdingssicherheitshalberinjedemFall nocheinmalüberprüftwerden.

5.2 Interaktionstechniken 11

5.2 Interaktionstechniken

In zukünftigenBenutzerschnittstellensoll es möglich sein,Datenmit den ver-schiedenstenEingabegeräten-/technikeneinzugebenundauszugebendeDatenent-sprechendzupräsentieren.Um diesesZiel zurealisieren,werdenverschiedeneIn-teraktionstechnikenangewandt,dienach[J.H. Israel]in die folgendenKategorieneingeteiltwerdenkönnen:

� BlickgesteuerteInteraktionen

� ManuelleInteraktionen

� Gesten-undweiterenonverbaleInteraktionen

� SprachbasierteInteraktionen

� Ausgabetechnologien

Kritisch seiandieserStelleerwähnt,daßdieseEinteilunginsofernnichtganzglücklich ist, daverschiedeneKategorienwie Modus(die erstenvier Kategorien)undMedium(die Ausgabetechnologien)vermischtwerden.

5.2.1 BlickgesteuerteInteraktionen

DasAugeist aufgrundseinerhohenGeschwindigkeit eigentlichprädestiniertfürschnelleundeinfacheBenutzereingaben,jedochist dieAuswertungderAugenbe-wegungensehrkompliziert,dadasAugeniewirklich stillsteht.DasAugebewegtsichsehrplötzlich und in sogenanntenSakkaden.WenndasAugeein Objekt fi-xiert, so führt es trotzdemnoch kleine zitterndeBewegungenaus.Es ist nichtleicht, diesevon dengewollten Bewegungenzu unterscheidenund herauszufil-tern.Mit Hilfe von sogenanntenGazetracking-Systemenkann die Blickrichtung derAugenunddie PositiondesAugapfelsbestimmtwerden.Als Mausersatzist dasAuge abernicht empfehlenswert,da eszu leicht überanstrengtwird. Wennbe-sipielsweiseein Objekt ausgewählt werdensoll, so mußdiesesObjekt förmlichangestarrtwerden,da Latenzzeiteneingeführtwerdenmüssen,um nicht mit je-demBlick eineAktion auszuführen.Dennochlassensich aus den Augenbewegungenwichtige InformationenüberWünscheundIntentionendesBenutzersherleiten.

5.2.2 Manuelle Interaktionen

Als Beispielfür manuelleEingabegeräteist der Datenhandschuhzu sehen.Hierfindet - zumindestin voll immersivenSystemenmit Datenhelm(s. Kap. 5.2.3)-eineoptischeRückkopplungstatt,indemdie Handauchin dervirtuellenUmge-bungdargestelltwird.Da abermeistkeinehaptischeRückkopplungstattfindetunddurchvirtuelle Ob-jektehindurchgegriffenwerdenkann,ermüdetderArm sehrschnell.

12 5 INTERAKTION MIT DEM COMPUTER

Ein weiteresmanuellesInteraktionsgerätist derTouchscreen,mit dessenHilfeObjektedirektmanipuliertwerdenkönnen.

5.2.3 Gesten-und nonverbale Interaktionen

Gesten-undnonverbaleInteraktionenkönnenz.B.mit Datenhelmen,GesichtstrackernundBiosensorenrealisiertwerden.

Datenhelmesind Geräte,die wie ein „normaler“ Helm auf denKopf gesetztwerdenundmit derneHilfe esmöglichist, in einevirtuelleUmgebung„einzutau-chen“.

Mit Gesichtstrackern könnenmimischeBewegungenund BewegungenderGesichtsmuskelnerfaßtwerdenundsomitderemotionaleAusdruckdesGesichtsbestimmtwerden.ExistierendeSystemebietenbereitsErkennungvon Augen-öffnung,AnhebungundDisanzderAugenbrauen,Kieferbewegungen,Mundöff-nung,etc.,sindabernochnicht genaugenug,um effektiv eingestetztwerdenzukönnen.

Mit BiosensorenwerdenelektrischeNervenimpulsegemessen.Damit lassensichwichtigeRückschlüsseüberMuskelbewegungenoderHirnaktivitätenziehenundsomitauchüberdie EmotionendesBenutzers.

5.2.4 SprachbasierteInteraktionen

Die Spracherkennungist bereitsweiter entwickelt als die Gestenerkennungundbietetinzwischeneinerelativ hoheErkennungsrate-undgeschwindigkeit.Sower-densiewohl schonbaldBestandteilverbreiteterBenutzerschnittstellensein.Mit der„TextToSpeech“-Technikwird zudemdie paralleleNutzungmehrererIn-formationskanälemöglich.Sokann,wie anandererStelleerwähnt,ein angezeig-ter Text auchvorgelesenwerden.In diesemFall wird sowohl derauditive Kanal(dasOhr)alsauchdervisuelleKanal(dasAuge)genutzt.

5.2.5 Ausgabetechnologien

DasräumlicheSehenbasiertauf der Auswertungmonokularerund binokularerMerkmale.MonokulareMerkmalesinddabeiMerkmale,die auchnur mit einemAugewahrgenommenwerdenkönntenwie z.B. Objektverdeckungen,Licht oderSchatten.BinokulareMerkmalesind Merkmale,die nur mit zwei Augenerfaßtwerdenkönnenwie z.B.Tiefeninformationen.

WährendmonokulareMerkmalemit herkömmlichenBildschirmendarstell-barsind,erfordertdieWahrnehmungbinokularerMerkmalespezielleGeräte,wo-beizwischenbrillengebundenenundautostereoskopischenGerätenunterschiedenwird. AutostereoskopischeGerätesindin [J. H. Israel]sobeschrieben:“A utostereoskopischeAusgabegeräteermöglichendemBetrachter ein stereosko-pischesSehenohneSehhilfe[...]. Dabei wird die Bildinformationentwedertat-

13

sächlich in den Raumprojiziert [...], oder die für linkes und rechtesAuge er-zeugtenBilder werdendurch VeränderungderoptischenWegenur demjeweiligenAugesichtbargemacht.“

HaptischeAusgabegerätestimulierendenTast-/KraftsinndesBenutzers,dersomitOberflächeneigenschaftenvonObjektenwahrnehmenkann.Z.B. kannin Datenhandschuhender Druck-/Tastsinn(„Touchfeedback“)stimu-liert werden,indemkleineLuftkissenoderstumpfeNadelnim Handschuhange-brachtwerden.

AkustischeAugabegerätesindz.B.KopfhöreroderLautsprecher, diesoange-ordnetsind,daßmanObjekteim künstlichenRaumortenkann.

6 Zusammenfassung/Ausblick

In dieserAusarbeitungwurdenverschiedeneÜberlegungengemacht,die unbe-dingt in die EntwicklungneuartigerBenutzerschnittstelleneinfliessensollten,umdemMenschendenUmgangmit demComputerzu erleichtern.Eine Implemen-tation einersolchenBenutzerschnittstellewird in der AusarbeitungdesRefera-tes„Kommunikationmit anderenSpezies:Dasvisuelle3D-BetriebssystemVOS“von MarkusWanskevorgestellt.Hier zeigtsichauch,wie schwierigteilweisedieUmsetzungvondurchaussinnvollenVorgabenist.

14 LITERATUR

Literatur

[J. H. Israel] DiplomarbeitJohannHabakukIsrael:SyntaxfreieInteraktionenimRahmendesvisuellen3D-BetriebssystemsVOS(1998),TechnischeUniver-sitätBerlin - FachbereichInformatik(http://wwwwbs.cs.tu-berlin.de/user/kusche/diplom/)

[J. Nielsen] J.Nielsen:„NoncommandUserInterfaces“,Communicationsof theACM 36,4, überarbeiteteAusgabe,1996,S.83-99