ISCOL 2008

עיבוד שפות טבעיות וטכנולוגיה מסייעת -

*תקשורת תומכת וחליפית

נצר יעלבנגב גוריון בן אוניברסיטת

Natural Language Processing and Augmentative and Alternative Communication*

NLP-AAC ובקיצור: *

ISCOL 2008

המטרה

ניתן לעשות שימוש אחר ויצירתי.NLPבכלי •

החשיבות גדולה•טכנולוגיה מסייעת כיעד–טכנולוגיה מסייעת כתוצר לוואי של המחקר–

המימוש קשה יותר...•מיעוט משתמשים )מחקר למען יחיד?(–משתמשים עם צרכים ייחודיים ומגוונים )אין משתמש "טיפוסי"(–מיעוט משאבים–Evaluationקושי בהערכת התוצאות –

ISCOL 2008

לשמה שלא מתוך

לשמה בא

tagsetבחינת ביצועי המנתח המורפולוגי או שלמות ה-

ניבוי מילים בעברית

ISCOL 2008

לשמה שלא מתוך

לשמה בא

– , לשונית רב יצירה טבעיות שפות ליצירת דקדוק

בלוחות סמלים קלט מתוך טבעית בשפה משפטים ליצירת מערכתתקשורת.

לשמה ושלא ועוד " ) יכולה ) ח תת למטרות שיועדה מסמלים דיבור למשל מערכת

השפה ) את דוברים שאינם למתאשפזים חולים בבית גם לשמשהמקומית(

ISCOL 2008

) " ח ) תת וחליפית תומכת תקשורת

פרקטיקה ומחקר

מגוון אמצעים חלופיים או כאלו התומכים בתקשורת מילוליתלקויה ומאפשרים קיום תקשורת תפקודית לאנשים המתקשים בכך.

ללא עזרים: שפת סימנים, ג'סטות•לוחות תקשורת )בתמונות, איורים, סמלים,  אותיות ומילים(, עזרים בעלי פלט •

קולי, מחשבים ועוד.

במושג תת"ח נכללים גם מגוון עזרי נגישות:מגוון מתגים•חיבורים והתקנים למתגים ולעזרים אחרים•ממשקי הפעלה: מקלדות מיוחדות, תחליפי עכבר ועוד•

“Breathing is the only prerequisite that is relevant to communication”

ISCOL 2008

תקשורת התקן של היבטים

בחירה אמצעיסריקה – או ישירה– ) , / , מתגים ) ראש עיניים תנועות עפעוף טכנולוגיה–/ , ,) סטטי ) דינאמי סמלים כמות אופטימיזציה מקלדת על סמלים סידור

הקלט • שפת–) , , וצילומים ) סמלים מילים מאותיות שונות שקיפות ברמות סמלים

הפלט • אמצעי– , – : אנלוגי דיגיטלי קולי פלטטקסטואלי–לשיחה – שותף

• : - העיבוד שיטת תוכנה מבוססות במערכות

ISCOL 2008

ISCOL 2008

תקשורת קצב

זמן תקשורתהבעיה המרכזית: מילים לדקה150-200אדם ממוצע –

מילים לדקה15משתמש תת"ח >

האצת זמן יצירת ההודעה– המטרה העיקרית:

הוא בין: –trade-offההNמרור מהירות

כוח הבעהעומס קוגנטיבי

ISCOL 2008

NLP-AACבקהילת המחקר

• Workshop in ACL – Madrid 1997• Journal of Natural Language Engineering 4 (1).

Special Issue on NLP for communication aids /ACL http://aclweb.orgחיפוש באנתולוגיה של •

anthology-new/ : ) לאורך workshop כולל ה-20-30 עשרות בודדות מאוד (

ה"היסטוריה"

•???

(ארגון עם Workshop in ACL – 2010המטרה – •Kathy McCoy-מ Delaware-ו Annalu Waller

.)Dundeeמ-

ISCOL 2008

עיקריים מחקר תחומי

תקשורת תומכת וחליפית:

Word Predictionניבוי מילים •Message Generationיצירת הודעות מרצף סמלים •Text Simplificationפישוט טקסט •

מעבדי תמלילים לאנשים עם דיסלקציה

Intonationדיבור מותאם, דיבור עם אינטנוציה

נגישות - תוכנות הקראה לעוורים או למתקשים בקריאה.

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר ט

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר טוב

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר טוב, מה ....

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר טוב, מה שרתם

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר טוב, מה שרת

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר טוב, מה שר

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר טוב, מה ש

ISCOL 2008

Word Predictionניבוי מילים

שלום ובוקר טוב, מה שלומכם

ISCOL 2008

Word predictionניבוי מילים

למה זה משמש?•– Non AAC: Translators [Hovy..] , interactive machine translation,

voice recognition– Hand-held Devices– Enhancing communication rate– People with Dyslexia

שיטות מחקר ופיתוח:•מודל שפה–מתייגים )חלקי דיבר(–קולוקציות –ניתוח תחבירי–סמנטיקה––Word completion from Google et al.?

- ???]Netzer et al. 2008[עברית: •

ISCOL 2008

טלגרפי מקלט טקסט יצירת

המורה אכלה אגס

המורה אכל אגס

המורה תאכל אגס

מורה אכל את האגס

מורה אכל עם אגס*

מורה אכלה באגס*

teacher to_eat pear

ISCOL 2008

הודעות יצירת

הקלט: רצף של סמלים )או מילים – טקסט טלגרפי(הפלט: מבע בשפה טבעית

מערכת "קלאסית" ליצירת טקסט מורכבת מ-•: אדםNLP-AACמתכנן התוכן –)מה לאמר( –מממש תחבירי )איך לאמר: בחירה לקסיקלית, מימוש תחבירי(–

דרכים לעיבוד:•תרגום–

– Bliss-to-English translation system [Waller & Jack 2002]ניתוח ויצירה–

– BlissTalk [Hunnicutt 1986]– PVI [Valliant 1995]– COMPANSION [Mccoy 1997]– CoGeneration [Copestake 1997]– Bliss/Makaton to Greek [Karberis and Kouroupetroglou, 2002]

כתיבת סמנטית –– [Netzer and Elhadad 2006]

ISCOL 2008

Text simplificationפישוט טקסט

Keith Johnson is the Makah Tribe Spokesman, and he comments, ”We made history today”.

Keith Johnson is the Makah Tribe Spokesman.He said, ”We made history today”

[Sarah E. Petersen and Mari Ostendorf. Text Simplification for Language Learners: A Corpus Analysis. Speech and Language Technology for Education )SLaTE(

2007.]

ISCOL 2008

טקסט פישוט

למה משמש?•ניתוח תחבירי: הפחתת רב-משמעות מבנית–איכות תרגום אוטומטי–אחזור מידע: אחזור חלקי משפטים רלוונטיים–תמצות אוטומטי––Text entailment–"Simplified languageלבניית מדריכים "טקסט קריא לבעלי לקויות או לאנשים עם אפזיה.–

מחקר:•–FSG–Dependency grammars–Analysis and re-generation

עברית?•

ISCOL 2008

אשר בסקוטלנד עושים דברים Dundeeב-מעניינים

( בצורה אוטומטית להגברת punsיצירת משחקי מילים )•המודעות האוריינית של ילדים עם צרכי תקשורת מורכבים.

______ _____(What do you call a)שימוש בתבניות ––What do you call a frog road? A main toad. ובמילונים פונטים לזיהוי יחסי קרבה/הפכים WordNetשימוש ב-–

[O’Mara,D., Waller, A., Manurung, R., Ritchie, G., Pain, H., Black, R. (2006) ]

Development of a phonic based speech synthesiser for children with complex communication needs

ISCOL 2008

סמלי בליס –- שפת תקשורת

ISCOL 2008

indicatorsסמלי בליס - מצביעים ו-

ISCOL 2008

ISCOL 2008

ISCOL 2008

ISCOL 2008

ייצוג סמלים

ייצוג מפורש של המבנה הפנימי של סמלי בליס נותן לנו מידע על הקשרים הסמנטיים בין המושגים שהסמלים מייצגים.

דוגמא:

לקסיקון בליס מקוון )עם יואב גולדברג(

בסיס נתונים המכיל את כל הסמליםכל שדה מכיל מידע על הרכיבים ואפיים:

– Atom– Superimposed symbol– Sequence of symbols

ISCOL 2008

בליס לקסיקון

דוגמא•המשך מחקר:•

מימוש לוח דינאמי–

.indicatorהטייה מורפולוגית על פי ה-–שחזור משמעות הסמל מתוך רכיביו–"המלצות" לסמלים חדשים–

ISCOL 2008

סיכום

הרבה מן המשותף –AAC ול-NLPל-

יצירה/הבנה של שפהלקסיקונים

שינויים "קטנים" בייעוד יכולים לשמש ולסייע לצרכים מיוחדים

תחום מעניין, מגוון ומתגמל

jה הiהNיא j בikשjklנ kאjתmך mבו kר תinשmְעiל מjk Nים תkוqצNיא אpת כ "מNקmצrה שjlלqשl שjlנ "j j בNkשmlְעjרpיך kתmחik mהNנ ו

ISCOL 2008

תודה

Thank you