learning content models for semantic search
DESCRIPTION
Learning Content Models for Semantic Search. Eran Peer Hila Shalom. Contents. Brief overview of the system requirements. Detailed System architecture. Main classes and their relationships . Overview of User Interface. Overview of algorithms. Brief overview of the Tasks List. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/1.jpg)
Learning Content Models for
Semantic Search Eran PeerHila Shalom
![Page 2: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/2.jpg)
ContentsBrief overview of the system requirements.Detailed System architecture.Main classes and their relationships.Overview of User Interface.Overview of algorithms.Brief overview of the Tasks List.
![Page 3: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/3.jpg)
Main Functional RequirementsEnd users: the user enters a query in natural
language. The user gets an answer that helps him navigate and understand the structure of the corpus.
Content manager: gets new documents and add them to a repository.
Administrator: gets statistics from the use of the system, learn from them and update the hierarchical division to topics accordingly.
![Page 4: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/4.jpg)
Main Non-Functional RequirementsThe system works interactively with the users.The inputs come from the users.At our simulation, we will use beta-users that
will use the system and will help us make it more user-friendly.
The user should understand how to use the system in 10 minutes.
The user can prepare the input in 10 seconds.The user can interpret the output in 2.5
minutes.
![Page 5: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/5.jpg)
System architectureClient
HTTP Client :Java script
GUI
Manager
SolR
HTTP Server : War
Full Text Index
Server
HTTP Server
Manager
LDA : Jar
Morphological Analyzer
TopicModel
OfflineAlgorithm
create
Archives
SolRJ
HTTP SolR Query
HTTP
XML Reque
st
![Page 6: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/6.jpg)
Main classes
Manager
Article
Archives
MetaData
MorphologicalAnalysis
TopicNode
OfflineAlgorithm
MorphologicalAnalyzer
LDATopicModelSolR Manager
Servlet
![Page 7: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/7.jpg)
End User
![Page 8: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/8.jpg)
לחיפוש טקסט הקש
חפש
A Visual Example
![Page 9: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/9.jpg)
לחיפוש טקסט הקש
, וחולשה צמרמורות לי יש הראש לי כואב
חפש
A Visual Example
![Page 10: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/10.jpg)
:" , וחולשה " צמרמורות לי יש הראש לי כואב החיפוש עבור תוצאות
בירור שמצריך ומתמשך חזק ראש כאב : בת אני על לדעת שרציתם מה , 29כל כלל, בדרך בריאה
. שבר בעקבות ביד שעברתי אורתופדיים ניתוחים למעטאצלי להופיע התחילו האחרון ראש בחודש בעוצמה כאבי
. חזקה מאודכרוניים נושא: ראש אורתופדיים , כאבי ניתוחיםבילדים בגפיים ראש כאבי
עלולה והיא ילדים אצל שכיחה ראש כאבי על התלונה , או חום הופעת עם קשר ללא שנתיים בגיל כבר להופיע
... . ילדים אצל מתמשך ראש כאב אחרת נלווית מחלהילדים נושא: אצל שונים של , כאבים לוואי תופעות
לילדים כרוניים , תרופות ראש כאבי
: נושאים עץילדים ) • (20רפואת
אצל • שונים כאבים(10ילדים )
נגיפיות • מחלותילדים ) (7בקרב
ילדים )• אצל (3חוםכרוניים )• (12כאבים
אצל • שונים כאבים(10ילדים )
כרוניים • ראש כאבי(1)חוזרים )• בטן (1כאבי
נפש )• (8מחלות(4סכיזופרניה )•נפש • מחלות
טראומה בעקבות(2)(2פסיכואנליזה )•
A Visual Exampleחדש חיפוש
חפש בתוצאות
מאמרים 102נמצאו 2עד 1מאמרים : 1עמוד
הבא לעמוד האחרון ללכת לעמוד ללכת
![Page 11: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/11.jpg)
חדש חיפוש
:" , וחולשה " צמרמורות לי יש הראש לי כואב החיפוש עבור תוצאותל שקשורים ילדים דברים אצל שונים כאבים
ילדים אצל עיניים דלקת על , בקרנית בלחמית להופיע עלולה ילדים אצל עיניים דלקת
. כתוצאה להיגרם יכולה עיניים דלקת בעפעפיים או . דלקת, של מוקדם אבחון מאלרגיה או וירוס מחיידק
ביעילות הבעיות את לפתור עשוי עינייםילדים נושא: אצל שונים עינים , כאבים רפואת
בילדים ראש כאביעלולה והיא ילדים אצל שכיחה ראש כאבי על התלונה
, או חום הופעת עם קשר ללא שנתיים בגיל כבר להופיע... . ילדים אצל מתמשך ראש כאב אחרת נלווית מחלה
ילדים נושא: אצל שונים של , כאבים לוואי תופעותלילדים כרוניים , תרופות ראש כאבי
מרחיבים נושאיםילדים ) (20רפואת
כרוניים ) (12כאבים
מצומצמים נושאיםילדים • אצל ראש כאבי
(4)ילדים • אצל שיניים כאבי
(3)בגיל • ילדים אצל כאבים
(2הרך )אצל • ברורים לא כאבים
(2ילדים )ילדים • אצל עיניים כאבי
(1)
A Visual Example
מאמרים 41נמצאו 2עד 1מאמרים : 1עמוד
הבא לעמוד האחרון ללכת לעמוד ללכת
חפש בתוצאות
![Page 12: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/12.jpg)
ילדים אצל עיניים דלקת על
'מאת: " סטולוביץ חיים ר ד11.05.06 תאריך:
ילדים נושא: אצל שונים עיניים , כאבים רפואת
, או בקרנית בלחמית להופיע עלולה ילדים אצל עיניים דלקת , או. וירוס מחיידק כתוצאה להיגרם יכולה עיניים דלקת בעפעפיים
הבעיות. את לפתור עשוי עיניים דלקת של מוקדם אבחון מאלרגיהביעילות
, , , דביקה נפוחה כואבת מציקה הילד או התינוק של העין כאשר." " , עיניים דלקת מ סובל הוא כי להניח סביר הפרשות ומפרישה
, להן בגורמים הנבדלות עיניים דלקות של רבים סוגים ישנם. , ההחלמה זמן ובמשך הטיפול באופן שלהן בסימפטומים
, ובעפעפיים בקרנית בלחמית ממוקמת להיות יכולה עיניים דלקת . , רבה חשיבות ישנה אלרגיה או וירוס חיידק להיות יכול לה והגורם
, מתאים ולטיפול עיניים רופא ידי על הדלקת סוג של נכון לאבחון. הפיכים בלתי ונזקים סיבוכים למנוע כדי
A Visual Example
: מסמכים עוד ראה " חיים ר ד מאת
סטולוביץ'2006משנת
שונים בנושא: כאביםילדים רפואת , אצלעיניים
![Page 13: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/13.jpg)
Context Manager
![Page 14: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/14.jpg)
לחיפוש טקסט הקש
חפשהוספת מאמר
A Visual Example
![Page 15: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/15.jpg)
לחיפוש טקסט הקש
, וחולשה צמרמורות לי יש הראש לי כואב
חפשהוספת מאמר
A Visual Example
![Page 16: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/16.jpg)
:" , וחולשה " צמרמורות לי יש הראש לי כואב החיפוש עבור תוצאות
בירור שמצריך ומתמשך חזק ראש כאב : בת אני על לדעת שרציתם מה , 29כל כלל, בדרך בריאה
. שבר בעקבות ביד שעברתי אורתופדיים ניתוחים למעטאצלי להופיע התחילו האחרון ראש בחודש בעוצמה כאבי
. חזקה מאודכרוניים נושא: ראש אורתופדיים , כאבי ניתוחיםבילדים בגפיים ראש כאבי
עלולה והיא ילדים אצל שכיחה ראש כאבי על התלונה , או חום הופעת עם קשר ללא שנתיים בגיל כבר להופיע
... . ילדים אצל מתמשך ראש כאב אחרת נלווית מחלהילדים נושא: אצל שונים של , כאבים לוואי תופעות
לילדים כרוניים , תרופות ראש כאבי
A Visual Example
מאמרים 102נמצאו 2עד 1מאמרים : 1עמוד
הבא לעמוד האחרון ללכת לעמוד ללכת
מחק
מחק
: נושאים עץילדים ) • (20רפואת
אצל • שונים כאבים(10ילדים )
נגיפיות • מחלותילדים ) (7בקרב
ילדים )• אצל (3חוםכרוניים )• (12כאבים
אצל • שונים כאבים(10ילדים )
כרוניים • ראש כאבי(1)חוזרים )• בטן (1כאבי
נפש )• (8מחלות(4סכיזופרניה )•נפש • מחלות
טראומה בעקבות(2)(2פסיכואנליזה )•
חדש חיפושחפש בתוצאות
![Page 17: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/17.jpg)
: נושאים עץילדים ) • (20רפואת
אצל • שונים כאבים(10ילדים )
נגיפיות • מחלותילדים ) (7בקרב
ילדים )• אצל (3חוםכרוניים )• (12כאבים
אצל • שונים כאבים(10ילדים )
כרוניים • ראש כאבי(1)חוזרים )• בטן (1כאבי
נפש )• (8מחלות(4סכיזופרניה )•נפש • מחלות
טראומה בעקבות(2)(2פסיכואנליזה )•
:" , וחולשה " צמרמורות לי יש הראש לי כואב החיפוש עבור תוצאות
בירור שמצריך ומתמשך חזק ראש כאב : בת אני על לדעת שרציתם מה , 29כל כלל, בדרך בריאה
. שבר בעקבות ביד שעברתי אורתופדיים ניתוחים למעטאצלי להופיע התחילו האחרון ראש בחודש בעוצמה כאבי
. חזקה מאודכרוניים נושא: ראש אורתופדיים , כאבי ניתוחיםבילדים בגפיים ראש כאבי
עלולה והיא ילדים אצל שכיחה ראש כאבי על התלונה , או חום הופעת עם קשר ללא שנתיים בגיל כבר להופיע
... . ילדים אצל מתמשך ראש כאב אחרת נלווית מחלהילדים נושא: אצל שונים של , כאבים לוואי תופעות
לילדים כרוניים , תרופות ראש כאבי
A Visual Example
מאמרים 102נמצאו 2עד 1מאמרים : 1עמוד
הבא לעמוד האחרון ללכת לעמוד ללכת
מחק
מחק
בהצלחה נמחק
OK
הערה
חדש חיפושחפש בתוצאות
![Page 18: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/18.jpg)
לחיפוש טקסט הקש
חפשהוספת מאמר
A Visual Example
![Page 19: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/19.jpg)
לחיפוש טקסט הקש
חפשאוספת מאמר
OK
קובץ חיפוש
C:\Article\MedicArticle
MedicArticle.txtEyePainArticle.txtHeadacheArticle.txtBlackDeathArticle.txtPlaguesArticle.txt
A Visual Example
![Page 20: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/20.jpg)
לחיפוש טקסט הקש
חפשאוספת מאמר
OK
קובץ חיפוש
C:\Article\MedicArticle
MedicArticle.txtEyePainArticle.txtHeadacheArticle.txtBlackDeathArticle.txtPlaguesArticle.txt
EyePainArticle.txt
A Visual Example
![Page 21: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/21.jpg)
לחיפוש טקסט הקש
חפשאוספת מאמר
המאמר על פרטים
נושא
מחבר
תאריך
OK
A Visual Example
![Page 22: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/22.jpg)
לחיפוש טקסט הקש
חפשאוספת מאמר
המאמר על פרטים
החדשה העת בראשית עניים כאבי
כלשהוא" ר ד
1/4/2/07
נושא
מחבר
תאריך
OK
A Visual Example
![Page 23: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/23.jpg)
לחיפוש טקסט הקש
חפשאוספת מאמר
בהצלחה הוסף
OK
הערה
A Visual Example
![Page 24: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/24.jpg)
System Manager
![Page 25: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/25.jpg)
לחיפוש טקסט הקש
חפשעץ עדכןהיררכיה
עדכן אלגוריתם
קבל סטטיסטיקות
A Visual Example
![Page 26: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/26.jpg)
לחיפוש טקסט הקש
חפשעץ עדכןהיררכיה
עדכן אלגוריתם
קבל סטטיסטיקות
בהצלחה נבנה עץ
OK
הערה
A Visual Example
![Page 27: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/27.jpg)
לחיפוש טקסט הקש
חפשעץ עדכןהיררכיה
החלף אלגוריתם
קבל סטטיסטיקות
A Visual Example
![Page 28: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/28.jpg)
לחיפוש טקסט הקש
עץ חפש התחלהחלף
אלגוריתם קבל
סטטיסטיקות
Update
קובץ חיפוש
C:\Article\Alogrithms
BFS.JarDijkstra.JarNewLDA.JarMergeSort.JarBinarySearch.Jar
A Visual Example
![Page 29: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/29.jpg)
לחיפוש טקסט הקש
עץ חפש התחלהחלף
אלגוריתם קבל
סטטיסטיקות
Update
קובץ חיפוש
C:\Article\Alogrithms
BFS.JarDijkstra.JarNewLDA.JarMergeSort.JarBinarySearch.Jar
NewLDA.Jar
A Visual Example
![Page 30: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/30.jpg)
לחיפוש טקסט הקש
חפשעץ עדכןהיררכיה
החלף אלגוריתם
קבל סטטיסטיקות
בהצלחה הוחלף אלגוריתם
OK
הערה
A Visual Example
![Page 31: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/31.jpg)
לחיפוש טקסט הקש
חפשעץ עדכןהיררכיה
החלף אלגוריתם
קבל סטטיסטיקות
A Visual Example
![Page 32: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/32.jpg)
לחיפוש טקסט הקש
עץ חפש התחלהחלף
אלגוריתם קבל
סטטיסטיקות
Save
קובץ שמירת
C:\Statistic\
Statistic for march 2005.statStatistic for march 2008.stat
A Visual Example
![Page 33: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/33.jpg)
לחיפוש טקסט הקש
עץ חפש התחלהחלף
אלגוריתם קבל
סטטיסטיקות
Save
קובץ שמירת
C:\Statistic\
Statistic for march 2005.statStatistic for march 2008.stat
A Visual Example
Statistic for June 2011
![Page 34: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/34.jpg)
לחיפוש טקסט הקש
חפשעץ עדכןהיררכיה
החלף אלגוריתם
קבל סטטיסטיקות
בהצלחה נשמרו סטטיסטיקות
OK
הערה
A Visual Example
![Page 35: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/35.jpg)
The Offline Algorithm1. Go over the archive, For each article - do
Morphological Analysis 2. Use the LDA algorithm to create the topic
model.3. Tag all the articles by the Topic Model.4. Insert the tagged articles to SolR.
![Page 36: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/36.jpg)
The LDA Algorithm1. Go over the archive, For each article - do a
list of the words distribution. 2. Build key words for topics by sampling
words in the articles.3. Create the Topic Model for the topic and the
sampled words.4. The Topic Model tags each article with the
suitable topics.
![Page 37: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/37.jpg)
Main Task ListDuration Starting Date Task
12/3/11 20/2/11 Build Basic Client (End User)
25/3/11 13/3/11 Build Basic SolR
30/4/11 26/3/11 First prototype of the Offline Algorithm
20/5/11 1/5/11 Improve the LDA algorithm
10/6/11 21/5/11 Build All clients
30/6/11 11/6/11 Finish the project
![Page 38: Learning Content Models for Semantic Search](https://reader036.vdocuments.mx/reader036/viewer/2022062517/56813ced550346895da698b7/html5/thumbnails/38.jpg)
Any questions???