مقدمه ا ي بر پردازش زبان طب ي ع ي

50
ه ا م د ق م ي ب ط ان ب ز ش رداز پ ر پ ب ع ي اده له ز ل دا ب ع مد ح ر ا کته: د د ب ه ه د* ازائ رادي م رهام پ ده: ب0 ن ک م ي5 ظ ن8 ت ر ت* ئ ا ب85 ر ت< ب ک ر مت ا ي عت ن ص گاه ش ن دا عات لا ط ا اوزي ن ف ر و پ و يO من کا ي س د ب ه م کده ش ن دا م ي س سي گاه ش ن ما زZ ا د ب م ش و ه هايhttp://ce.aut.ac.ir/islab

Upload: mayten

Post on 05-Jan-2016

67 views

Category:

Documents


12 download

DESCRIPTION

مقدمه ا ي بر پردازش زبان طب ي ع ي. دانشگاه صنعتي امير کبير دانشکده مهندسي کامپيوتر و فناوري اطلاعات آزمايشگاه سيستم ‌ هاي هوشمند http://ce.aut.ac.ir/islab. ارائه دهنده: دکتر احمد عبدالله زاده تنظيم کننده: پرهام مرادي. Natural Language Processing. Natural Language Processing. پائيز 85. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: مقدمه ا ي  بر پردازش زبان طب ي ع ي

بر پردازش زبان يمقدمه ايعيطب

ارائه دهنده: دکتر احمد عبدالله زاده

تنظيم کننده: پرهام مرادي

85پائيز

دانشگاه صنعتي امير کبيردانشکده مهندسي کامپيوتر و فناوري اطالعات

هاي هوشمند‌آزمايشگاه سيستمhttp://ce.aut.ac.ir/islab

Page 2: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 2

NLPنکات مورد بحث

يهوش مصنوعيعيپردازش زبان طب

NLPخچه يتار

NLP يکاربرد ها

Page 3: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 3

NLPيهوش مصنوع

ن ينحوه پردازش فکر را در ماش دهدينشان م

Page 4: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 4

NLP اهدافAI

ه(ي هوشمندتر )هدف اولين هايساخت ماش(يدتر )هدف کاربردي مفين هايساخت ماش

Page 5: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 5

NLP مفاهيمAIو تعاريف

AIشامل تعاريف زيادي است AI علم مطالعه فرآيند تفکر انسان AIبازنمايي فرآيند تفکر در ماشين

Page 6: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 6

NLPهوش مصنوعي

انجام عملي در ماشين، که اگر آن عمل توسط انسان انجام مي گرفت نياز به تفکر و هوشمندي

داشتمطالعه چگونگي انجام اعمالي توسط کامپيوتر که

انسان همان عمل را بهتر و راحتتر انجام مي دهد (Rich and Knight 1991)

تئوري مربوط به نحوه انجام تفکر در انسان (Mark Fox)

Page 7: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 7

NLP اهدافAI

)هدف اوليه(باهوش ترايجاد ماشين هاي چيستهوشفهم اينکه

مفيدترايجاد ماشين هاي

(Winston and Prendergast [1984])

Page 8: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 8

NLP

عالئم يهوشمند

ق تجربهي از طرادراکا ي يريادگيرفع ابهام

حل مسائلي برااستداللاستفاده از ص ارتباط عناصر مختلفيفهم و استنباط تشخ

استنتاج و تفکرمحيط جهت عمل بر روي دانشبه کارگيري

عاقالنهنتيجه گيري و فهم

Page 9: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 9

NLP

AI در حل مساله عالئم از يک سري استفاده مي کند

بازنمايي دانشعالئم و ساختار آنها : براي حل مسائل غير الگوريتميروشهاي

مورد استفاده قرار AIدر سيستم هاي مي گيرد

Page 10: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 10

NLPمحاسبات هوشمندانه

و بکارگيري آنهاستبازنمايي نشانهبر پايه ، يک حرف، کلمه و يا عدد براي نشانهيک

بازنمايي اشياء ، فرآيند ها و ارتباطات آنهاست ، شامل افراد، مفاهيم، وقايع، ايده ها و يا اشياء

حقايق ايجاد دانش برپايه نشانه ها

AI استنتاج از دانش را با جستجو و تطابق الگو انجام مي دهد

Page 11: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 11

NLPمحاسبات هوشمندانه

و بکارگيري بازنمايي نشانهبر پايه آنهاست

، يک حرف، کلمه و يا عدد براي نشانهيک بازنمايي اشياء ، فرآيند ها و ارتباطات

آنهاست ، شامل افراد، مفاهيم، وقايع، اشياء

ايده ها و يا حقايق ايجاد دانش برپايه نشانه ها

Page 12: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 12

NLPنگيتست تور

يک کامپيوتر و يک انسان داخل اتاقي قرار دارند و در

بيرون اتاق يک نفر سوال مي پرسد و از داخل اتاق جوابي مي شنود و متوجه

نشود که کامپيوتر جواب داده يا انسان

artificial intelligence

natural intelligence

interrogator

A

B

Page 13: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 13

NLPي هوش مصنوعينه هايزم

خبرهيستم هايسيعيپردازش زبان طب

پردازش گفتارکيربات

ني ماشيينايبيمحاسبات تکامل

الگوريتم هاي ژنتيکمنطق فازي

خالصه سازي اخبارترجمه ماشيني

Page 14: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 14

NLP

جايگاه پردازش زبان طبيعي در هوش مصنوعي

هوش مصنوعي

تکنيکابزار کاربرد ها

Learning

Knowledge Representation

Reasoning

Prolog

Lisp

پردازش زبان طبيعي

پردازش تصوير

سيستم هاي خبره

Page 15: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 15

NLPيعيزبان طب

روز ي است که در تعامالت اجتماعي زبانيعيزبان طبمي کنيم و صحبت ميسي نويمره ما با استفاده از آن م

وجود دارنديادي مختلف و زيعي طبيزبان ها زبان ها متفات ي و نوشتاريممکن است که فرم گفتار

ن از هم مستقل باشند.يباشند و همچن توانند ي که مي از واژگان قوائد و معانييستم هايس

ثبت ومشاهده شوند مجود دارندNLPن ادعا را دارد که با خودکار کردن پردازش ي ا

فات بوجود ين توصيه اي بر پايدي مفيستم هايزبان سآورد.

Page 16: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 16

NLP

ي زبانهايطبقه بندجهان

Page 17: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 17

NLP

ي زبانهايطبقه بندجهان

Page 18: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 18

NLPجهاني زبانهايطبقه بند

Page 19: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 19

NLP

ي زبانهايطبقه بندجهان

Page 20: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 20

NLP

پردازش زبان يعيطب

NLPاز ي محاسباتي در ارتباط با توسعه مدل ها ، باشد.يدگاه پردازش زبان ميد

يک کتاب درسير ي- خواندن و تفسنوشتن -محاوره -ترجمه سند.-

ازي اطالعات مورد ني-جستجو به يوتري کامپيجاد برنامه هاي اين مدل ها برايا

فهم بهتر يات پردازش زبان و برايمنظور انجام عملرندي گيمورد استفاده قرار م

Page 21: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 21

NLP

پردازش زبان يعيطب

ساخت يک مدل محاسباتي از زبان براي فهم زبان طبيعي: زبان طبيعيورودي

: زبان طبيعيخروجي

Page 22: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 22

NLP

Page 23: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 23

NLPنير عناويسا

ن متداول :يعناوپردازش خودکار زبان

ي محاسباتيزبان شناسيعيفهم زبان طب

Page 24: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 24

NLP

يزبان شناسيمحاسبات

زبان انسان ي مطالعه علميوتر ها برايکاربرد کامپد ينکه انسان ها چطور زبان را تولينه ايمطالعه در زم

فهمنديکرده و م و قبل ازآن شامل يدي تولينه زبان شناسيدر زم

ي ميسي برنامه نوي و زبان هايمطالعه زبان رسمشد.ت ي که قابلييک ابزار در مدل هايوتر به عنوان يکامپ

شد. به عنوان ي دارند، استفاده ميابيتوسعه و ارزمثال

زبان يريادگي ”ي تئورياده سازي پتوسط نوزاد“

Page 25: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 25

NLP تاريخچهNLP : 1940 - 1950

Kleeneارائه نظريه زبانها توسط نوام چامسکي - Backusو

طبقه بندي گرامر هاارائه جمله با گرامر

تئوري احتماالتفهم جمالت با توجه به ابهامات

ستم يک سي NLPص ين برنامه کامل تشخياول لغت در فرهنگ لغت بودکه در کالج يجستجو

Birkbeck جاد شد.ي ا1948 در لندن در سال

Page 26: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 26

NLP تاريخچهNLP : 1950 - 1960

AI (1956) : تولد Dartmouthکنفرانس Heuristic (Newell – Simon 1956)جستجوي

LISP (McCarthy 1960)ترجمه ماشيني

Verbal Behavior چاپ کتاب 1957در سال توسط اسکينر

يادگيري بر پايه رفتارنظريه رفتار گرايي

Page 27: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 27

NLP تاريخچهNLP : 1960 - 1970

NLP 1970 تا 1957 از: بر گرامر:يمبتن

ه پردازش زبان ياستفاده از فرمال گرامر به عنوان پا يريادگي يستمهايو س

(Chomskey,Harris,Kaplan,Peters) بر منطق:يمبتن

منطق به منظور يسياستفاده از منطق و برنامه نو. يي و استنتاج معناsyntaxمشخص کردن

(Minskey,Schunk,Winograd,Colmerauer,Kay) بود.ي استنتاج گرامريقت نوعيفهم زبان در حق

Page 28: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 28

NLP تاريخچهNLP : 1960 - 1970

:ي آماريمدلها گفتار ي بازشناسي براي احتماالتياستفاده از روشها

OCRو (Fodor,Bever,Garrett,Bresnan,Weinberg)

يريادگي ي قابل تست براي-زبانيکيزين مدل فياول.شنهاد شديزبان و فهم آن پ

BASEBALL (Green 1963)STUDENT (Bobrow 1968)

ELIZA (Weizenbaum 1966)

Page 29: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 29

NLP تاريخچهNLP : 1970 - 1980

ATN ياستفاده از شبکه هاCase Grammar:

يني از مسائل از ترجمه ماشيکي حل :ييش معناينما

-schankيي،که تئوريي معناي وابستگي و همکارانش تئور است راارائه دادند.ييه معناي اوليان زبان درواژه هايدرب

مختلف ي که در فرم هاي مفهوميه شبکه هاي - ارائه نظر يستم ها استفاده مي از سياري ارائه دانش در بسيبرا

شد. -WILIIAM WOODSعمل ي برايه ايم رويه مفاهياز نظر

ستم يک سين ي بيانيک ارائه ميکردن به عنوان کرد.يگاه داده استفاده ميستم پايک سيپردازش زبان و

Page 30: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 30

NLP تاريخچهNLP : 1970 - 1980

SHRDIULUNAR :ه يم رويگاه داده که از مفاهيستم واسط پايک سي

کرد.ياستفاده مATN و ياLIFER/LADDER : يستم هاين سي از موثر تريکي NLP که

گاه داده از يک پاي ي برايعيک واسط زبان طبيبه عنوان شده يکا طراحي ارتش آمري هاياطالعات در باره کشت

بود.

Page 31: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 31

NLP

سطوح مختلف پردازش زبان )دانشهاي مورد نياز(

( Phonetic & Phonologyفونوتيک )(Morphologyمورفولوژي )

در مورد لغات بحث مي کندSyntax

رابطه ساختاري بين لغاتSemantic

معناي لغاتPragmatic

نحوه استفاده از جملهDiscourse

رابطه بين معناي لغات در بعد مکان و زماندر رابطه با جمله و هدف جمله در بعد مکان و زمان

Common sense

Page 32: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 32

NLP

سطوح مختلف پردازش زبان )دانشهاي مورد نياز(

Speech‌Recognition/‌Segmentation

Morphological‌Analysis

Syntactic‌Analysis

Semantic‌Interpretation

Discourse‌Processing

Meaning‌Representation

Lexical‌Choice

Syntactic‌Realization

Morphological‌Realization

Generation

Page 33: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 33

NLPمعماري کلي سيستم هاي پردازش زبان

جمله Tokenize Word Syntax‌StructureParsing

Semantic‌Analysis

Conceptual‌Interpret

Application‌Reasoning

PlanningWordجمله Syntax

Response

Page 34: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 34

NLP تاريخچهNLP : 1980 - 1993

NLP 1990 تا 1980 از: ( Grammar Formalisms) ي- گرامر رسم

NLP تا حال:1990 از ي وچندبعديزبان - چند

(Multilinguality and Multimodality)

Page 35: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 35

NLP کاربرد هايNLP

دسته ي مختلفي توانند به راه هايکاربرد ها مله/بعد،عمق ي شوند.به عنوان مثال: وسيبندلها ،درجه تعامالت.يتحل

ه متن.ي بر پاي- کاربرد ها.يعي- فهم زبان طب

مکالمه.يستم هاي- س.ي- چند بعد

Page 36: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 36

NLP

ه ي بر پايکاربرد هامتن

پردازش متون نوشته شده مثل،کتابها،اخبار،مقاالت،گزارش ها

گاه يک پاي مشخص از يافتن سند مناسب در عنوان هاي- .يداده متن

ام ها مقاالت،صفحات وب و ...ي- استخراج اطالعات از پگر.يک زبان به زبان دي- ترجمه سند از

ص متن.يتلخ-ستند.ي نNLPازمند ين کاربرد ها ني * نکته: همه ا

توانند ي هستند ميديه کلمات کلي که بر پاييک هاي تکن خاص موفق باشند.ي موضوعي شناخت نواحيبرا

Page 37: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 37

NLP

يعيزبان طبفهم

ز هستند:يق از آناليک سطح عميازمند يندا کن همه مقاالت در رابطه تصاد فات ي من پيبرا ”

مه اول ي در ن Maltaن در يش از دو ماشيشامل ب نيماش2001“

مشخص کردن ي را برايد اطالعات کافيستم باينجا سيا-له پرسش ي به وسيف شده ايا مقاله ها مالک تعرينکه آيا

کنند، استخراج کند.ي ميمعرفن است که آن، يستم ،فهم ايک سيص قاطع از يک تشخي-

ي بعدي واسط هاي توانند براي که مي اطالعاتيارائه ها تواند محاسبه کند.يرند ميمورد استفاده قرار بگ

ن است که ي اNLPستم يک سي يک سوال قاطع براي - ستمي بدست آوردن هدف سي برايادي زيچطور هوشمند

الزم است .

Page 38: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 38

NLP

ه ي بر پايکاربرد هامکالمه

شود ين وانسان را شامل مين ماشيارتباط بNLگاه داده يستم پردازش پايس-ي بانکيس هاي خودکار مثل سروي مشتريس هايسرو-ي عمومNLستم حل مسئله يس-

:ي و مکالمه اي متنيستم هاي سي از تفاوت هايبرخستندي نياد رسمي استفاده شده زيزبان ها-ير مکالمه اي زيق هاياستفاده از شرح تصد-

Page 39: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 39

NLP

چند يکاربرد هايبعد

است:يش از دو بعد ارتباطيا بيشامل دو متن

گفتاراشاره

ريتصو

ي چند بعديد سند هايتولي ترجمه گفتاريستم هايسي مکالمه گفتاريستم هايس

گفتار متنمتن گفتار

Page 40: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 40

NLP

شناسايي گفتار

زبان گفتاري شناسايي مي شود و مثال در سيستمهاي ديکته ، به متن ،يا در سيستم هاي کنترل روبات ، به

فرامين، يا به بازنمود دروني ديگري ، تبديل مي شود.

Page 41: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 41

NLP

ترکيب گفتار

( در زبان گفتاري از متن )سيستم هاي متن Utteranceاداها )– به – گفتار ( يا از بازنمودهاي دروني لغات يا جمالت

توليد مي شوند. ) سيستم هاي مفهوم – به – گفتار(

Page 42: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 42

NLP

مقوله بندي متن

اين تکنولوژي متون را به مقوالت اختصاص مي دهد. متون ممکن است به بيش از يک مقوله متعلق باشند، مقوله ها

ممکن است حاوي مقوالت ديگري باشند.تصفيه سازي حالت خاصي از مقوله بندي داراي تنها دو مقوله است.

Page 43: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 43

NLPخالصه سازي متون

مربوط ترين بخش هاي يک متن به صورت خالصه استخراج مي شوند . اين کار به طول و درازاي مورد نياز خالصه ها

بستگي دارد. در صورتي که الزم باشد که خالصه به يک پرسش معين مختص باشد ، تلخيص سخت تر است.

Page 44: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 44

NLP

نمايه سازي متن

به عنوان پيش شرطي براي بازيابي سند ، متون در يک پايگاه داده اي نمايه سازي شده ذخيره مي شوند. معموال

متن براي همۀ| شکلهاي کلمه يا – بعد از شرح و تفسير براي همۀ| کلمات نمايه مي شود. گاهي اوقات نمايه سازي

با مقوله بندي و تلخيص ترکيب مي شود .

Page 45: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 45

NLP

بازيابي متن

متون از يک پايگاه داده اي که بيشتر با يک پرسش يا سند معين مطابقت مي کند ، بازيابي مي شوند . اسناد مورد

نظر با توجه به مناسبت مورد انتظارشان مرتب مي شوند . نمايه سازي، مقوله بندي، تلخيص و بازيابي اغلب تحت

اصطالح بازيابي اطالعات قرار مي گيرند.

Page 46: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 46

NLP

استخراج اطالعات

تکه هاي اطالعاتي مربوط ومناسب اطالعات کشف و براي استخراج نشان دار مي شوند: قطعات استخراج شده مي

توانند به شکل هاي ذيل باشند: موضوع ، هويت هاي با نام از قبيل اسامي شرکت ، مکان يا شخص ، رابطه هاي ساده از قبيل قيمتها ، مقاصد، کارکردها و غيرو يا رابطه هاي پيچيده

ازقبيل شرح دادن تصادفات ، ادغام شرکتها يا مسابقات فوتبال .

Page 47: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 47

NLP

ترکيب داده ها و استخراج داده هاي متن

قطعات استخراج شده اطالعات از چندين منبع در يک پايگاه داده اي ترکيب مي شوند. ممکن است مناسباتي که

از قبل تشخيص داده نشده اند ، کشف شوند.

Page 48: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 48

NLP

پاسخ به پرسش

پرسش��هاي زب��ان ط��بيعي ب��راي دسترس��ي ب��ه اطالع��ات در پايگ�اه داده اي م�ورد اس�تفاده ق�رار مي گيرن�د. پايگ�اه داده اي ممکن اس�ت مبن�اي داده ه�اي س�اختاري ش�ده ي�ا مخ�زني از س�تون ديجيت�ال باش�د ک�ه در آن بخش ه�اي معين ب�ه عن�وان

پاسخ هاي بالقوه نشان دار شده اند.

Page 49: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 49

NLP

ايجاد گزارش

گزارش به زبان طبيعي ايجاد مي شود که محتواي اساسي پايگاه داده اي يا تغييرات آن را شرح مي دهد. گزارش مي تواند حاوي اعداد جمع شده ، حداکثر، حداقل و بنيادي ترين

تغييرات باشد.  

Page 50: مقدمه ا ي  بر پردازش زبان طب ي ع ي

Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49 از 50

NLP

تکنولوژي هاي ترجمه

تکنولوژي هايي که متون را ترجمه مي کنند يا به مترجمان کمک مي کنند . ترجمه خودکاريا ترجمه ماشيني خوانده مي

شود . حافظه هاي ترجمه از مقادير بزرگي متن همراه با ترجمه هاي موجود براي دنبال کردن موثر ترجمه هاي احتمالي کلمات ، عبارات و جمالت استفاده مي کنند.