Лаборатория ИИЛаборатория ИИ

Проект:Проект:

«Построитель семантической«Построитель семантической

карты текста»карты текста»

Летняя школа программистов

Лагерь “Чайка”, 2010 г.

Задачи лаборатории Задачи лаборатории ИИИИ

1.1. Ознакомление с основами Ознакомление с основами программированияпрограммирования

2.2. Ознакомление с теорией Ознакомление с теорией text text miningmining

3.3. Разработка программы по Разработка программы по построению семантической построению семантической карты текста карты текста

Проектная группаПроектная группа

Роман КожуховскийРоман Кожуховский Дмитрий ТокмашовДмитрий Токмашов Валерий АндрюшковВалерий Андрюшков Фёдор ТолстоноженкоФёдор Толстоноженко Кристина ШултрековаКристина Шултрекова Кристина ТокчинаковаКристина Токчинакова Артур МилютинАртур Милютин

Распределение ролейРаспределение ролей

РуководительРуководитель Углев Виктор АлександровичУглев Виктор Александрович ПрограммистыПрограммисты Кожуховский Роман Кожуховский Роман Токмашов ДмитрийТокмашов Дмитрий Инженер по знаниямИнженер по знаниям Андрюшков ВалерийАндрюшков Валерий

Распределение ролейРаспределение ролей

Эксперт по русскому языкуЭксперт по русскому языку

Шултрекова КристинаШултрекова Кристина ПомощникиПомощники

Толстоноженко ФёдорТолстоноженко Фёдор

Милютин АртурМилютин Артур

Токчинакова КристинаТокчинакова Кристина

Необходимость Необходимость использования ИИ при использования ИИ при

решении задачирешении задачиПоиск информаций и анализ текстаПоиск информаций и анализ текста

рутинный процесс, которыйрутинный процесс, который

занимает много времени. Длязанимает много времени. Для

автоматического извлечения знаний автоматического извлечения знаний изиз

текстовой информации рациональнотекстовой информации рационально

применять методы ИИ (применять методы ИИ (text mining text mining ии

семантической сети).семантической сети).

Базовые методы ИИБазовые методы ИИ

1.1. Data miningData mining

2.2. Искусственные нейронные сети Искусственные нейронные сети

3. Экспертные системы 3. Экспертные системы

4. Генетические алгоритмы 4. Генетические алгоритмы

5. Многоагентные системы 5. Многоагентные системы

Используемые методыИспользуемые методы

В нашей программе используетсяВ нашей программе используется

метод метод text miningtext mining и метод построения и метод построения

семантических сетей.семантических сетей.

При оформлений программы При оформлений программы использовалииспользовали

методы объектно – ориентированногометоды объектно – ориентированного

Программирования.Программирования.

Text miningText mining

Один из методов ИИ, которыйОдин из методов ИИ, которыйосуществляет извлечение знаний осуществляет извлечение знаний из текстовых массивов данныхиз текстовых массивов данныхРешаемые задачи:Решаемые задачи:1.1. выделение ключевых терминоввыделение ключевых терминов2.2. автореферирование текстаавтореферирование текста3.3. поиск информацийпоиск информаций4.4. автоматически составление автоматически составление

каталогов каталогов

Семантическая сетьСемантическая сеть

Это графическая схема взаимодействия Это графическая схема взаимодействия междумежду

отдельными элементами знаний, где узлы –отдельными элементами знаний, где узлы –

понятия, а рёбра – взаимосвязи между ними.понятия, а рёбра – взаимосвязи между ними.

Применяется:Применяется:

1.1. для визуализаций отношений между для визуализаций отношений между понятиями понятиями

2.2. для описания логики переходов между для описания логики переходов между процессами процессами

Постановка задачиПостановка задачи

Разработать информационную Разработать информационную

систему, анализирующуюсистему, анализирующую

текстовую информацию и текстовую информацию и

извлекающую из неё знания приизвлекающую из неё знания при

помощипомощи text mining. text mining.

Технологии Технологии используемые намииспользуемые нами

1.1. Text mining Text mining

2.2. Borland Delphi 7Borland Delphi 7

3.3. Borland Image EditorBorland Image Editor

4.4. БлокнотБлокнот

5.5. PowerPointPowerPoint

Интерфейс программыИнтерфейс программы

Логика работы Логика работы программыпрограммы

Наша программа загружает текстовыйНаша программа загружает текстовый

файл, делит его на предложения и изфайл, делит его на предложения и из

них выделяет отдельныених выделяет отдельные

слова. С помощью разработаннойслова. С помощью разработанной

нами функции она определяет часть речинами функции она определяет часть речи

того или иного слова, и по этим даннымтого или иного слова, и по этим данным

составляет семантическую сеть текста.составляет семантическую сеть текста.

Логика обработки словЛогика обработки слов

Программа извлекает слова из Программа извлекает слова из предложения, а потом исключает предложения, а потом исключает из массива слова повторяющиеся. из массива слова повторяющиеся.

Затем определяется часть речи Затем определяется часть речи каждого слова и по полученным каждого слова и по полученным данным строится семантическая данным строится семантическая карта текста.карта текста.

Объектная модельОбъектная модель

Действующее лицо (Действующее лицо (THeroTHero)) ИмяИмя Порядковый номерПорядковый номер Частота появления в текстеЧастота появления в тексте

Семантическая сеть Семантическая сеть ((TSemantikWebTSemantikWeb)) Узлы сети (термины)Узлы сети (термины) Связи между узламиСвязи между узлами Значимость объекта в текстеЗначимость объекта в тексте Радиус семантической сетиРадиус семантической сети

Области примененияОбласти применения

1.1. Помощь учащимся в составление Помощь учащимся в составление рефератов, сочинений, домашних рефератов, сочинений, домашних работ по литературеработ по литературе

2.2. Поиск информаций в текстовых Поиск информаций в текстовых документахдокументах

3.3. Построение семантических сетейПостроение семантических сетей

Перспективы Перспективы доработкидоработки

1.1. Доработка функции определения частей Доработка функции определения частей речиречи

2.2. Учёт местоимений при анализе текстаУчёт местоимений при анализе текста

3.3. Обработка различных форматов текстаОбработка различных форматов текста

4.4. Сохранение семантической карты Сохранение семантической карты текста в графическом форматетекста в графическом формате

5.5. Повышение квалификации отдельных Повышение квалификации отдельных участников проектной группы участников проектной группы

Спасибо за внимание!Спасибо за внимание!