automatic classification and ontology

Автопополнение онтологии с Автопополнение онтологии с помощью авторубрикации текстовпомощью авторубрикации текстов

Алексей Добров,Александр Бондаревич

Разработчики лингвистических продуктовOOmnik, Globbie, ArRus, NeoLEX, UCO

г. Санкт-ПетербургОктябрь 2008 г.

UCOUCO

Поисковая система Globbie – концептуальное рейтингование и рубрикация

Система ручного и автоматического пополнения словарей

Открытый лингвопроцессор

Универсальная концептуальная онтология

Открытые лингвистические Открытые лингвистические продуктыпродукты и технологиии технологии

Теория концептуального кодирования – Теория концептуального кодирования – теоретическая основа разрабатываемых теоретическая основа разрабатываемых

лингвистических продуктовлингвистических продуктов

Теория Концептуального Кодирования представляет собой составную часть Теории Универсальной Концептуальной Онтологии, на которой базируются все реализуемые нами компьютерные технологии.

Универсальность теоретического аппарата – возможность моделирования любой системы кодирования и языковВсе языковые единицы обладают одним и тем же набором концептуальных свойств и подчиняются одним и тем же законамОперации концептуального связывания относятся не к кодам, а к концептам, выраженным этими кодамиотношение между кодом и линейным порядком его компонентов также является кодом и по-разному линеаризованные коды кодирует разные концепты.

По данным британской исследовательской компании Euromonitor, продажи вина и

водки в России за прошедший год сократились

Интерпретация произвольного текста Интерпретация произвольного текста различными лингвистическими системамиразличными лингвистическими системами

Выдача результатов поиска по запросу Выдача результатов поиска по запросу поисковой системой Яндекспоисковой системой Яндекс

Перевод на английский Перевод на английский языкязык текста системой текста системой машинного перевода машинного перевода Promt Translator, Promt Translator,

www.translate.ruwww.translate.ru

концептуальный граф

ПРИМЕР РАЗБОРА ТЕКСТА С ИСПОЛЬЗОВАНИЕМПРИМЕР РАЗБОРА ТЕКСТА С ИСПОЛЬЗОВАНИЕМЛИНГВОПРОЦЕССОРА ЛИНГВОПРОЦЕССОРА OOmnik OOmnik И ОНТОЛОГИИ И ОНТОЛОГИИ UCOUCO

По данным британской исследовательской компании Euromonitor, продажи вина и водки в России за

прошедший год сократились

РАЗБИРАЕМЫЙТЕКСТ

вклю

чает включает

по отношению к

предшествует во времени

подвергается

включаетпроисходит в

прои

сход

ит в

о вр

емя

осущ

еств

ляет

по

отношен

ию к

подверга

ется

происходит

в

называется

По данным британской исследовательской компании Euromonitor, продажи вина и водки в России за

прошедший год сократились

РАЗБИРАЕМЫЙТЕКСТ

ПОСТРОЕНИЕ КОНЦЕПТУАЛЬНОГО ГРАФАПОСТРОЕНИЕ КОНЦЕПТУАЛЬНОГО ГРАФА

Поиск по индексам концептуальных графовПоиск по индексам концептуальных графов

проиндексированные графыграф запроса

При запросе осуществляется поиск подграфа, обладающего структурой, непротиворечащей с точки зрения онтологии структуре графа запроса, и максимально похожей на нее

Степень сходства двух непротиворечащих друг другу концептуальных структур – это отношения количества общих для них связей к общему

количеству связей, задействованному в этих структурах

Структура одного концептуального графа противоречитпротиворечит структуре другого, если существует

такая связь вида 1:1, что один и тот же концепт X связан ею в первом графе с концептом Y, а вовтором – с концептом Z, причем Y и Z – концепты разных подклассов одного и того же класса или

разные его экземпляры

Тело150 кг

Тело200 кг

Противоречие

Тело перемещение

Телодвижение

Нет противоречия

Противоречивость и непротиворечивостьПротиворечивость и непротиворечивостьконцептуальныхконцептуальных графов графов

[Какова] динамика роста цен на водку в России за прошедший год?

обладает

обладает

обладает

осуществляет

по отношению к

происходит в течении

прои

сход

ит в

Запрос, неЗапрос, не соответствующий исходному текстусоответствующий исходному тексту

[Что] происходило с продажами вина и водки в Россиив прошедшем году?

вклю

чает включает

по отношению к

предшествует во времени

подвергается

включаетпроисходит в

прои

сход

ит в

о вр

емя

Запрос, соответствующий исходному текстуЗапрос, соответствующий исходному тексту

[Какие] иностранные компании занимались исследованиямипродаж водки в России?

включает в себя

по отношению к осуществляет

подвергается

происходит в

не является

по отношению к

происходит в

включает в себя

Запрос, соответствующий исходному текстуЗапрос, соответствующий исходному тексту

[Какова] динамика продаж водки в России в натуральном выражении?

обладает

обладает

по отношению к

происходит в

подвергае

тся

по

отношению

к

Запрос, соответствующий исходному текстуЗапрос, соответствующий исходному тексту

Рубрикация статьи “цена” из ВикипедииРубрикация статьи “цена” из Википедии

Концептуальное рейтингование статьи “цена”Концептуальное рейтингование статьи “цена”

Потенциальные новые связиконцепта “Цена”:

•маркетинг (продажа)•фирма (негосударственные учреждения)•продукция•обмен...

При сопоставлении данных концептуального рейтингования сданными онтологии возникает ряд

новых потенциальных онтологическихсвязей.

предоставляютродо-видовые

и ассоциативныесвязи с

образуют концептуальныесвязи между

ВзаимодействиеВзаимодействиеконцептовконцептов

КонцептуальнКонцептуальныеые рейтинги рейтингипозволяют получить рейтингпозволяют получить рейтинг

рубрикрубрик

Взаимосвязь концептов онтологии и тематических рубрикВзаимосвязь концептов онтологии и тематических рубрик

Пример авторубрицирования заглавной страницы семинара Пример авторубрицирования заглавной страницы семинара NLPNLP с использованием технологии концептуального с использованием технологии концептуального

рейтингованиярейтингования

Пример использования технологии рейтингованияПример использования технологии рейтингованияпри ранжировании версий перевода в системе «АрРус»при ранжировании версий перевода в системе «АрРус»

Концептуализация и рубрицирование текста с Концептуализация и рубрицирование текста с использованием системы использованием системы GlobbieGlobbie