Итерационное извлечение шаблонов описания событий по...

Итерационное извлечение шаблонов описания событий по новостным кластерам

Котельников Дмитрий СергеевичМГУ им. М.В. Ломоносова

Лукашевич Наталья ВалентиновнаНИВЦ МГУ им. М.В. Ломоносова

План

• Задача извлечения информации из текста• Извлечение сущностей• Итерационное извлечение шаблонов

описания событий• Оценка предложенного подхода и

результаты

Извлечение информации из текста

• Выделение из текста на естественном языке структурированной информации

• «МВФ предоставит Белоруссии кредит на сумму $2,46 млрд»– Кредитор: МВФ– Получатель: Белоруссия– Сумма: $2,46 млрд

Подходы к созданию систем• Системы основанные на знаниях

(«инженерный подход»)– Правила выделения фактов из текста

составляются человеком вручную– Высокая трудоемкость создания– Сложность адаптации к извлечению новых фактов

• Автоматически обучающиеся системы– Правила выделения событий формируются

автоматически– Необходимость создания размеченной

коллекции

Итерационный метод• S. Brin “Extracting Patterns and Relations from the

World Wide Web”• Обучение начинается с небольшого количества

размеченных примеров

• <LI><B>First Men in the Moon</B>by H. G. Wells (• <LI><B>title</B> by author (

Извлечение шаблонов

Извлечение фактов

Постановка задачи

• Разработать способ автоматического формирования шаблонов для системы извлечения информации из текста.

• Проверить качество работы системы при обучении на небольшом количестве размеченных примеров

• Новостные кластеры — источник разнообразных описаний событий

План




Извлечение сущностей

• Виды извлекаемых сущностей:– обозначения даты или времени:

«5 августа 2006 года»«05.07.1988»

– числовые выражения:«5,5 миллиардов долларов»«пятьдесят процентов»

– именованные объекты:«Международный валютный фонд»«В.В. Путин»


• Для выделения именованных сущностей использовался упрощенный алгоритм

• Президент Дмитрий Медведев поручил правительству Российской Федерации не выполнять протокол


• Анализ совместной встречаемости сущностей в предложениях:– Россия готова участвовать в кредите ЕС Киеву

на энергоцели - заявил Путин;– В ответ на жесткую позицию России, которая

заявила, что не будет выполнять подписанный Киевом протокол по транзиту газа из-за внесенных в него оговорок, ЕС и Украина говорят, что согласны рассмотреть претензии Москвы»

Поиск синонимичных сущностей

• Один объект может описываться различными выражениями:– «МВФ»– «Международный валютный фонд»– «Совет директоров МВФ»– «Исполнительный совет Международного

валютного фонда»


• Совпадение контекстов употребления слова:– Заместитель главы Газпрома Александр

Медведев заявил, что поставки российского газа в Евросоюз через территорию Украины могут быть возобновлены.

– Поставки российского газа в Европу через территорию Украины могут быть возобновлены.


• Контексты через глагол:– Президент Дмитрий Медведев поручил

правительству Российской Федерации не выполнять протокол до тех пор, пока в нем не будут сняты противоречия.

– Президент России Дмитрий Медведев поручил правительству Российской Федерации не выполнять протокол до тех пор, пока в нем не будут сняты противоречия.

План




Исходные данные

• Новостной кластер на заданную тему, в котором указаны все участники события:– Покупатель: «Microsoft»– Товар: «Yahoo»– Сумма: «44,6 млрд»

Метод формирования шаблонов

Известные факты

Поиск сущностей в предложениях

кластера


Применение шаблонов


1. «Microsoft намерена купить Yahoo за 44,6 млрд долларов»

2. «Компания Microsoft собирается приобрести поисковую систему Yahoo за 44,6 миллиардов долларов»




кластера



Значимые слова

• Присутствие некоторых слов в предложении может указывать на наличие в нем извлекаемого события

• «МВФ предоставил Белоруссии кредит на $2,46 млрд»

• «МВФ дал Белоруссии $2,46 млрд»


• Выделяется непустая подстрока лемм между двумя различными слотами

• Шаблон должен обязательно содержать глагол и значимое слово:– «Microsoft намерена купить Yahoo за 44,6

млрд долларов»– [Entity:Buyer:[Им]] НАМЕРИТЬ {КУПИТЬ} [Entity:

Goods:[Дт]] ЗА [Number:Amount]




кластера



План




Эксперименты• Была размечена коллекция из 84 новостных

кластеров.• Пример разметки:– Кредитор : МВФ ; Совет директоров МВФ ; совета

директоров Международного валютного фонда ; Международный валютный фонд ; Исполнительный совет директоров МВФ ; СД МВФ

– Сумма : 2 , 5 миллиардов долларов ; 2 , 46 млрд долл ;

– Получатель : Минск ; Белоруссии ; Беларуси ; власти Белоруссии

Эксперименты• Результаты перекрестной проверки при

разделении на 4 части:

№ Точность Полнота F-мера1 0,97 0,41 0,572 0,95 0,55 0,693 0,98 0,35 0,514 0,92 0,71 0,8Среднее 0,95 0,5 0,65

Эксперименты• Сравнение с системой, основанной на

инженерном подходе для факта получения кредита

Шаблонов Точность Полнота F-мера1 12 1 0,07 0,132 183 0,97 0,34 0,53 316 0,94 0,65 0,784 325 0,94 0,65 0,785 330 0,94 0,65 0,78ИП 20 0,95 0,24 0,38

Примеры шаблонов• [Entity:Creditor:[Им]] <ПРЕДОСТАВИТЬ>

[Entity:Debtor:[Рд, Дт, Пр]] {КРЕДИТ}• [Entity:Creditor:[Вн, Им]] <ВЫДЕЛИТЬ>

[Entity:Debtor:[Им, Рд]] {КРЕДИТ}• [Entity:Debtor:[Им]] <ПОЛУЧИТЬ> {КРЕДИТ}

НА [Number:Amount]• [Entity:Creditor:[Им]] <ВЫДЕЛИТЬ>

[Entity:Debtor:[Рд, Дт, Пр]] {КРЕДИТ} В [Number:Amount]

Примеры значимых словКредит ПокупкаКРЕДИТАВТОКРЕДИТБРИДЖ-КРЕДИТГОСКРЕДИТМИКРОКРЕДИТСТАБКРЕДИТТРАНШЭКСПРЕСС-КРЕДИТ

КУПИТЬВЫКУПИТЬДОКУПИТЬЗАКУПИТЬНАКУПИТЬНАПОКУПАТЬПЕРЕКУПИТЬПОКУПАТЬВсего 19 слов

Результаты

• Разработан метод итерационного извлечения шаблонов для системы извлечения информации из текста, основанный на нахождении в новостном кластере несколько близких по содержанию предложений.

• Проведены эксперименты, которые показали применимость системы для формирования шаблонов на небольшом количестве размеченных примеров

Итерационное извлечение шаблонов описания событий по...

Documents