КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА

КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА

Computational linguistics

Компьютерная лингвистика как часть научного направления «прикладная лингвистика»

Теория знака, лежащая в основе компьютерной лингвистики

Информация и информатика как составные части компьютерной лингвистики

Инструментарий компьютерной лингвистики

ПЛАН ЛЕКЦИИ

КОМПЬЮТЕРНАЯ

ЛИНГВИСТИКА –

ЭТО

направление в прикладной лингвистике, ориентированное на:

использование компьютерных инструментов: программ, компьютерных технологий организации и обработки данных для моделирования языка и мышления в компьютерной среде в тех или иных условиях, ситуациях, проблемных сферах и т.д.,

применение компьютерных моделей языка в лингвистике и смежных дисциплинах.

ИНТЕРЕСЫ

КОМПЬЮТЕРНОЙ

ЛИНГВИСТИКИ

создание общих языков для представления информации;

усовершенствование языков для представления информации;

создание естественного языкового интерфейса для общения человека с машиной (одна из основных проблем Искусственного Интеллекта);создание и моделирование информационных систем.

ОТЦЫ-ОСНОВАТЕЛИ СЕМИОТИКИ

Чарльз Сандерс Пирс (Pierce) (1839— 1914) — американский философ, прославился работами в области логики и семиотики (теории знаков).

Чарльз Уильям Моррис (Morris) (1901-1979) —американский философ, один из основателей семиотики. Ввел термин «прагматика».

Семиотика (от др.-гр. sema –знак) - наука, изучающая знаковые системы.

ЗНАК – ЭТО

Ч. Пирс:

Ч. Пирс:

Namely, a sign is something, A, which brings something, B, its interpretantsign determined or created by it, into the same sort of correspondence with something, C, its object, as that in which itself stands to C –

«Знак ... это что-то, что стоит для кого-то вместо чего-то другого в том или ином плане или отношении

В.А. ЕфремовПризнак, примета, по которым узнается, распознается что-л. // Клеймо, метка.

2. То, что служит указанием на что-л., свидетельством чего-л., внешним обнаружением чего-л. // Чувственное выражение, внешнее проявление чего-л. // Предзнаменование, предвестие.

3. Предмет, являющийся признаком принадлежности к чему-л., символом чего-л.

4. Жест, выражающий волю, желание, приказание кого-л.

5. Предмет или действие в роли условного обозначения чего-л.; сигнал.

6. Изображение с известным условным значением. // Письменное изображение звука речи; буква.

СВОЙСТВА ЗНАКА

ЗНАК

ВЫРАЖАЕТ

ОБОЗНАЧАЕТ

СМЫСЛ

ЗНАЧЕНИЕ

Морфемы, лексемы

ЯЗЫКОВЫЕ ЗНАКИ

Морфемы, лексемы

Означающее (экспонент, план

выражения)

Означаемое (план содержания)

Денотат(обозначаемы

й предмет)

Понятие

(мысль,

фиксирующая

свойства и

отношения

предметов)

Синтактика - изучает отношения между знаками.

Семантика - изучает отношения между знаком и

значимым.

Прагматика - изучает отношения между знаками и

теми, кто их использует.

АСПЕКТЫ ЗНАКА

ИНФОРМАЦИЯ – ЭТО лат. informatio, разъяснение, изложение,

осведомленность) — сведения о чѐм-либо,

независимо от формы их представления;

Информация есть средство устранения

неопределенности в знаниях;

Информация – сведения, данные, несущие

значения для конкретного

человека;

под информацией понимаются не сами

предметы и процессы, а их значения и

характеристики (их отображения в виде

чисел, текстов, формул, таблиц, графики), т.

е. говорят о текстовои ̆, графическои ̆информации;

с технической точки зрения, информация –

это сигнал (1,0) или элементарное событие

«да» – «нет», измеряемое в двоичных

единицах – битах (мера Хартли).

: информация доступна:

восприятию (распознавание образов, текстов и т. д.);

передаче (по каналам связи) в виде сигналов

(аналоговых/цифровых);

обработке (преобразованию в удобную форму);

представлению (для демонстрации человеку).

СВОЙСТВА ИНФОРМАЦИИ

ИНФОРМАТИКА

Computer Science наука о закономерностях записи, хранения, переработки, передачи и использования информации с помощью технических средств;

основные понятия:

код, система условных знаков или символов;

алфавит – набор знаков кода;

текст – последовательность знаков данного сообщения;

«кодирование информации» –представление сообщения в форме, удобной для передачи по данному каналу.

КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА

АВТОМАТИЧЕСТКАЯ ОБРАБОТКА ЯЗЫКА

Natural Language Processing, )

графематический/

фонематический анализ языка;

морфологический анализ;

лексико-грамматический анализ языка;

синтаксический анализ, или парсинг;

анализ и моделирование семантической структуры;

задача синтеза языковых элементов, в т. ч. генерация текстов.

разработка и использование искусственных языков, в том числе языков программирования, языков информационных систем;

компьютерная лексикография и терминография.

АВТОМАТИЧЕСКАЯ ОБРАБОТКА ТЕКСТА

машинный перевод;

распознавание и синтез речи;

лингвистические основы информационного поиска;

автоматическое индексирование, реферирование и классификация текстов;

автоматическии ̆ контент-анализ текста;

авторизация текстов;

сетевые технологии представления текста и информации;

корпусная лингвистика

компьютерная лингводидактикуа

.

-одно из направлений прикладной лингвистики,

-изучает лингвистические основы информатики

- аспекты связи языка и мышления,

- моделирования языка и мышления в компьютерной среде с помощью компьютерных программ

КОМПЬЮТЕРНАЯ

ЛИНГВИСТИКА

Computational Linguistics ее интересы лежат в области:

оптимизации коммуникации на основе лингвистических знаний;

создания естественно-языкового интерфейса и технологий понимания языка для общения человека с машиной (одна из основных проблем Искусственного Интеллекта);

создания и моделирования информационных компьютерных систем.

ТЕОРИЯ ЗНАНИЙ

мышление — это

процесс обработки и

порождения знаний.

ЗНАНИЯ

ДЕКЛАРАТИВНЫЕ

(ЗНАНИЕ «ЧТО»)

толкования слов в толковых

словарях.

например: чашка — небольшой

сосуд для питья округлой

формы, обычно с ручкой, из

фарфора, фаянса

ПРОЦЕДУРНЫЕ

(ЗНАНИЕ «КАК»)

последовательность (список) операций, действий, которые следует выполнить

например:

1. Не извлекайте SIM-карту во время передачи и получения данных, это может привести к потере данных и повреждению устройства;

2. Предохраняйте карту от сильных ударов, статического электричества и электрических помех других устройств.

3. Не прикасайтесь к позолоченным контактам

карты памяти пальцами и металлическими предметами, т.д.

1. Фрейм (от англ. frame - рамка)— структура

данных, предназначенная для представления

стереотипной ситуации или

Фрейм – концептуальная структура для

декларативного представления знаний о

типизированной тематически единой ситуации,

содержащей слоты, связанные между собой

определенными семантическими отношениями

СТРУКТУРЫ ЗНАНИЙ

Имя слота Содержание слота

количество ножек четыре, возможно больше,

минимум три

материал дерево, пластмасса, стекло

поверхность прямоугольник, овал, круг, квадрат

наличие тумб факультативно

функции обеденный, журнальный, рабочий и

пр.

ФРЕЙМ «СТОЛ»

2. Сценарий – концептуальная структура для процедурного представления знаний о стереотипной ситуации или стереотипном поведении.

Элементы сценария – шаги алгоритма или инструкции, например: «сценарий посещения ресторана» -

«Вы входите в ресторан и находите свободный столик — иногда сами, а иногда ждете, чтобы вам его указали. Садитесь и ждете. Через некоторое время подходит официант и подает вам меню. Официант уходит, потом возвращается, чтобы принять заказ. Немного погодя он приносит кушанья, и вы едите. Затем официант вручает вам счет, и вы платите или ему самому, или в кассу. Оставляете чаевые, даже если еда вам не понравилась».

СТРУКТУРЫ ЗНАНИЙ

3. План - результат применения сценария к конкретной проблемной ситуации.

План включает последовательность процедур, переводящих начальное состояние системы в конечное, и ведущих к достижению определенной подцели и цели.

План связан с конкретной ситуацией, конкретным исполнителем и преследует достижение определенной цели. Выбор плана регулируется ресурсами исполнителя.

СТРУКТУРЫ ЗНАНИЙ

моделирование общения;

моделирование структуры сюжета;

гипертекстовые технологии представления текста.

ТРИ СФЕРЫ КОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ

Морфология сюжета (при обилии персонажей и событий волшебной сказки количество функций персонажей ограничено: отлучение персонажа сказки из дома; запрет герою на действие; нарушение запрета; получение вредителем информации о жертве и т.д.)

Синтаксис сюжета (база - «сюжетные грамматики» (story grammars), чья основа – событие и эпизод, например, текст признания преступника: {преступник → замысел → орудие убийства → место → убийство → обнаружение трупа → поиски преступника} → {обнаружение трупа → обнаружение орудия убийства → поиски преступника})

Когнитивный подход (сюжет – последовательная смена когнитивно-эмоциональных (аффективных) состояний персонажей, оцениваемых в аффективных сюжетных единицах положительно (+) или отрицательно (—))

МОДЕЛИРОВАНИЕ СТРУКТУРЫ СЮЖЕТА

МОДЕЛЬ СТРУКТУРЫ СЮЖЕТА

(когнитивный подход, где m – мотивация, a – актуализация, t – прекращение одного

действия другим, e – эквивалентность аффективной каузальной связи между персонажами)

Делла − {проблема подарка}

↓mM1 {осознание проблемы}

↓аМ2 {намерение продать волосы}

+ {продажа волос, получение денег}↓m

M3 {намерение купить цепочку}↓а

+ {покупает цепочки}↓t

+{делает Джиму подарок}− {получает гребни}

↓t− {видит ненужность цепочки}↓t+ {видит любовь Джима}

Джим − {проблема подарка}

↓mM1 {осознание проблемы}

↓аМ2 {намерение продать часы}

+ {продажа часов, получение денег}↓m

M3 {намерение купить гребни}↓а

+ {покупает гребни}↓t

+{делает Делле подарок}− {получает цепочку}↓t− {видит ненужность гребней}↓t+ {видит любовь Деллы}