mas

В.Городецкий (СПИИРАН). Многоагентные системы. Екатеринбург, 25 ноября 2011 г.

МНОГОАГЕНТНЫЕ СИСТЕМЫ: ОБЗОР СОВРЕМЕННОГО СОСТОЯНИЯ ТЕОРИИ И ПРАКТИКИ

В.И. ГородецкийСанкт-Петербургский институт информатики и автоматизации РАН

[email protected] http://space.iias.spb.su/ai/gorodetsky


СодержаниеСодержание

1. Что же это такое – мультиагентная система?1. Что же это такое – мультиагентная система?2. Из чего состоит мультиагентная система? Пример архитектуры 2. Из чего состоит мультиагентная система? Пример архитектуры

самоорганизующейся МАСсамоорганизующейся МАС3. Что такое агент?3. Что такое агент?4. Мультиагентные системы4. Мультиагентные системы5. Коммуникации агентов5. Коммуникации агентов6. Агентские платформы6. Агентские платформы7. Модели координации поведения агентов7. Модели координации поведения агентов8. Области приложений многоагентных технологий и систем8. Области приложений многоагентных технологий и систем9. Многоагентные приложения, которые были разработаны в лаб. 9. Многоагентные приложения, которые были разработаны в лаб.

интеллектуальных систем СПИИРАН интеллектуальных систем СПИИРАН 1010. . Современные направления исследований в области теории и Современные направления исследований в области теории и

практики МАСпрактики МАС


1. Что же это такое – мультиагентная система1. Что же это такое – мультиагентная система??


Как устроена многоагентная системаКак устроена многоагентная система??

МАС – это множество агентов (посредников), реализующих парадигму «вычисления на основе взаимодействий»

(каждый агент что-то знает и что-то умеет, а вместе они могут очень много!)

Агенты

МАС есть сеть слабо связанных решателей частных проблем (агентов), взаимодействующие для совместного решения задач,

которые не под силу ни одному отдельному решателю

Платформа


Характерные черты многоагентных системХарактерные черты многоагентных систем

Основные признаки программ, называемых многоагентными1. Каждый агент имеет неполную информацию о среде, имеет собственную

модель внешней среды и ограниченные возможности по решению "своей" проблемы.

2. Глобальное управление агентами ограничено или отсутствует. 3. Данные, которые используются агентами, децентрализованы и часть их

может являться "собственностью" отдельных агентов.4. Агенты функционируют в асинхронном режиме. 5. Агенты координируют свои действия путем обмена сообщениями на языке

высокого уровня

МАС есть сеть слабо связанных решателей частных проблем (агентов), которые способны решать задачи которые не под силу ни одному отдельному решателю


Существует ли область науки, специально Существует ли область науки, специально занимающаяся проблемами МАС?занимающаяся проблемами МАС?

Мультиагентные системы – это область исследований и разработок, относящаяся к информационным технологиям

В ней можно выделить самостоятельные объекты исследования, а именно, мультиагентную архитектуру и мультиагентную технологию.

Как и любая другая ИТ, она активно использует методы, модели и другие результаты и решения из самых различных областей.

Но специфика их использования в рамках мультиагентной архитектуры требует большого объема новых исследований в различных областях:≠ специфических, e.g. распределенных моделей рассуждений, ≠ языков спецификации моделей и языков переговоров агентов,≠ протоколов взаимодействия (обмен информацией, решение задач), ≠ теории доверия (как совместить открытость и безопасность?), ≠ моделей коллективного поведения (роботов)≠ распределенных и P2P алгоритмов, ≠ методов машинного обучения ≠ теории игр и многих других.Соответствующие исследования ведутся специалистами в области МАС


В чем секрет популярности парадигмы В чем секрет популярности парадигмы мультиагентной системымультиагентной системы??

– МАС-технология дает возможность создания интеллектуальных компьютерных систем нового поколения, построенных на принципах самоорганизации, характерных для поведения живых систем.

– МАС строится как множество автономных агентов, взаимодействующих на языке высокого уровня, способных воспринимать и коллективно оценивать ситуацию, принимать решения в реальном времени и обучаться на основе обратной связи, отражающей качество управления. Это принципиально новое качество!

– В такой системе решение любой сложной задачи и используемые для этого алгоритмы могут формироваться за счет взаимодействия большого количества агентов, непрерывно взаимодействующих друг с другом, а также координирующих коллективное поведение.

– Это позволяет мультиагентной системе решать задачи самой высокой сложности, не поддающиеся решению другими подходами.


• Иерархии больших программ • Последовательное

выполнение операций • Инструкции сверху вниз • Централизованные решения • Управляются данными • Предсказуемость • Стабильность • Централизованное управление

Большие сети малых агентов

Параллельное выполнение операций

Переговоры на языке высокого уровня

Распределённые решения Управление от знаний Самоорганизация Эволюция

Классические системы Мультиагентные системы

Особенности мультиагентных системОсобенности мультиагентных систем

Новый агент


2. Из чего состоит мультиагентная система? 2. Из чего состоит мультиагентная система? Пример архитектуры самоорганизующейся МАСПример архитектуры самоорганизующейся МАС


Архитектура самоорганизующейся Архитектура самоорганизующейся P2P P2P МАСМАС


Эксперименты: Топология ГРИДЭксперименты: Топология ГРИД

Число узлов 30-50, связность (число соседей)=[3 — 6]


Некоторые результаты экспериментовНекоторые результаты экспериментов

Входной поток заявок. Приблизительно 1/3 всех входящих задач попадает на 11 и 13 узлы

Среднее время ожидания задач в очередях

Компьютеры временно недоступны

Этот пик времени ожидания в очереди 20 узла

соответствует выходу из сети 13 узла


Некоторые результаты экспериментовНекоторые результаты экспериментов

Весь поток заявок поступает на 8-ой узел

Среднее время ожидания заявок в очередях


3. Что такое агент?3. Что такое агент?


Что такое агентЧто такое агент??

“Агент - это автономная компьютерная программа, которая находится в некоторой среде, и которая способна к автономному поведению, направленному на реализацию целей, ради которых она (программа) была создана".

“Программный агент - это автономная программа, которая находится в некоторой среде, от которой она получает данные, которые отражают события, происходящие в среде, интерпретирует их и воздействует на среду “ [FIPA].


Агент – это программа–посредник и не толькоАгент – это программа–посредник и не только

Агент – это программный посредник между человеком и внешней средой

Агент

Поиск информации в Интернет (музыка, кино, расписание самолетов, ресторан, научная литература,…)

Запуск программ и управление ими

Удаленное управление домашними устройствами (‘Smart Home”)

……………..

Удаленная работа на бирже

Автоматическое управление электронной почтой (сортировка писем, напоминание, …)Покупки в Интернет - магазине

Агент – это программный посредник между человеком и другими программами, или посредник между программами, или посредник между программами и внешней средой или посредник между человеком и внешней средой


Агент

S

A

T

D

perceive

actinfer

select

Упрощенная модель агентаУпрощенная модель агента

A=<D, T, A, perceive, infer, select, act>perceive: S T–модель среды, которой обладает агент. Модель среды, используемая агентом, лишь приблизительно отвечает ее реальному состоянию;infer: DT D– задает изменение знаний агента о внешней среде после получения о ней информации с помощью функции восприятия perceive;select: DT A– определяет выбор действий агента после получения информации о внешней среде в контексте нового состояния базы данных D и состояния среды T;act: A S S, – определяет изменение состояние внешней среды после воздействия на нее агента.

S – множество состояний внешней среды (агент существует в среде),D – база данных, где хранятся знания агента, T – множество состояний внешней среды, которое агент способен воспринимать, A – множество действий, которое способен исполнять агент.


Свойства интеллектуального агентаСвойства интеллектуального агента

Автономность–способность функционировать без вмешательства человека, осуществляя самоконтроль над своими действиями и внутренним состоянием.

Общественное поведение (social ability)–способность функционировать в сообществе агентов, обмениваясь сообщениями с помощью некоторого языка коммуникаций.

Реактивность (reactivity)– способность воспринимать состояние среды и своевременно реагировать на ее изменения.

Проактивность (proactivity) - способность действовать в упреждающей манере, в частности, генерировать новые цели и действовать рационально для их достижения, а не только реагировать на события.


Ментальные свойства агентаМентальные свойства агента

ПоведенческиеЗнания – постоянная часть знаний агента о себе, о среде, и о других агентах. Убеждения – возможно, недостоверные знания агента о внешней среде и о других

агентах, которые могут изменяться во времени и становиться неверными.

МотивационныеЖелания–состояния, достижение которых является для агента желательным. Они

могут быть противоречивыми, но агент может выбирать только их непротиворечивое подмножество.

Намерения–то, что агент обязан сделать в соответствии со своим выбором или в силу своих обязательств по отношению к другим агентам.

Цели–конкретное множество конечных и промежуточных состояний, достижение которых агент считает реализацией своих намерений,

Обязательства–те задачи, которые агент берет на себя по просьбе или по поручению других агентов в рамках кооперативных целей.


Другие свойства интеллектуального агентаДругие свойства интеллектуального агента

Мобильность (mobility) – способность агента мигрировать по сети (e.g., в сети Internet) в поисках необходимой информации или сервисов.

Благожелательность (benevolence) – готовность агентов помогать друг другу, что предполагает отсутствие у агентов конфликтующих целей.

Правдивость (veracity) – свойство агента не манипулировать информацией, про которую ему заведомо известно, что она ложна.

Рациональность (rationality) – свойство агента действовать так, чтобы достигнуть своих целей, а не избегать их достижения в рамках своих знаний и убеждений.


Агенты и объектыАгенты и объекты

Объект является пассивной программной сущностью. Его методы вызываются некоторой внешней программной сущностью, и объект выполняет запрос безоговорочно

Агент является активной сущностью. Обращение к агенту- это «просьба», которую он может и не исполнять на основе принятых в МАС соглашений о взаимных обязательствах, в зависимости от своего внутреннего состояния и т.п., т.е. это решается агентом–потенциальным исполнителем.

1. Объект не может реагировать сам на события внешнего мира. Однако последние версии UML и Java обеспечивают возможность «слушать» внешний мир. Поведение объекта предопределено.

2. Объект не может запускать процессы по собственной инициативе.

1. Агент может не только неоднозначно реагировать на специфические запросы, представленные во входящем сообщении, но также и самостоятельно реагировать на события во внешнем мире используя механизм «подписки» (“subscribe”), и/или информацию от сенсоров и принимать решение о выборе того или иного поведения.

2. Агент может запустить процесс по собственной инициативе (используя свои проактивные механизмы).

Объекты АгентыПассивность - активность

Характер поведения



3. Детерминированная реакция. Если объект говорит «нет» (не реагирует на запрос), то это исключительная ситуация, требующая специальной обработки 4. Объект не может объявлять свои интерфейсы. ОО языки позволяют только спросить объект о его интерфейсах 5. Объект может поддерживать только одну нить исполнения

3.Недетеминированная реакция. Агент может отказаться выполнять запрос (реагировать на сообщение), т.е. он может сказать «Нет», основываясь на соглашениях4. Агент может объявлять свои сервисы и их интерфейсы, используя механизм сервисов белых и желтых страниц, 5. Агент может поддерживать сразу много нитей исполнения

Объекты не могут инициировать взаимодействие

Агенты могут инициировать взаимодействие.

Объекты АгентыХарактер поведения (продолжение)

Интерактивность



Объекты не поддерживают асинхронный режим.

Коммуникации агента обычно асинхронные и поддерживают параллельную обработку. Агент может поддерживать сразу несколько диалогов, решая самостоятельно вопрос об очередности участия в них (в зависимости от своего внутреннего состояния). Агент сам решает, как чередовать диалоги с решением задач (когда переходить от «внешнего» поведения к «внутреннему»)

Объект имеет только один метод на каждый тип входного сообщения, и формат сообщения должен строго соблюдаться.

Содержание входного сообщения агента имеет более свободную форму в виде строки на языке высокого уровня

Объекты Агенты

Асинхронность работы

Формат сообщений


Агенты и объекты Агенты и объекты

Объект создается классом и не изменяется далее. Хотя понятие роли используется в ОО и поддерживается некоторыми языками, но далеко не всемиАтрибуты объекта задаются его классом. Объект не может менять свои атрибуты в процессе работы

Агент же может исполнять множество различных ролей в зависимости от контекста задачи

Атрибуты агента задаются его классом. Если агент снабжен способностью к обучению, то он может менять свои атрибуты в процессе работы.

Объект не может мигрировать по сети. Агент может быть обеспечен способностью к миграции по сети.

Объекты АгентыСпособность к обучению

Способность к миграции

Агенты и объекты могут сравниваться, но не противопоставляться друг другу. Некоторые компоненты МАС реализуются как объекты.

МАС всегда имеет внешние компоненты, которые тоже пишутся в ОО стиле. Инфраструктура (агентская платформа) тоже может быть

реализована в объектном стиле.


Классификация агентов по типу формальной Классификация агентов по типу формальной модели, лежащей в основе программного агентамодели, лежащей в основе программного агента

1. Реактивные агенты [Brooks-86],

В них решения вырабатываются на основе таблиц "ситуация–действие", а формальной моделью таких агентов является конечный автомат.

Базовая идея: интеллект искусственной системы (агента) возникает в результате взаимодействия между системой и средой , в которой эта система функционирует (как в живой системе). Поэтому интеллектуальное поведение агента возникает как композиция более простых актов поведения в среде, структурированных некоторым образом. Интеллект не является свойством некой абстрактной системы типа системы автоматического доказательства теорем или подобной ей.

Архитектура реактивного агента не использует символьных представлений или моделей рассуждений и в общем случае представляет собой описание множества вариантов поведения ("модулей поведения”), решающих некоторое множество задач. Модули поведения обычно представляются моделями конечных автоматов с внутренними состояниями и обратной связью с ранее выполненными актами поведения. Обычно эти автоматы структурированы в несколько уровней, соответствующих уровням абстракции поведения.

В практических реализациях эта архитектура наиболее востребована[Brooks-86] Intelligence without representation. Artificial Intelligence, vol.47. 1991, 139-159 .


Реактивная архитектураРеактивная архитектура для управления поведением для управления поведением автономного робота (Subsumption-архитектура)автономного робота (Subsumption-архитектура)

Модули функционируют параллельно – каждый из них получает сенсорные данные и генерирует действия для приводов робота. Взаимодействия между модулями предопределены: они фиксированы и построены на отношении подчиненности. Для исполнения могут быть выбраны одновременно несколько действий. В этом случае приоритет отдается решениям, принятым нижними уровнями, а решения более высоких уровней игнорируются.

Агенты, имеющие такую архитектуру, демонстрируют возможность решать сравнительно сложные задачи.

Уровень 0 Исполнительные механизмы

Сенсоры

Уровень 1

Уровень 2

Уровень 3Уровень, обеспечивающий

достижение цели

Уровень, обеспечивающий избежание столкновений


Недостатки реактивной архитектурыНедостатки реактивной архитектуры

• Необходимость полного ситуационного определения всех возможных действий агентов (автономных действий, действий по взаимодействию в соответствии с протоколами)

• Агенты без модели среды, а потому они должны иметь достаточно информации от локальной среды

• Сложность создания обучающихся агентов• Сложность в проектировании агентов с многочисленными вариантами

поведения (динамическим взаимодействием)


Архитектура, управляемая целями Архитектура, управляемая целями ((Belief – Desire – Intention, BDI)Belief – Desire – Intention, BDI)

Основная мотивация создателей BDI – архитектуры [Bratman-87] – это желание смоделировать "практические рассуждения" человека в тех ситуациях, в которых приходится принимать решения агенту. Поэтому эта архитектура во многом строится по аналогии с процессами рассуждений и принятия решений человеком.

Для этого необходимо, чтобы BDI агент обладал необходимыми знаниями, информацией о среде (убеждениями), а также мощными механизмами рассуждений о различных компонентах ментальной модели, которые позволят ему динамически формировать свое поведение в соответствии с его базой знаний (логика знаний), намерениями (логика намерений), множеством целей (механизм планирования шагов по достижению цели).

Формальные модели знаний, убеждений, а также соответствующие механизмы рассуждений строятся на основе логических языков, которые включают в себя расширения модальных и темпоральных логик с семантикой возможных миров [Hintikka, Kripke].


Архитектура, управляемая целями Архитектура, управляемая целями ((Belief-Desire-Belief-Desire-Intention,Intention, BDIBDI))

Процесс принятия решений Выполняется с использованием механизмов вывода на основе ментальных понятий

агента, представленных некоторыми структурами знаний. Поскольку эти ментальные понятия связывают мотивационные и поведенческие понятия, то эта архитектура называется также архитектурой, управляемой целями (goal - oriented).

Схема поведения BDI - агента

1. На основе приоритетов на желаниях (desire) агент выбирает конкретное желание,2. Формулирует намерение (intention), которое реализует это желание, 3. Берет обязательство (commitment) действовать соответственно намерению,4. Выбирает конкретную цель (goal), реализующую его намерение, (1 -4: этапы целеполагания – deliberation)5. Строит деревья подцелей, ведущих к реализации намерения, и выбирает одно их них6. Выбирает очередную подцель из дерева целей и7. Выбирает действие, ведущее к ее достижению. (5 – 7: этапы рассуждений о способах достижения цели и подцелей, means-ends

reasoning ) Когда агент достигает цели, или убеждается в ее недостижимости или изменяет

приоритеты на множестве желаний, агент повторяет свое поведение в соответствии с тем же стандартным циклом.

A.Rao, M.Georgeff. BDI Agents: From Theory to Practice. Proc. of the 1st Int. Conf. on MAS, San Francisco, 1995.


Архитектура, управляемая целями: намерениеАрхитектура, управляемая целями: намерениеПонятие намерения является центральным для BDI - агента

Если достижение некоторого намерения принято в качестве цели действий, то агент стремится достичь этой цели всеми доступными ему путями до тех пор, пока он не убедится, что

(1) либо эта цель уже достигнута , (2) либо цель стала недостижимой, (3) либо цель перестала быть актуальной.

Информация о статусе цели может быть сформирована как самим агентом по результатам восприятия и обработки информации из внешней среды, так и получена им от других агентов. Например, в примере с футболом роботов, агент, принявший намерение "отобрать мяч" не должен отказываться от этого намерения до тех пор, пока

a. либо он не овладеет мячом ("цель достигнута"), б. либо другой игрок своей команды не овладеет мячом ("цель нерелевантна), в. либо мяч не выйдет за пределы поля ("цель недостижима"), г. либо противник не забьет гол ("цель нерелевантна ситуации"), и т.д.

Важным свойством намерения является его тесная связь с понятием "убеждение". Например, любая опция, принимаемая агентом в качестве намерения, должна быть такой, относительно которой агент убежден, что он принципиально достижима.


Почему в Почему в BDIBDI - модели агента - модели агента ““не работаетне работает”” классическая логикаклассическая логика??

ПримерПусть в убеждениях агента истинны такие факты: 1. p: "мяч находится у другого игрока своей команды ", 2. c: "мячом владеет своя команда" и 3. q: "у меня мяча нет".

Очевидно, истинной является также формула " c поскольку p", где предикат «поскольку» является одним из конструктивов, который может спользоваться в схемах рассуждений с ментальными понятиями.

В классической логике в любую формулу вместо любой ее подформулы можно подставлять другую подформулу, которая истинна везде, где истинна исходная подформула (свойство экстенсиональности)

Однако если в формуле "c поскольку p", использовать подстановку истинной подформулы q вместо истинной подформулы p, то в результате получается формула “c поскольку q", про истинность которой уже ничего определенного утверждать нельзя.

Таким образом, предикат "поскольку" не является экстенсиональным, а потому не может быть представлен в языке классической логики. Таких примеров можно привести много [van der Hoek-01].


Общее сравнение реактивной и Общее сравнение реактивной и BDI - BDI - архитектурархитектур

– Реактивные агенты принимают решения на основе локальной информации, которая отвечает текущему моменту времени. По этой причине возникают трудности при принятии решений в случаях, когда необходимо принимать в расчет информацию, относящуюся к различным моментам времени, а также информацию о поведении других агентов. Эти проблемы решаются на мета – уровне за счет протоколов взаимодействия. Кроме того, реактивная архитектура неприемлема в том случае, когда агент должен обучаться коллективному поведению.

– Поведение отдельного BDI агента достаточно сложно согласовать с поведением других агентов. Главной особенностью систем, состоящих из таких агентов, является отсутствие мета модели уровня всей многоагентной системы и, соответственно, отсутствие явно определенных протоколов взаимодействия агентов в различных задачах. Платой за это является высокая сложность отдельных агентов, трудность разработки, а особенно отладки поведенческих аспектов, причем как на уровне отдельных агентов, так и на уровне их коллективного поведения в рамках многоагентной системы в целом.

– Обычно используется гибридная архитектура


Гибридная архитектураГибридная архитектура

Рассматривается учеными как наиболее перспективный на сегодняшний день подход

Комбинирует в себе подходы, используемые в реактивных и BDI- архитектурах

Очевидный подход – строить агенты из двух (и более) подсистем:− BDI-компонента, содержащая символьную модель мира для

принятия глобальных решений− Реактивная для реагирования на происходящие события в системе

Это приводит к идее многоуровневой архитектуры ( e.g., InterRap-архитектура).

В такой архитектуре подсистема контроля агента многоуровневая, каждый вышележащий уровень работает с более абстрагированной (и агрегированной) информацией

Ключевая проблема гибридной архитектуры – управление взаимодействием между разными уровнями


Наиболее популярные конкретные архитектурыНаиболее популярные конкретные архитектуры


Оценки агентских архитектурОценки агентских архитектур


Пример архитектуры: Архитектура Пример архитектуры: Архитектура CougaarCougaar (разработана (разработана DARPADARPA по заказу Минобороны США) по заказу Минобороны США)

Типовой агент

Обработчики

Клиент приема/ передачи сообщенийТаймеры

Планировщик Доска объявлений

Подключаемые модули

Сервер типа «доска объявлений» - осуществляет обмен данными между агентами, а также с «внешним миром». Клиент приема/передачи сообщений - обеспечивает транспортировку сообщений Планировщик - управляет порядком выполнения подключаемых модулей Таймеры - используются подключаемыми модулями при обращениях к планировщику Подключаемые модули - готовые программы, разрабатываемые для каждого конкретного приложения; подключаются к агенту или заранее, или «на лету» (сервисы, доступные другим агентам, или индивидуальные функции агента. Агент строится на основе COM–технологии, позволяющей расширять множество сервисов или заменять существующие сервисы другими программными реализациями при минимальном изменении программного кода

Разработана для широкого круга военных приложений, в частности, для задач военной логистики.


Архитектура Архитектура CougaarCougaar – одна из наиболее передовых – одна из наиболее передовых разработок в области МАС (так все полагают)разработок в области МАС (так все полагают)

Причины популярности Cougaar–архитектуры – достаточная простота и понятность, что достигается за счет

модульности ее построения; – простота конфигурирования и развертывания приложений в

компьютерной сети;– возможность ее интеграции с другими технологиями (например, с

технологиями WebLogic, J2EE, Spring, JADE, и др.); – высокая живучесть прикладных систем такой архитектуры;– поддержка множества транспортных протоколов (Java RMI, JMS, HTTP

и IIOP).– поддержка динамического назначения агентам новых ролей (за счет

использования технологии подключаемых модулей), что существенно при формировании виртуальных организаций и управлении ими;

– возможность динамического формирования коалиций агентов, которые могут взаимодействовать попарно на основе P2P технологии взаимодействия


4. Мультиагентные системы4. Мультиагентные системы


Мультиагентная система (напоминание)Мультиагентная система (напоминание)

МАС– это множество агентов (посредников), реализующих парадигму «вычисления на основе взаимодействий»

Платформа

Агенты

Два новых аспекта:1. Для чего агенты взаимодействуют и какова модель их взаимодействия?2. Как это взаимодействие реализуется (программно-коммуникационная инфраструктура для поддержки взаимодействия –платформа агентов)?


Виды взаимодействия агентовВиды взаимодействия агентов

Взаимодействие агентов определяет их коллективное поведение, которое может иметь различный характер.

Цель взаимодействия в сообществе агентов МАС — координация совместных действий.

Координация

СоперничествоКооперация

Планирование

ЦентрализованноеРаспределенное

Переговоры

− Кооперация для решения общей задачи− Кооперация для улучшения качества

решения задач отдельных агентов

− Кооперация может выполняться специальным агентом (агентами)

− Кооперация может выполняться в P2P варианте.

Характер кооперации определяется взаимными обязательствами (commitments).

Реализуется на основе


Типы объединений агентов, связанных Типы объединений агентов, связанных взаимными обязательствамивзаимными обязательствами

Альянс: взаимные обязательства агентов относительно слабы: агенты "помогают" друг другу не в ущерб собственным интересам.

Коалиция: агенты, объединяются в группы с достаточно "сильными" взаимными обязательствами, как правило, чтобы помочь друг другу "выстоять" в конкурентной борьбе с другими агентами и/или коалициями. Агенты коалиции могут не иметь общих целей; каждый из агентов имеет четко оговоренные условия, определяющие, в каких условиях и каким образом они помогают друг другу. Обычно коалиции создаются для обмена ресурсами, необходимыми им для решения своих задач. Пример: МАС, планирующие деятельность транспортных компаний, объединяющихся для получения выгодных контрактов в условиях конкурентной борьбы.

Команда: группа агентов решает общую задачу и при этом действует как один агент. Ни у одного агенты не существует каких-либо собственных глобальных целей, отличных от цели команды и динамически формируемые локальные цели направлены на достижение общей цели команды. Примером такого объединения агентов являются команды футбола роботов (RoboCup), группа военных вертолетов, выполняющих некоторую боевую задачу, соперничество команды хакеров и системы защиты компьютерной сети и др.


Роли агентов в коллективном поведении Роли агентов в коллективном поведении

Роль – это задачи, которые решает агент в некотором функциональном контексте (в более общей задаче, сценарии, в протоколе), и цели, за достижение которых агент несет ответственность перед сообществом агентов, членом которого он является ( роль авиадиспетчера и роль пилота, и т.п.).

Использование понятия роли в МАС позволяет:− Сократить общее число сценариев, которые нужно хранить в базе знаний − Динамически перераспределять роли между агентами, оптимизируя работу

системы

Характеристики роли1. Цель, которая должна быть достигнута в результате ее исполнения агентом. 2. Множество ролей, с которыми данная роль взаимодействует в сценарии

коллективного поведения 3. Протокол его взаимодействия с другими ролями, участвующими в коллективном

поведении. Протокол включает получение сообщений от других ролей сценария и запуск механизмов реакции на них (сценариев «внутреннего» поведения)

4. Ресурсы, необходимые для исполнения сценария, предопределенного для роли. 5. Множество переменных, которые описывают динамику поведения агента с

заданной ролью в процессе ее исполнения


Два взгляда на модель многоагентной системыДва взгляда на модель многоагентной системы

Поведение агента в МАС1. Внутреннее поведение, которое «скрыто» от других агентов системы;2. Внешнее поведение, которое выражает взаимодействие агентов и

представляется либо отдельными диалогами (обмена сообщениями) между агентами – это в BDI-архитектуре , либо в форме протокола взаимодействия, в котором могут участвовать два и более агента.

Два взгляда на модель МАС– С акцентом на мощный интеллект агентов и «богатое» внутренне поведение,

когда коллективное поведение возникает как результат рассуждений агентов, которые решают, когда и с кем инициировать диалоги (BDI - агенты с мощными базами знаний, убеждений и механизмами вывода; внешнее поведение состоит из диалогов между парами агентов)

– С акцентом на явное описание организационной структуры МАС и взаимодействия агентов. Общественное поведение агентов представляется явно в форме иногда достаточно сложного протокола, в котором агентов участвуют как исполнители конкретных ролей (более простые BDI – агенты, реактивные или гибридные агенты)

Для каждого типа МАС разработаны специфические методологии разработки.


5. Коммуникации агентов многоагентной системы5. Коммуникации агентов многоагентной системы


Языки и протоколы обмена сообщениями (1)Языки и протоколы обмена сообщениями (1)

Способность агента к коммуникациям (обмену сообщениями) с другими агентами, является необходимым условием его эффективного функционирования в сообществе других агентов Агенты взаимодействуют путем обмена сообщениями (путем коммуникационных актов) следующих типов:

− Информирующие (например, об окончании выполнения некоторого сценария для синхронизации с работой другого агента)

− Директивные (например, указание от агента «Авиадиспетчер» экземпляру агента «Пилот» о смене эшелона)

− Обязательства (например, обязательство экземпляра агента «Пилот» о переходе на круг ожидания, сообщаемое другим экземплярам агента того же типа или агенту «Авиадиспетчер»)

− Выразительные (например, агент выражает свое отношение к другому агенту, например “Спасибо!”)

− Декларативные (сообщение некоторого факта, который побуждает агента - адресата предпринимать некоторые действия)



В основу коммуникации агентов положена теория речевых актов, которая была разработана для анализа коммуникаций между людьми.

Речевой акт человека рассматривается как нечто, влекущее действие, например просьба, предложение, подтверждение и ответ.

KQML (Knowledge Query and Manipulation Language) – формальный язык описания формата («конверта») сообщений, разработанный по заказу DARPA в 1990 году, включает в себя

• язык, задающий формат сообщения, и • группу протоколов, поддерживающих процесс коммуникаций на

этом языке. Сообщения агентов описываются на другом формальном языке.

Неоднозначность понимания сообщений агента устраняется введением в этот язык специальных описателей типа сообщения, которые называются "перформативами" (performatives). Примеры перформативов: служебные слова promise, request, tell, demand и др.



Три аспекта коммуникаций синтаксический (как структурированы символы, описывающие

коммуникационный акт), семантический (что обозначают символы) и прагматический (каким образом интерпретируется сообщение).

Типы сообщений запросы, утверждения, команды и пересылаемые сообщения или их множество.

KQML отделяет коммуникационный протокол от протокола обработки самого сообщения, что позволяет сделать коммуникационный протокол независимым от содержания сообщения и используемой онтологии. При этом протокол обработки содержит все необходимое для правильной интерпретации сообщения.


KQML–протокол коммуникаций KQML–протокол коммуникаций

Механизм коммуникаций

Синтаксис сообщения

Семантика сообщения

На нижнем (транспортном) уровне протокол описывает, механизм пересылки сообщения, тип сообщения, а также имя отправителя и получателя.

На среднем уровне описывается синтаксис сообщения (см. ниже).

На верхнем уровне описывается семантика (содержание) сообщения.

Протокол описывается структурой данных, которая содержит следующие поля:

(1) отправитель; (2) получатель; (3) язык протокола; (4) функции кодирования и декодирования

сообщений и (5) действия, которые должны быть предприняты

получателем.


Синтаксис языка KQMLСинтаксис языка KQML

Базируется на хорошо известных S-выражениях, которые использовались в языке LISP.

Стандартная синтаксическая структура описания сообщения на языке KQML:(KQML performative : sender <слово> : receiver <слово> : language <слово> : ontology <слово> : content <выражение>…)В качестве перформативов используются,служебные слова ask-all, ask-one,

broadcast, discard, recommend-all, register, tell, и др. Язык KQML допускает введение новых перформативов, если в них необходимость появляется в связи с особенностями приложения.

Перформатив, а также служебные слова sender, receiver моделируют речевой акт и позволяют полностью описать ту часть сообщения, которая не зависит от содержания сообщения. (http://www.fipa.org)


Семантика языка Семантика языка KQMLKQML

Семантика сообщения описывается полями после следующих служебных слов:

language (указывает язык, на котором написано сообщение) и ontology (указывает словарь или онтологию, которая использована при записи

сообщения, задавая таким образом смысл компонент сообщения). Эти две компоненты KQML сообщения принято называть "оберткой" или

"конвертом", в который упаковано сообщение. Все, что формирует этот "конверт" относится к среднему уровню языка KQML.

content (текст сообщения). Далее за этим служебным словом следует часть, которая описывает само содержание сообщения:

Недостаток языка KQML: он имеет неформально определенную семантику. По этой причине сейчас в качестве стандарта принят язык FIPA ACL (Agent Communication Language) , который является развитием языка KQML.

FIPA ACL добавляет строгое и полное определение протоколов посылки/приёма сообщений, а также вносит некоторые незначительные изменения в сам язык. Вместо термина "перформатив" в FIPA ACL используется термин "коммуникативный акт". Он также поддерживает независимость коммуникационного протокола от содержания сообщения и языка, на котором оно представлено.


Отличия языка Отличия языка FIPA ACL FIPA ACL от языка от языка KQMLKQML (1) (1)

Отличия по заданию семантики языка В FIPA ACL строго определена семантика языка, которая задается с помощью

специального языка, названного SL. В этом языке семантика задана в терминах модальной логики с кванторами и с использованием BDI-подобных модальных операторов: "убеждения" (beliefs–B), "желания" ("desires"–D), "убеждения с неопределенностью" ("uncertain beliefs"–UB) и "намерения" ("intentions", "persistent goals"–PG). В этом языке возможно представление пропозициональных формул, объектов и действий.

Синтаксические отличия FIPA ACL от KQML Они включают в себя замену части KQML – перформативов на другие

перформативы (с другими именами и более четко определенной семантикой). Например, если требуется передавать несколько сообщений в ответ на один входящий запрос, то KQML использует несколько примитивов для поддержки таких запросов. Однако, ответы на такие запросы, как правило, требуют большого разнообразия форм (структур) представлении результатов. В FIPA ACL для этих целей используется упрощенный типовой запрос, реализуемый перформативом "request" с перекладыванием функций представления результатов на язык описания содержания сообщения.

KQML и FIPA ACL являются языками интерпретирующего типа


Языки описания содержания сообщенийЯзыки описания содержания сообщений

Для описания содержания сообщения могут быть использованы различные языки.

Язык KIF – язык представления знаний, специально разработан для описания содержания сообщений. Является языком исчисления предикатов первого порядка, представленного синтаксически в префиксной форме. Допускает введение любых предикатов, использует логические связки и кванторы. Рассчитан на поддержку немонотонных рассуждений, описание отношений, функций, объектов, мета–знаний (знаний о знаниях). Допускает использование процедур, например, скриптов, описывающих поведение агентов.

Однако этот язык пока не имеет реализации и остается только формализмом для описания содержания сообщений.

На практике вместо языка KIF используются языки описания онтологий, в частности, такие, как XML, RDF, OWL и DAML.


6. Агентские платформы


Агентская платформа: Агентская платформа: FIPA FIPA абстрактная абстрактная архитектураархитектура (основные сервисы и функции)(основные сервисы и функции)

FIPA платформа агентов

Агент

Директорий агентов (Белые

страницы)

Директорий сервисов (желтые

страницы)

Транспорт сообщений (сервис доставки)

Агент Агент Агент

Канал коммуникаций

Система управления сервисами:Регистрация;Де-регитстрация;Модификация;Поиск сервисов (по их описанию);Выдача описаний сервисов

AMS Агент Directory Facilitator Агент

Агент Агент Агент Агент Агент Агент

Система управления агентамиРегистрация;Де-регитстрация;Модификация;Поиск агентов (по их характеристикам));Выдача адресов агентов


Абстрактная архитектура агентской платформы Абстрактная архитектура агентской платформы FIPAFIPA

Для того, чтобы конкретная архитектура была совместима с абстрактной архитектурой FIPA, она должна обладать следующими обязательными механизмами (сервисами) :

1. Механизм (сервис) для регистрации агентов;

2. Механизм (сервис), с помощью которого любой зарегистрированный агент может получить информацию о других агентах и предоставляемых им сервисах, а также

3. Механизм передачи сообщений от одного агента к другому.

Эти сервисы должны быть явно описаны в терминах соответствующих элементов абстрактной архитектуры FIPA.


Сравнение Сравнение FIPA-FIPA-совместимых агентских платформсовместимых агентских платформ


Платформа Платформа FIPA-OS (FIPA-OS (FIPA Open SourceFIPA Open Source ))

FIPA-OS есть открытая платформа для интеграции гетерогенных агентов в единую МАС,. Она полностью совместима с FIPA абстрактной архитектурой. Исходный код этой платформы распространяется бесплатно на основе простых лицензионных соглашений с правом его свободного использования и модификации.

FIPA OS

Агент Программы, БД

ACL

Система поиска директориев

(Directory Facilitator)

Сервис транспорта сообщений

API API

ACLACL

Система поиска агентов

(AMS)

AMS и DF реализованы как агенты (обращение с помощью ACL)Язык коммуникаций и Сервис транспорта сообщений - обычные программы (обращение через API)Роль сервиса транспорта сообщений в том и состоит, чтобы этот сервис был доступен каждому агенту с помощью соответствующего транспортного протокола. Его задача – маршрутизация и пересылка сообщений

ACL,IIOP, HTTP и др.


Платформа Платформа JADE - JADE - Java Agent DEvelopment Java Agent DEvelopment fframework ramework

Разработана Telecom Italia Lab. Реализована на языке JAVA и может быть распределенной на компьютерах, работающими на различных ОС. Состоит из нескольких агентских контейнеров, являющихся средой функционирования агентов. Главный контейнер – один и обычных контейнеров – любое число. Главный контейнера поддерживает работу агентов AMS, DF, ACC. В JADE реализация DF является распределенной (каждый агентский контейнер содержит собственный DF), а система управления агентами (AMS) – централизована

Обеспечивает полнофункциональную поддержку языка коммуникаций ACLПоддерживает синхронное и асинхронное взаимодействие агентов и высокий уровень

параллелизма. Количество агентов на платформе ограничено только ресурсами компьютеров, на которых она установлена.

Имеет средства обеспечения безопасности: аутентификация пользователей, разграничение прав агентов на доступ к сервисам платформы, цифровая подпись и шифрование сообщений.

Возможности JADE расширены после ее интеграции с LEAP - Lightweight Extensible Agent Platform. Эта платформа поддерживает протокол TCP/IP (в обычных и беспроводных сетях). Устанавливается на мобильный телефон.

Является самой популярной и активно развивающейся платформой. Имеет хорошую техническую поддержку и подробную документацию.

Слабое место JADE – централизованная AMS (не для распределенных приложений).


Архитектура платформы Архитектура платформы JADEJADE

Экземпляр платформы

1Container

DF

Агент Агент АгентАгент Агент

Экземпляр Платформы 2

Main container

DF

Container

DF

Агент Агент Агент

Main container

DF AMS

Сеть

AMS


Виртуализация взаимодействия агентов: Виртуализация взаимодействия агентов: P2P P2P агентская платформаагентская платформа

Оверлейные сети, построенные над TCP/IP, обеспечивающие “прозрачное” взаимодействие прикладных агентов (JXTA technology)

В.И. Городецкий, О.В. Карсаев, В.В. Самойлов, Серебряков, С.В. Инструментальные средства для открытых сетей агентов. Известия РАН. "Теория и Системы Управления", Москва: Наука, 2008. №. 3, 106-124.

TCP/IP транспорт (Транспортный уровень)

АгентАгент


АгентАгентУровень взаимодействия

прикладных агентов, поддерживаемый P2P платформой агентов

СенсорСенсорСенсорСенсор

СенсорСенсор

СенсорСенсорСенсорСенсор

СенсорСенсор




P2P P2P платформа платформа

агентаагента

Другие Другие потребители потребители P2P P2P

сервисасервиса

Уровень Уровень P2PP2P коммуник. протоколовкоммуник. протоколов

Оверлейная сеть Оверлейная сеть экземпляров экземпляров P2P P2P

платформы агентовплатформы агентовP2P P2P

платформа платформа агентаагента

Другие Другие потребители потребители P2P P2P сервисасервиса

P2P коммуникационный сервис

P2P коммуникационный сервис

Распределенные Распределенные ““желтыежелтые”” и и

““белыебелые””страницыстраницы

Уровень Уровень коммуникационкоммуникационного сервисаного сервиса


Реализованная P2P платформа агента: Функциональная архитектура

P2P провайдер

Типовые сервисы агента

P2P платформа

агентаИнтерфейс P2P

провайдера

P2P транспорт над TCP/IP

Лист контактов

Сценарии переговоров

Сценарий поиска сервисов

Агент “желтых страниц”

Агент “белых” страниц”

Пир предоставляет коммуникационные каналы с другими пирами, а также управляет своим листом контактов, который содержит соседей данного пира, т.е. те узлы, с которыми существуют коммуникационные каналы.

Агентская платформа предоставляет сервисы агентам, которые зарегистрированы на платформе. В текущей реализации, агентская платформа поддерживает поиск агентов и сервисов (реализуется как распределённый поиск в P2P среде, используя протокол gossiping), взаимодействие между агентами (маршрутизация сообщений от одного агента к другим).

Разработка и реализация протоколов взаимодействия компонент данной функциональной архитектуры- основная работа по созданию платформы, которая выполнена в лаборатории


7. Модели координации поведения агентов7. Модели координации поведения агентов


Причины, обуславливающие необходимость Причины, обуславливающие необходимость координации группового поведениякоординации группового поведения

• Объекты функционируют в общей внешней среде, накладывающей , например, пространственные ограничения (предотвращение столкновений роботов, соблюдение дистанций безопасности в воздушном движении и др.);

• Ограниченные общие ресурсы (средства транспортировки в логистике, компьютерные ресурсы, доступные программным агентам, и т.д.);

• Необходимость принятия решений в условиях неопределенности, ограниченность информации о среде и других агентах, которыми обладают агенты, что влечет необходимость информационного обмена между ними;

• Ограниченность компетенции (знаний) или возможностей отдельных агентов, что может быть восполнено кооперацией с другими агентами;

• Необходимость синхронизации действий отдельных агентов при решении общей проблемы в приложениях реального времени (управление воздушным движением, футбол роботов, управление боевыми действиями, управление гуманитарной операцией и др.).


Общие принципы координации (1Общие принципы координации (1))

[M.Mesarovic et al, 1970] сформулированы три базовых принципа координации в сложных многоуровневых системах:

– прогнозирование взаимодействий, – развязывание взаимодействий и – оценка взаимодействий.

Они принимают конкретную алгоритмическую форму в рамках конкретной математической модели и конкретного приложения. Среди них, наиболее известные алгоритмы координации базируются на:

– назначении и согласовании локальных показателей качества, оптимизация которых ведет к оптимизации глобального показателя

– оптимальном распределении общего ресурса, – согласовании значений общих переменных и др.

С содержательной точки зрения, координация предназначена для согласования индивидуальных целей и вариантов поведения агентов, при которых каждый агент улучшает или не ухудшает значение своей функции полезности, а система в целом улучшает качество решения общей задачи.



В теории многоагентных систем координация рассматривается как процесс, в котором агенты системы рассуждают о собственных локальных целях и действиях и о предполагаемых целях и действиях других агентов для обеспечения согласованных действий всего сообщества агентов.

Наиболее сложные задачи координации возникают тогда, когда агенты кооперируются для решения общей задачи, когда необходимо обеспечить, чтобы

– все компоненты общей проблемы, решаемой МАС, были включены в процесс решения, т.е. чтобы каждая подпроблема решалась хотя бы одним агентом;

– взаимодействие агентов обеспечивало формирование решений в форме, в которой они могли бы интегрироваться в общее решение;

– агенты действовали целенаправленно и непротиворечиво;– все цели системы были достижимы в рамках вычислительных возможностей

и др. имеющихся ресурсов.


Замечание о двух аспектах процессов Замечание о двух аспектах процессов координациикоординации

В любом механизме координации следует выделять два аспекта:− Нормативный аспект: как избежать нарушений ограничений?

(нормативная координация, цель которой –помочь агентам в создать (явно или неявно) взаимные обязательства (commitments), которые не дадут возможности нарушать ограничения.);

− Удаление несоответствий: как устранить возникшие нарушения? (разрешение конфликтов).

Второй аспект обычно рассматривают как отдельный класс механизмов координации. Оба эти аспекта используют различные механизмы, стратегии, а также обладают различными достоинствами и недостатками.



В основе большинства известных методов координации МАС, явно или неявно, лежит понятие "совместных обязательств" (commitments) агентов, которое постулирует необходимость выполнения агентом фиксированных действий, ведущих к достижению предопределенной цели в интересах сообщества агентов. Знания об обязательствах других агентов позволяют агенту учесть при планировании поведения "общественный контекст" и ограничения, которые он должен принимать во внимание. Одной из форм представления обязательств агента является его роль. Другое важное понятие - это общественные "соглашения" (conventions). Оно фиксирует условия, при которых обязательства выполняются, и обстоятельства, когда агент может или должен отказываться от исполнения взятых на себя обязательств. В работе [N.Jennings-93 ] выдвинута гипотеза, которая утверждает, что "все механизмы координации в МАС могут быть выражены в терминах (совместных) обязательств агентов и отвечающих им соглашений". Ее справедливость показана с помощью анализа основных методов координации.


1. 1. Координация с помощью общих правил Координация с помощью общих правил группового поведения группового поведения ((socialsocial lawslaws))

Обычно такой подход используется (иногда - совместно с другими) в системах с заданной организационной структурой, в которой правила группового поведения должны строго выполняться. Организация формируется как множество агентов с заданными ролями и для каждой роли определяются свои правила поведения в сообществе агентов.

Координация содержит два вида деятельности:

– поддержание организационной структуры сообщества с помощью задания ролей и порядка обмена информацией между ними (когда, кому и какая информация должна посылаться) ; Примеры: роли участников воздушного движения + международные правила поведения самолетов в воздушном пространстве; колония муравьев-swarm

– использование правил группового поведения для вычисления конкретных действий агентов с заданными ролями на основе их локальных знаний ("распределенная политика управления"). Определяется важностью тех или иных целей агента. Примеры: Правила разрешения конфликтов между самолетами при возникновении потенциально опасных сближений; положительная обратная связь, определяющая маршруты движения муравьев при поиске пищи


2. Координация поведения на основе обмена 2. Координация поведения на основе обмена мета - информациеймета - информацией

Мета – информация – это приоритеты на множестве подзадач, их зависимость по данным и потребные ресурсы, в частности, вычислительные.

Например, в методе "Частичного глобального планирования" ("Partial Global Planning" [Е.Durfee -88], PGP), агенты информируют друг друга о своих локальных планах, которые требуют общих ресурсов, а подцели, которые достигаются при исполнении этих локальных планов, могут быть частично упорядочены по времени исполнения, (результаты выполнения локального плана одного агента могут потребоваться в качестве входных данных для локальных планов нескольких других агентов). Согласование планов состоит в том, что агенты выдают на верхний уровень свои локальные планы, делается попытка скомпоновать их в единый согласованный план, а в случае конфликтов агенты ведут переговоры о согласовании своих обязательств и условий отказа от них.

Существует много конкретных реализаций этого подхода.


3. Координация на основе планирования (заимствует 3. Координация на основе планирования (заимствует опыт разработок в «до – агентский» период)опыт разработок в «до – агентский» период)

Агенты заранее формируют свои планы до деталей и в качестве главной цели координации рассматривается проблема непротиворечивости действий агентов, причем в основном это касается конфликтов по ресурсу. В отличие от методов, основанных на организации и организационных структурах, в этом подходе информация, которой обмениваются агенты, является низкоуровневой. Естественно, что при возникновении непредвиденных обстоятельств такой план может стать неработоспособным. Этот подход всегда требовал больших вычислительных ресурсов и интенсивного обмена информацией между агентам.

В централизованном варианте [Georgeff-83] агенты разрабатывают свои планы заранее и посылают их на согласование центральному агенту, который их собирает в единый план, разрешает конфликты и устанавливает порядок коммуникации агентов для синхронизации их действий. (система УВД в районе аэропорта Сидней–1993 !).

При распределенном планировании план разрабатывается несколькими агентами, и при этом ни один агент не имеет полной информации, необходимой для формирования плана в целом. В этой ситуации избежать конфликтов достаточно сложно, разрешение конфликтов тоже является сложной задачей ([Corkill-79] - система планирования MODEL ).


4. 4. Командная работаКомандная работа

Про агентов, которые прилагают совместные усилия (сотрудничают) для достижения общей долговременной цели, функционируют в динамической внешней среде в присутствии шума и противодействия со стороны соперника (или команды соперников) принято говорить, что они образуют команду агентов.

Пример: коллективы физических или программных роботов, совместно решающие некоторую задачу.

Наличие соперничающей команды или "враждебной" внешней среды является одной из специфических особенностей, которая отличает командную работу от обычной кооперации агентов в МАС. Здесь каждый агент имеет ограниченную информацию о собственной команде, о внешней среде и о сопернике

и реализует собственные намерения с помощью индивидуальных действий, исполняемых параллельно или последовательно с действиями других агентов.


Командная работаКомандная работа

Принято говорить, что в командной работе агенты "сотрудничают". Сотрудничество есть специальный вид скоординированной деятельности агентов, в которой они совместно решают некоторую задачу или выполняют некоторую деятельность для достижения общей цели. У агентов команды нет своих специфических целей.

Основополагающими результатами в такой задаче координации являются "Теория общих намерений" [P.Cohen& H.Levesque-91], "Теория общих планов" [B. Grosz &S.Kraus-96] и "Комбинированная теория" [M.Tambe-97].

Городецкий В.И.Теория, модели, инфраструктуры и языки спецификации командного поведения автономных агентов: Обзор. ч.1, 2. Искусственный интеллект и принятие решений, 2011

Основной вопрос: каким образом можно обеспечить работу агентов как единой команды в ситуации, когда каждый из агентов, имея ограниченную информацию о внешней среде, в частности, о собственной команде и о сопернике, реализует собственные намерения с помощью индивидуальных действий, исполняемых параллельно или последовательно с действиями других агентов.


Теория общих (объединенных) намерений Теория общих (объединенных) намерений ((PP..CohenCohen, , HH..LevesqueLevesque, 1991) , 1991)

Говорят, что агент имеет (индивидуальную) долговременную цель достичь p (индивидуальное обязательство, persistent goal ) при условии q, (p и q пропозициональные утверждения) тогда и только тогда, когда

1. агент убежден, что в текущем состоянии p ложно;2. агент стремится к тому, чтобы цель p в конечном счете стала истинной;3. агент всегда будет придерживаться этой цели, пока он не придет к убеждению,

что цель p истинна (достигнута), или она никогда не может быть достигнута, или что условие q перестало быть истинным (стало ложным).

Условия, при которых агент придерживается своих обязательств, выраженных в терминах долговременной цели, принято называть соглашениями (conventions)


Теория общих (объединенных) намеренийТеория общих (объединенных) намерений

Индивидуальные намерения агентов Говорят, что агент намерен выполнить в определенных условиях

некоторое действие, если он в этих условиях в соответствии с долговременной целью должен выполнить это действие, и при этом, выполняя его, он должен быть абсолютно уверенным, что выполняет именно принятое намерение.

При этом его намерения не должны быть такими, которые влекут действия, которые могут стать причиной возникновения нерелевантности или невозможности достижения целей другими агентами.



Общие (объединенные) обязательства Понятие общих обязательств (и намерений) должно определяться так, чтобы оно

описывало действия группы агентов, как одного агента. Простое объединение обязательств и намерений отдельных агентов не отражает

существа командной работы агентов, так как различные агенты на основе своей локальной информации могут расходиться в своих убеждениях относительно истинности p и q. И это естественно, поскольку команда выполняет распределенный алгоритм, а потому этот алгоритм должен еще включать в себя еще и протокол взаимодействия членов команды агентов.

Поэтому при определении понятий, связанных с коллективной работой команды агентов, необходимо прямо или косвенно вводить компоненты, отражающие специфику такого протокола взаимодействия.



Общая (объединенная) долговременная цель Команда агентов имеет общую долговременную цель достигнуть p при

условии q в том случае, если выполнены все нижеследующие условия:1. Все члены команды убеждены, что выражение p в текущем состоянии ложно

(т.е. долговременная цель не достигнута).2. Все члены команды знают, что все они хотят в конце концов сделать

выражение p истинным (т.е. достигнуть цели).3. Справедливо, и все члены команды знают, что до тех пор, пока все они не

придут к общему убеждению, что или выражение p истинно, или что выражение p никогда не будет истинным, или что q ложно (цель нерелевантна), они будут убеждены, что p является долговременной целью в условиях q для всех членов команды

Если команда агентов имеет общую долговременную цель p, то каждый агент имеет p в качестве своей индивидуальной долговременной цели (P.Cohen, H.Levesque, 1991)


Общее намерение: свойстваОбщее намерение: свойства

Индивидуальное намерение агента и общее намерением команды Если команда намерена выполнить совместно некоторое действие, и при

этом единственный агент имеет убеждение, что это действие должен выполнить именно он, то он имеет индивидуальное намерение выполнить это действие.

Если команда агентов намерена выполнить совместно сложное действие, состоящее из параллельно выполняемых действий отдельных агентов команды, то каждый агент (до тех пор, пока общее намерение имеет место) индивидуально имеет намерение выполнить свою часть общего действия, предусмотренного общим намерением.

В случае, когда агенты должны совместно выполнять действия, упорядоченные во времени, агенту достаточно знать два факта:

какой шаг только что был выполнен и что в текущий момент он исполняет оставшуюся часть последовательности. Такая стратегия выполнения последовательности называется "пошаговым

исполнением"


5. 5. Координация в условиях конкуренции агентовКоординация в условиях конкуренции агентов

Агенты называются "эгоистичными " (self–interested), когда каждый из них стремится максимизировать свою функцию полезности, полностью игнорируя интересы других агентов. Во многих приложениях такие агенты, хотя и конкурируют, вынуждены координировать свое поведение.

Координация реализуется в форме переговоров, в процессе которых агенты стремятся достичь взаимовыгодного соглашения. Правила переговоров устанавливаются протоколом переговоров, который должен быть известен агентам.

Протокол переговоров должен быть – эффективным (по Парето, в том числе, для коалиций агентов), т.е. должен

приводить к недоминируемому результату)– устойчивым (Протоколы переговоров не должны позволять агентам извлекать

дополнительную пользу, отклоняясь от установленных правил, т.е.они должны обеспечивать достижение состояния равновесия),

– простым (не усложнять архитектуру агента и коммуникации), – желательно децентрализованным (без посредников) и – симметричным (должен предоставлять всем агентам одинаковые возможности

по участию в переговорах)


Координация в условиях конкуренции агентовКоординация в условиях конкуренции агентов

Обязательные компоненты протокола:

• Пространство возможных соглашений. Оно должно быть фиксировано и известно всем агентам.

• Правила взаимодействия. В теории МАС практически все протоколы переговоров используют модель “предложение–контрпредложение”.

• Существование оптимальной стратегии поведения агентов. В "хорошем" протоколе оптимальные стратегии агентов образуют равновесие по Нэшу.

Формальной основой протокола может быть или теоретико-игровая арбитражная схема Нэша, или на модель аукциона. Наиболее часто здесь используется стандартный Протокол контрактных сетей (Contract Net Protocol) или различные его модификации. Этот протокол является одним из протоколов, стандартизованных к настоящему времени FIPA.


Пример: Протокол монотонных минимальных Пример: Протокол монотонных минимальных уступок уступок ("("monotonic concession protocol”monotonic concession protocol”))

Согласно этому протоколу, агенты делают предложения по очереди, начиная с самых выгодных для себя вариантов. На каждом шаге по предварительно выбранной формуле вычисляются величины функции полезности и

вероятности того, что соответствующий агент на следующем шаге откажется от продолжения переговоров.

В процессе переговоров агенты делают монотонные уступки относительно первоначальных требований, изменяя монотонно получаемое значение функции полезности. Тем самым монотонно отступают от своих первоначальных требований.

. Доказано, что протокол приводит к соглашению, которое максимизирует

произведение функций полезности агентов.

pp )()( fUmaxfUf )()( fpfp


Теоретико-игровые модели координации Теоретико-игровые модели координации поведения конкурирующих агентов поведения конкурирующих агентов

Цель Поиск Парето оптимальных устойчивых стратегий поведения

взаимодействующих агентов, когда ни одной из сторон невыгодно менять свою стратегию. Механизм поиска таких ситуаций оказывается средством самоорганизации коллективного поведения агентов.

Использование игровой модели привело к созданию направления, которое имеет целью обеспечить нужные атрибуты коллективного поведения агентов за счет конструирования правил игры. При этом свойства ситуаций равновесия оказываются предопределенными конструктором игры. Такой подход известен в литературе под названием “Mechanism Design” (Конструирование механизма игры)


Теоретико-игровые модели координации Теоретико-игровые модели координации поведения конкурирующих агентовповедения конкурирующих агентов

В частности, показано, что все множество ситуаций выбора поведения пары агентов в модели конкуренции классифицируется на такие:

– ситуации симметричной кооперации, когда существует непустое множество стратегий (“переговорное множество”), при использовании которых оба агента достигают своих целей и получают больший эффект (выгоду) по сравнению с ситуацией, когда они для достижения своих целей не кооперируются друг с другом;

– ситуации симметричного компромисса, когда достижение цели в одиночку им более выгодно, однако в присутствии друг друга это невозможно, и они вынуждены приходить к разумному компромиссу;

– ситуация несимметричной кооперации - компромисса, когда один агент может достигнуть своей цели, действуя в одиночку даже в присутствии другого, а другой может достигнуть своей цели только за счет кооперации с первым, и

– ситуация конфликта, когда множество переговоров пусто и не существует никаких стратегий, когда достижимы обе цели.


8. Области приложений многоагентных технологий и 8. Области приложений многоагентных технологий и системсистем


Некоторые важные классы приложенийНекоторые важные классы приложений

Планирование и управление операциями, в том числе, автономными операциями (для воздушных и подводных беспилотных аппаратов), военными операциями, гуманитарными операциями и т.п.

Управление воздушным движением (первая - 1992 г., а/п Сиднея) Логистика (транспортная, складская, управление проектами,

управление сетями поставок, формирование и управление виртуальными предприятиями,…)

Управление производством (на разных уровнях), Электронная коммерция (с 1990-х годов) Торговля ценными бумагами на бирже Моделирование и предсказание: глобальные экологические проблемы,

биологические сети (эпидемий и т.п.), политические и социальные процесы

Мониторинг и прогнозирование социально опасных сообществ, в частности, в задачах контр - террористической борьбы


Некоторые важные классы приложенийНекоторые важные классы приложений

Моделирование операций в киберпространстве Распознавание, прогнозирование и управление в сложных ситуациях,

например, в чрезвычайных ситуациях Моделирование и анализ глобальных эффектов, например, в

телефонном трафике (11 сентября 2001 в Нью-Йорке и Москва, 29 марта 2010)

Управление телекоммуникационными, в том числе, мобильными системами

Распознавание вторжений в компьютерную сеть, в частности, DDoS атак, борьба со спамом

Управление в электрических и других бытовых и промышленных сетях Управление в сенсорных сетях


Примеры приложенийПримеры приложений


9. Многоагентные приложения, которые были 9. Многоагентные приложения, которые были разработаны в лаб. интеллектуальных систем СПИИРАНразработаны в лаб. интеллектуальных систем СПИИРАН


Автономное управление воздушным движением в Автономное управление воздушным движением в районе аэропорта в кризисных ситуациях (2007)районе аэропорта в кризисных ситуациях (2007)

Воздушное пространство г. Нью ЙоркАэропорты: JFK, La Guardia, Republic

Схемы прибытия, состоящие из коридоровКруги ожидания Зоны прибытия ("схемы")

Аэропорты

LG R

JFK

ROBER

CCC

PARCH

TRAIT

FRILL

R Имя аэропорта


Автономное управление воздушным движением в Автономное управление воздушным движением в районе аэропорта в кризисных ситуациях (2007)районе аэропорта в кризисных ситуациях (2007)

УВД в районе аэропорта Агенты Ассистенты экипажей ВС Ассистент диспетчера

Организация Р2Р в зоне подхода Иерархическая в зоне прибытия

Поведение ассистентов экипажей ВС План движения своего ВС Прогнозирование конфликтов Согласование маневров и уточнение планов для разрешения конфликтов

Задача обеспечения Безопасности полетов Графика прибытия и убытия ВС

Преимущества решенияПрогноз развития ситуации на 3-5 минут на основе расчетов и принятие решений на его основе


Транспортная логистика: задача о развозке грузов Транспортная логистика: задача о развозке грузов с ограничениями в виде временных окон (2004)с ограничениями в виде временных окон (2004)

Транспортная логистика Агенты Ассистенты водителей Ассистент менеджера

Организация Иерархическая или Р2Р

Координация на основе Протокола заключения контрактов (Contract Net Protocol)

Задача Обеспечение графика доставки Минимизация накладных расходов

Преимущества решенияОбеспечение быстрого поиска «хороших» решений в случае динамически меняющихся ситуаций


МАС обнаружения вторженийМАС обнаружения вторжений: : Источники данных, Источники данных, детекторы атак и структура объединения их решенийдетекторы атак и структура объединения их решений

Процедуры предобработкиСетевой трафик

Гетерогенные «тревоги» информируют об обнаружении атак классов DoS, или Probe,

или U2R

Признаки отдельных соединений

Статистка - 1 признаков за N соединен.

Статистка -2 признаков за N соединен.

Статистка-2 признаков за T

секунд.

Статистка-1 признаков

за T секунд.

Событие: Соединение закончено

Событие: Новое окно “N

соединений

Событие: Новое окно “T секунд “


Обучение принятию решений в Обучение принятию решений в P2P P2P сетях агентов (на сетях агентов (на примере системы обнаружения вторжений в сеть)примере системы обнаружения вторжений в сеть)

Bluetooth

TCP/IP

TCP/IP

TCP/IP

TCP/IPWiFi WiFi

TCP/IP

Bluetooth

Bluetooth

TCP/IPSymbian

Symbian

SymbianWindows

Windows

Linux

Linux

Windows

Windows

Источники данных + агенты



Contiki

Contiki

TinyOS

Типичная система принятия решений в Типичная система принятия решений в P2P P2P системе оценки ситуацийсистеме оценки ситуаций


МАС составления расписаний включения бортовой МАС составления расписаний включения бортовой аппаратуры наблюдения земной поверхности (2000)аппаратуры наблюдения земной поверхности (2000)


Распределенное Распределенное P2P P2P обнаружение и классификация обнаружение и классификация наземных объектовназемных объектов

BaseStation_Bobject-4-8-agent

object-1-3-agent

object-3-1-agent

object-4-6-agent

object-3-6-agent

object-4-1-agent

object-4-9-agent

ui-agent

object-3-2-agent

object-4-2-agent

object-3-5-agent

object-4-5-agentobject-2-2-agent


object-3-4-agent


object-1-2-agent


object-2-1-agent

BaseStation_A

BaseStation_C

BaseStation_DPlatform_A Platform_D

Platform_C Platform_B

Сенсорная сетьРаспределенная система наблюдения состоит их множества сенсоров, установленных на борту (беспилотных) летательных аппаратов. Модель взаимодействия узлов сетиКаждый ЛА с установленной на нем аппаратурой и программным обеспечением рассматривается как узел интеллектуальной сенсорной сети. “Соседние” узлы могут связываться для обмена информацией по запросу. Новые свойства3D распознавание, повышение точности распознавания объектов, восстановление сцены в целом, возможность динамического изменения состава объектов сети.


Предсказание тихоокеанского течения Предсказание тихоокеанского течения ElNinoElNino

Сенсорная сеть буев в Тихом океане

Топология P2P сети беспроводной связи буев

Сенсорная сетьКаждый сенсор расположенный на буе, измеряет локальные параметры океана и среды. Над множеством буев развернута P2P беспроводная сеть коммуникаций. Модель взаимодействия узлов сетиУзел сети - это сенсор + агент, обрабатывающий информацию сенсора +P2P провайдер беспроводных коммуникаций с “соседями” сети. Каждый агент узла обрабатывает данные своего сенсора и через специальное программное обеспечение (распределенную P2P платформу) может общаться с агентами соседних узлов. Вначале он может ничего не знать ни о соседях, ни о других узлах сети.

Новые свойстваРаспределенная P2P платформа позволяет каждому узлу сети накапливать информацию о соседях и других узлах и на основании этой информации, для принятии решений, использовать не только свои данные, знания и функциональности, но и данные и знания и функциональности соседних и других узлов сети. В идеале система оказывается способной оценивать глобальное состояние внешней среды, распознавать возникновение течения EINino и прогнозировать динамику его развития и движения в пространстве.


User interface of the simulation software prototype.User interface of the simulation software prototype.


Концептуальная модель МАС симуляции Концептуальная модель МАС симуляции распределенных атак на компьютерные сети (2002)распределенных атак на компьютерные сети (2002)

Злоумышленница A

Злоумышленник B

Злоумышленник C

Локальная Локальная сетьсеть

TargetTarget SA-1SA-1

SB-2SB-2

S2-11S2-11

SB-4SB-4

S4-7S4-7

SC-6SC-6

S6-9S6-9SC-8SC-8

11

5

7

98

6

3

4

1

2

10

S11-9S11-9S8-9S8-9

S1-11S1-11

S7-9S7-9

МАС модельсетевых атак




Концепция и архитектура системы моделирования атак Концепция и архитектура системы моделирования атак на компьютерную сеть (2002)на компьютерную сеть (2002)

Модель реакции атакуемой сети

Модель хоста 1 Модель

хоста 2

Модель хоста k

……..

Модель конфигурации

сети

Агент 2: Симулятор атак

Агент 3: Симулятор атак

Агент 1: Симулятор атак Модель

реакции сети

Вероятностная модель системы

защиты сети

1) Модель конфигурации сети; 2) Модель ресурсов сети и реакции на действия атакующего; 3) Модель «политики безопасности», которая моделирует вероятности успеха тех или иных действий атакующих;4) Модели реакций хостов на действия атакующих; 5) Пользовательский интерфейс, позволяющийзадавать параметры и тип атаки и модель сети.


1010. . Современные направления исследований в области Современные направления исследований в области теории и практики МАСтеории и практики МАС


Дорожная карта исследований в области Дорожная карта исследований в области многоагентных систем и технологиймногоагентных систем и технологий


Основные (традиционные) направления Основные (традиционные) направления исследований в области МАСисследований в области МАС

Формальные методы и языки спецификации агентов и МАС Методы рассуждений и обучения агентов и МАС (когнитивные модели,

представление знаний, рассуждения с онтологиями) Языки программирования МАС Формальные модели протоколов и их верификация Методологии, технологии и инструментальные средства разработки МАС Инфраструктуры (платформы) для поддержки взаимодействия агентов МАС Модели и методы координации, кооперации и модели соперничества в МАС (формиров. коалиций, командная работа, коллективный интеллект и др.) Модели и протоколы переговоров Модели аргументации и коллективного принятия решений Коммуникации агентов, протоколы и языки коммуникации Модели взаимодействия человека и агента Организационные модели МАС, модели общественного поведения

(нормативные системы, защита частной информации, этические аспекты, социальные структуры)

Модели доверия и репутации


Новые и пограничные направления исследований Новые и пограничные направления исследований в области МАСв области МАС

Компьютерное моделирование сложных систем на основе технологии МАС Тестирование агентских систем Интеллектуальные роботы и групповое поведение (восприятие, когнитивные

роботы, планирование в роботике, сети роботов, команды роботов, языки для роботов – агентов, и др.)

Экономические парадигмы МАС (модели аукционов, рыночные модели, электронные рынки, общественный выбор и голосование

Многоагентные системы, ориентированные на сервис P2P агенты, открытые и мобильные сети агентов Модели и механизмы самоорганизации в МАС Агенты и извлечение знаний их данных Модели неопределенности в МАС МАС технологии для ГРИД систем МАС и семантический веб МАС, встроенные системы и повсеместные вычисления МАС и интеллект окружения (ambient intelligence) ……………………………………………………………….


Избранные публикации лаборатории ИС СПИИРАН в 2008–Избранные публикации лаборатории ИС СПИИРАН в 2008–2011, связанные с тематикой МАС2011, связанные с тематикой МАС

В.И. Городецкий. Саморганизация и многоагентные системы. Известия РАН. Теория и системы управления, №№2, 3, 2012.

В.И.Городецкий Теория, модели, инфраструктуры и языки спецификации командного поведения автономных агентов: Обзор. ч.1, 2. Искусственный интеллект и принятие решений, 2011

В.И. Городецкий, О.В. Карсаев, В.В. Самойлов, Серебряков, С.В. Инструментальные средства для открытых сетей агентов. Известия РАН. "Теория и Системы Управления", Москва: Наука, 2008, №. 3, 106-124.

В.И.Городецкий, О.В.Карсаев, В.В.Самойлов, С.В Серебряков. Программная инфраструктура для поддержки концепции повсеместных вычислений в многагентных P2P системах. Журнал "Информационные технологии и вычислительные системы" № 4, 2008, 51-56.

В.И.Городецкий, О.В.Карсаев, В.Г.Конюший В.В.Купин, В.В.Самойлов. Моделирование процессов управления воздушным движением на основе многоагентных технологий. Научный вестник МГТУ ГА, серия Навигация и УВД, декабрь 2008.

В.Городецкий, О.Карсаев, В.Самойлов, С.Серебряков. Многоагентные системы и групповое управление. В журнале "Искусственный интеллект и принятие решений, № 2, 2009.

V.Gorodetsky, O.Karsaev, V.Samoylov, S.Serebryakov. P2P Agent Networks. Springer “Lecture Notes in Artificial Intelligence”, vol. 5319, pp. 41-54, 2009.

V.Gorodetskiy, O. Karsaev, V. Samoilov, S.Serebryakov. Interaction of Agents and Data Mining in Ubiquitous Environment. International Workshop on Agents and Data Mining Interactions (ADMI-2008). Sydney, Australia, December 9-12, 2008.



V.Gorodetsky, O.Karsaev, V.Samoylov, S.Serebryakov (SPIIRAS), S.Balandin, S.Leppanen, M.Turunen (NOKIA). Virtual P2P Environment for Testing and Evaluation of Mobile P2P Agents Networks. The Second International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies (UBICOMM 2008), Valencia, Spain, IEEE Computer Society 422-429

V.Gorodetskiy, O.Karsaev, V. Samoilov, V.Skormin. Multi-Agent Technology for Air Traffic Control and Incident Management in Airport Airspace. Proceedings of the International Workshop "Agents in Traffic and Transportation", Estoril, Portugal, IEEE Computer Press, pp.119-125, 2008

V.Gorodetsky, O.Karsaev, V.Samoylov, S.Serebryakov. Agent-based Distributed Decision Making in Dynamic P2P Environment. Intelligent Decision Technologies (IDT): An International Journal Volume 3, Number 1, 2009.

V.Gorodetsky, L.Cao and P.Mitkas. Agent Mining: The Synergy of Agent and Data Mining. International Journal "IEEE Intelligent Systems", May/June 2009, 64–72.

Ch.Moemeng, V.Gorodetsky, L.Cao. Agent-Based Distributed Data Mining: a Survey. Chapter in book L.Cao (Ed.) Data Mining and Multi–agent Integration, Springer, 2009.

V.Gorodetsky, L.Cao, J.Liu, G.Weiss, Ph. Yu (Eds.). Agents and Data Mining Interaction. Lecture Notes in Artificial Intelligence, vol. 5680, 2009.



V. Gorodetskiy, O. Karsaev, V.Konushy, V. Samoilov. Model-Driven Engineering of Multi Agent Systems. International Conference on Intelligent Agent Technology, Sydney, Australia, December 9-12, 2008

Vladimir Gorodetsky, Oleg Karsaev, Vladimir Samoylov and Victor Konushy. Support for Analysis, Design and Implementation Stages with MASDK. In Michael Luck and JorgeJ.Gomez-Sanz (Eds.) Agent-oriented Software Engineering IX. Lecture Notes in Computer Science vol.5386, pp. 272-288, 2009.

Д.В.Троцкий, В.И.Городецкий. Сценарная модель и язык описания знаний для оценки и прогнозирования ситуаций. Труды СПИИРАН, Выпуск 8, стр. 94–127.


СпасибоСпасибо!!

Вопросы?

Контактные данные:Городецкий Владимир Иванович

[email protected]://space.iias.spb.su/ai/gorodetsky

mas

Documents

contract net

data mining

lecture notes

international

international

artificial

fipa acl

acl