Planejamento em Planejamento em Sistemas Sistemas

MultiAgentesMultiAgentes

Professores: Professores: Geber Geber

RamalhoRamalhoPatrícia Patrícia

Tedesco Tedesco Alunas:Alunas:

Adeline SilvaAdeline SilvaManuela Manuela

XavierXavierTalita Talita

MenezesMenezes

TópicosTópicos

• IntroduçãoIntrodução• SDP x SMASDP x SMA• Solução Distribuída de ProblemasSolução Distribuída de Problemas• Planejamento MultiagentePlanejamento Multiagente• Projetos ExistentesProjetos Existentes• ConclusõesConclusões• ReferênciasReferências

IntroduçãoIntrodução• Sistemas de Solução Distribuída de

Problemas:– Os agentes envolvidos são projetados para serem

Cooperativos• Sistemas Abertos:

– Os agentes não são necessariamente cooperativos, – Agentes podem ingressar e sair do sistema de

maneira dinâmica• Dentro desta segunda classificação, estão

inseridos os Sistemas Multiagentes:– Conjunto de agentes autônomos – Possivelmente pré-existentes– Solução de um problema que está além da capacidade

de um único indivíduo.

Relação entre SDP e SMARelação entre SDP e SMA

• SDPSDP: : – ênfase na solução de um ou mais problemas, com ênfase na solução de um ou mais problemas, com

o esforço de múltiplos agentes com interesse em o esforço de múltiplos agentes com interesse em propriedades extrínsecas como:propriedades extrínsecas como:• CompetênciaCompetência• RobustezRobustez• Uso eficiente de recursosUso eficiente de recursos

• SMASMA::– Ênfase na existência de múltiplos agentes com Ênfase na existência de múltiplos agentes com

interesse em propriedades intrínsecas como:interesse em propriedades intrínsecas como:• Revelação da verdadeRevelação da verdade• ManipulaçãoManipulação• Coerência Coerência

Solução Distribuída de Solução Distribuída de ProblemasProblemas

• Enfatiza o trabalho conjunto de Enfatiza o trabalho conjunto de agentes para melhor resolver agentes para melhor resolver problemas que precisam de um problemas que precisam de um esforço coletivo.esforço coletivo.

• Presume a existência de problemas Presume a existência de problemas que precisam ser resolvidos e que precisam ser resolvidos e expectativas sobre o que constitui expectativas sobre o que constitui soluções.soluções.

Solução Distribuída de Solução Distribuída de ProblemasProblemas

• Na solução distribuída de problemas:Na solução distribuída de problemas:– coerênciacoerência (querer trabalhar em grupo ) (querer trabalhar em grupo )

– competênciacompetência (saber como trabalhar bem em (saber como trabalhar bem em grupo )grupo )

• Algumas vezes, o problema que os agentes Algumas vezes, o problema que os agentes estão resolvendo é construir um plano.estão resolvendo é construir um plano.

• Planejamento distribuído é fortemente Planejamento distribuído é fortemente mesclado com Solução Distribuída de mesclado com Solução Distribuída de Problemas.Problemas.

Compartilhamento de Compartilhamento de tarefastarefas

• Idéia Idéia – Quando um agente tiver muitas tarefas Quando um agente tiver muitas tarefas

para fazer, ele deve solicitar ajuda para fazer, ele deve solicitar ajuda

• Principais passos:Principais passos:– DecomposiçãoDecomposição da tarefa da tarefa– Alocação Alocação da tarefada tarefa– RealizaçãoRealização da tarefa da tarefa– Síntese Síntese do resultadodo resultado

Exemplo 1: Figuras Exemplo 1: Figuras EscondidasEscondidas

• Problema:Problema:– Encontrar figuras escondidas em uma Encontrar figuras escondidas em uma

determinada áreadeterminada área

• Tarefa simples de busca:Tarefa simples de busca:– Como você pode trabalhar como parte Como você pode trabalhar como parte

de um time para resolvê-la?de um time para resolvê-la?

Exemplo 1: DiscussãoExemplo 1: Discussão

• Decomposição:Decomposição: dividir a área ou as dividir a área ou as figuras para a buscafiguras para a busca

• Alocação:Alocação: distribuir as sub-tarefas distribuir as sub-tarefas entre os agentesentre os agentes

• Execução:Execução: cada agente deve procurar cada agente deve procurar as figuras atribuídas a ele, ou fazer as figuras atribuídas a ele, ou fazer uma busca na área destinada a ele.uma busca na área destinada a ele.

• Síntese: Síntese: cada agente apresenta as cada agente apresenta as figuras encontradas.figuras encontradas.

Compartilhamento no Compartilhamento no problema do ToHproblema do ToH

1)1) DecomposiçãoDecomposição: se : se preocupa em sempre preocupa em sempre mover o maior disco mover o maior disco para o seu destino;para o seu destino;

2)2) AlocaçãoAlocação: escolha randômica dos agentes;: escolha randômica dos agentes;

3)3) ExecuçãoExecução: As tarefas são recursivamente : As tarefas são recursivamente decompostas até que o estado inicial e final decompostas até que o estado inicial e final sejam o mesmo;sejam o mesmo;

4)4) Síntese dos ResultadosSíntese dos Resultados: Quando um : Quando um agente resolve um problema, ele passa a agente resolve um problema, ele passa a solução para o de cima, que irá utilizá-la solução para o de cima, que irá utilizá-la para encontrar sua própria solução.para encontrar sua própria solução.

Compartilhamento em Compartilhamento em Sistemas HeterogêneosSistemas Heterogêneos

• Aplica-se quando atribuições de Aplica-se quando atribuições de subproblemas para agentes não são subproblemas para agentes não são simplessimples– agentes podem ter diferentes capacidades;agentes podem ter diferentes capacidades;– subproblemas precisam de diferentes subproblemas precisam de diferentes

capacidadescapacidades• As decisões precisam ser baseadas em As decisões precisam ser baseadas em

informações mais dinâmicas.informações mais dinâmicas.• Contract Net ProtocolContract Net Protocol• E quando os agentes não estiverem E quando os agentes não estiverem

disponíveis para executar sub-tarefas?disponíveis para executar sub-tarefas?

Compartilhamento em Compartilhamento em Sistemas HeterogêneosSistemas Heterogêneos

• Adaptações do Contract NetAdaptações do Contract Net– Contratação publicadaContratação publicada– Tentar novamenteTentar novamente– Revisão de anúncioRevisão de anúncio– Decomposições alternativasDecomposições alternativas

Compartilhamento de Compartilhamento de ResultadosResultados

• Uma mesma tarefa pode ter resultados Uma mesma tarefa pode ter resultados diferentes se executada por agentes diferentes se executada por agentes diferentes.diferentes.

• Solucionadores de problemas podem Solucionadores de problemas podem aumentar o desempenho do grupo se aumentar o desempenho do grupo se combinarem as seguintes características:combinarem as seguintes características:– ConfiançaConfiança– CompletudeCompletude– PrecisãoPrecisão– ConveniênciaConveniência

Compartilhamento de Compartilhamento de ResultadosResultados

• Complicações:Complicações:– os agentes precisam conhecer o que os agentes precisam conhecer o que

fazer com os resultados compartilhadosfazer com os resultados compartilhados– a comunicação de um grande volume de a comunicação de um grande volume de

resultados pode ser custosoresultados pode ser custoso. .

• TécnicasTécnicas::– Cooperação funcionalmente precisaCooperação funcionalmente precisa– Repositórios compartilhados e busca Repositórios compartilhados e busca

negociadanegociada– Estruturação organizacionalEstruturação organizacional

Planejamento Planejamento Multiagente (MAP)Multiagente (MAP)

• Estende o planejamento clássico para Estende o planejamento clássico para domínios onde vários agentes podem domínios onde vários agentes podem planejar e agir juntos. planejar e agir juntos.

• Suas aplicações incluem:Suas aplicações incluem:– Ambientes multi-robôsAmbientes multi-robôs– Agentes cooperativos na internetAgentes cooperativos na internet– LogísticaLogística– ProduçãoProdução– Tarefas militaresTarefas militares

Planejamento distribuídoPlanejamento distribuído

• Existem três classes de Existem três classes de planejamento distribuído:planejamento distribuído:– Planejamento centralizado de planos Planejamento centralizado de planos

distribuídosdistribuídos– Planejamento distribuído de planos Planejamento distribuído de planos

centralizadoscentralizados– Planejamento distribuído de planos Planejamento distribuído de planos

distribuídosdistribuídos

Planejamento centralizado Planejamento centralizado de planos distribuídosde planos distribuídos

• ContextoContexto::– Um problema a ser resolvido e vários agentes Um problema a ser resolvido e vários agentes

disponíveisdisponíveis– Agente coordenador Agente coordenador

• ObjetivoObjetivo: : – Encontrar, dentro de todos os planos Encontrar, dentro de todos os planos

possíveis, aquele que pode ser decomposto e possíveis, aquele que pode ser decomposto e distribuído mais eficientementedistribuído mais eficientemente

Planejamento Planejamento centralizado de planos centralizado de planos

distribuídosdistribuídos• Dado a descrição do objetivo, um Dado a descrição do objetivo, um

conjunto de operadores e um estado conjunto de operadores e um estado inicial, o coordenador deve:inicial, o coordenador deve:– Gerar um plano parcialmente ordenadoGerar um plano parcialmente ordenado– Decompor este plano em sub-planosDecompor este plano em sub-planos

• Restrições de ordenação devem ficar Restrições de ordenação devem ficar dentrodentro e não e não entreentre os sub-planos os sub-planos

– Inserir sincronizaçãoInserir sincronização– Atribuir sub-planos a agentesAtribuir sub-planos a agentes

Planejamento Planejamento centralizado de planos centralizado de planos

distribuídosdistribuídos• Algumas consideraçõesAlgumas considerações

– Nem sempre o plano que pode ser mais Nem sempre o plano que pode ser mais decomposto e mais distribuído é o decomposto e mais distribuído é o melhormelhor

– A infra-estrutura de comunicação tem A infra-estrutura de comunicação tem grande impacto na decisão de como os grande impacto na decisão de como os planos são decompostos e distribuídosplanos são decompostos e distribuídos

Planejamento distribuído Planejamento distribuído de planos centralizadosde planos centralizados

• Contexto:Contexto:– Tarefa muito complexa que requer o Tarefa muito complexa que requer o

auxílio de especialistas em cada sub-auxílio de especialistas em cada sub-tarefatarefa

• ObjetivoObjetivo– Utilizar a Utilizar a expertiseexpertise de cada agente para de cada agente para

formular sub-planos especializadosformular sub-planos especializados

Planejamento distribuído Planejamento distribuído de planos centralizadosde planos centralizados

• Planejamento pode ser feito de Planejamento pode ser feito de forma síncrona ou assíncronaforma síncrona ou assíncrona

• Síncrona:Síncrona:– A ordenação é feita durante o processo A ordenação é feita durante o processo

de planejamentode planejamento

• AssíncronaAssíncrona– Somente durante o compartilhamento Somente durante o compartilhamento

de resultados os conflitos com relação à de resultados os conflitos com relação à ordem são resolvidosordem são resolvidos

ExemplosExemplos

• Manufatura: Manufatura: – especialistas em geometria, encaixe, especialistas em geometria, encaixe,

pintura, etc.pintura, etc.

• Logística: Logística: – especialistas em planejamento de especialistas em planejamento de

caminho, carregamento de veículos e caminho, carregamento de veículos e despachedespache

• Comunicação fim-a-fim: Comunicação fim-a-fim: – especialistas no roteamento de mensagensespecialistas no roteamento de mensagens

Planejamento distribuído Planejamento distribuído de planos distribuídosde planos distribuídos

• Não existe um plano global da tarefa em Não existe um plano global da tarefa em nenhum ponto do sistema, apenas planos nenhum ponto do sistema, apenas planos parciais de relevância local parciais de relevância local

• Compatibilidade global entre esses planos Compatibilidade global entre esses planos parciais deve ser mantidaparciais deve ser mantida– evitar conflitos durante a execução evitar conflitos durante a execução

– fomentar ajuda mútua fomentar ajuda mútua

• Troca de mensagens e/ou temporização são Troca de mensagens e/ou temporização são usados para resolver interações negativas usados para resolver interações negativas entre os agentesentre os agentes

Técnicas para planejamento Técnicas para planejamento distribuído de planos distribuído de planos

distribuídosdistribuídos

• Fusão de planosFusão de planos• Construção iterativa de planosConstrução iterativa de planos• Negociação de planejadores Negociação de planejadores

distribuídosdistribuídos

Fusão de PlanosFusão de Planos

• Cada agente, individualmente, formula Cada agente, individualmente, formula planos, que podem ser executados planos, que podem ser executados separadamente sem conflitosseparadamente sem conflitos

• Um agente coleta os planos individuais e Um agente coleta os planos individuais e analisa os planos para descobrir que analisa os planos para descobrir que seqüências de ações podem levar a conflitosseqüências de ações podem levar a conflitos

• Consiste de três estágios:Consiste de três estágios:– Análise de interaçãoAnálise de interação– Análise de segurançaAnálise de segurança– Resolução de interaçãoResolução de interação

Construção iterativa de Construção iterativa de planosplanos

• Problema das abordagem anterior: às Problema das abordagem anterior: às vezes, decisões locais dependem das vezes, decisões locais dependem das ações de outros agentesações de outros agentes

• Espaço de planos x Plano ÚnicoEspaço de planos x Plano Único• Cada agente, ao invés de propor um Cada agente, ao invés de propor um

único passo, propõe um conjunto de único passo, propõe um conjunto de alternativas e, a cada iteração, alternativas e, a cada iteração, escolhe-se a que melhor se ajusta escolhe-se a que melhor se ajusta para o bem de todospara o bem de todos

Busca por Combinação Busca por Combinação de planosde planos

Dadas proposições iniciais sobre o mundo:Dadas proposições iniciais sobre o mundo:• Agentes formam estado sucessores Agentes formam estado sucessores

propondo mudanças causadas por uma propondo mudanças causadas por uma açãoação

• É escolhido o melhor estado sucessor e É escolhido o melhor estado sucessor e esta escolha é expandida (heurística A*)esta escolha é expandida (heurística A*)

• O processo é repetido até que nenhum O processo é repetido até que nenhum agente queira propor mais mudanças.agente queira propor mais mudanças.

Negociação de planejadores Negociação de planejadores distribuídosdistribuídos

• Principais ferramentas:Principais ferramentas:– A linguagem utilizada pelos A linguagem utilizada pelos

participantesparticipantes– O protocolo seguido durante a O protocolo seguido durante a

negociaçãonegociação– O processo de decisão usado para O processo de decisão usado para

determinar suas posições, concessões e determinar suas posições, concessões e critérioscritérios

Atributos Ideais do Atributos Ideais do Mecanismo de NegociaçãoMecanismo de Negociação

• EficiênciaEficiência• EstabilidadeEstabilidade• SimplicidadeSimplicidade• DistribuiçãoDistribuição• SimetriaSimetria

Planejamento Distribuído Planejamento Distribuído ContínuoContínuo

• Planejamento e execução intercaladosPlanejamento e execução intercalados• Um agente deve planejar continuamente Um agente deve planejar continuamente

quando:quando:– Aspectos do mundo podem mudar Aspectos do mundo podem mudar

dinamicamentedinamicamente– Aspectos do mundo são revelados Aspectos do mundo são revelados

incrementalmenteincrementalmente– Pressão do tempo faz com que a execução Pressão do tempo faz com que a execução

comece antes do plano ter sido totalmente comece antes do plano ter sido totalmente geradogerado

– Os objetivos podem evoluir com o tempoOs objetivos podem evoluir com o tempo

Planejamento distribuído e Planejamento distribuído e execuçãoexecução

• Coordenação pós-planejamentoCoordenação pós-planejamento– Planejamento de contingênciaPlanejamento de contingência

• Coordenação pré-planejamentoCoordenação pré-planejamento– Leis de sociabilidadeLeis de sociabilidade

• Coordenação de planos em tempo de Coordenação de planos em tempo de execução sem comunicaçãoexecução sem comunicação– Coordenação de planos baseada em observaçõesCoordenação de planos baseada em observações

• Planejamento, coordenação e execução Planejamento, coordenação e execução intercaladosintercalados– PGP: Planos Globais ParciaisPGP: Planos Globais Parciais

Planejamento, coordenação Planejamento, coordenação e execução intercaladose execução intercalados

• Decomposição de tarefasDecomposição de tarefas• Formulação de planos locaisFormulação de planos locais• Abstração de planos locaisAbstração de planos locais• Identificação de objetivos globais Identificação de objetivos globais

parciais parciais • Ação em planos globais parciaisAção em planos globais parciais• Modificação em andamentoModificação em andamento• Re-alocação de tarefasRe-alocação de tarefas

Exemplos de projetos Exemplos de projetos existentesexistentes

• Coordination of Distributed ActivitiesCoordination of Distributed Activities (CODA)(CODA)– Disseminação de informações entre os Disseminação de informações entre os

agentes planejadores do sistema agentes planejadores do sistema (coordena planejadores humanos)(coordena planejadores humanos)

– Interação de usuários humanos durante Interação de usuários humanos durante todo o processo de planejamentotodo o processo de planejamento

– Três considerações dirigem a Três considerações dirigem a coordenação:coordenação:• SeletividadeSeletividade• Conveniência (Conveniência (TimelinessTimeliness))• Não-intrusãoNão-intrusão

CODACODA

Exemplos de projetos Exemplos de projetos existentesexistentes

• Multiagent Planning ArchitectureMultiagent Planning Architecture ((MPAMPA))– Arquitetura para problemas sofisticados de Arquitetura para problemas sofisticados de

planejamentoplanejamento– Provê protocolos para o compartilhamento Provê protocolos para o compartilhamento

do conhecimento e capacidades entre os do conhecimento e capacidades entre os agentes agentes

– Tem sido usada para desenvolver vários Tem sido usada para desenvolver vários sistemas de solução de problemas de larga sistemas de solução de problemas de larga escala para o domínio do escala para o domínio do Air Campaign Air Campaign Planning (ACP)Planning (ACP)

MAPMAP

• Agentes planejadores genéricos (PAs) Agentes planejadores genéricos (PAs) provêem serviços específicosprovêem serviços específicos

• Capazes de reportar progressos Capazes de reportar progressos incrementais provendo planos completos incrementais provendo planos completos ou parciaisou parciais

• Meta PAs coordenam as atividades destes Meta PAs coordenam as atividades destes agentes com conhecimento especializado agentes com conhecimento especializado em estratégias de:em estratégias de:– Divisão de tarefasDivisão de tarefas– Resolução de conflitosResolução de conflitos– Fusão de planos(prevista)Fusão de planos(prevista)

ConclusãoConclusão

• Há várias técnicas e ferramentas Há várias técnicas e ferramentas para Planejamento Distribuídopara Planejamento Distribuído

• Desafio é caracterizar ferramentas e Desafio é caracterizar ferramentas e aplicações.aplicações.

• Outro problema é administrar o Outro problema é administrar o vazio na especificação do termo vazio na especificação do termo “planejamento distribuído”“planejamento distribuído”

ReferênciasReferências• Wooldridge, M. J.: An Introduction to Wooldridge, M. J.: An Introduction to

MultiAgent Systems. John Wiley and Sons, 2002.MultiAgent Systems. John Wiley and Sons, 2002.• Weis, G.: Multiagent Systems – A Modern Weis, G.: Multiagent Systems – A Modern

Approach to Distributed Artificial IntelligenceApproach to Distributed Artificial Intelligence• A Multiagent Planning Architecture A Multiagent Planning Architecture • CODA: CODA: http://www.http://www.aiai..srisri.com/~coda/.com/~coda/ • MAP: MAP: http://www.http://www.aiai..srisri.com/project/.com/project/mpampa • Ferber, J.: Multi-Agent Systems – An Ferber, J.: Multi-Agent Systems – An

Introduction to Distributed Artificial IntelligenceIntroduction to Distributed Artificial Intelligence• Mardhana, E.: Overview of Distributed Mardhana, E.: Overview of Distributed

Collaborative Planning: Concepts and Collaborative Planning: Concepts and ApplicationsApplications