sistema manejador de ambientes reconfigurables para

Computación y Sistemas Vol.3 No.3 pp. 169- 181@ 2000, C1C -IPN. ISSN 1405-5546 Impreso en México

Sistema Manejador de Ambientes Reconfigurables para

Procesamiento Paralelo /Distribuido

F .J .HidroboSUMA. Facultad de Ciencias

Universidad de los Andes.La Hechicera.5101. Mérida. Venezuela.

e-mail: [email protected]. ve

J .L. AguilarCEMISID

Universidad de los Andes. La Hechicera.5101. Mérida. Venezuela.e- mail:aguilar@ing. ula. ve

Artículo recibido el19 de febrero, 1999; aceptado el 29 de noviembr~~

Introd ucciónResumen 1

En este artículo se presenta el diseño de un Sistema

Manejador de Ambientes Reconfigurables para proce-

samiento Paralelo/Distribuido. Así, se proponen dos

enfoques de diseño, uno en el que el programa se adapta

al sistema, y otro que sigue el procedimiento inverso.

Los enfoques son basados en la teoría de grafos, por lo

que se presentan varios problemas de tipo NP-completos

a ser resueltos en la implementación del sistema. Un

primer problema es el de particionamiento de grafos

(agrupamiento de las tareas), y otros dos problemas son

la determinaci6n del máximo D-acoplamiento o del ci-

clo hamiltoniano del grafo de agrupamiento. Se usan los

Algoritmos Gen éticos como técnica para encontrq;r bue-

nas soluciones a dichos problemas.

Palabras Clave: Ambientes reconfigurables, Proce-samiento paralelo y distribuido, Gestión de procesos,Sistemas operativos distribuidos, AIgoritmos Gen éticos.

La utilización de máquinas masivamente paralelas enel campo científico se ha incrementado aceleradamenteen los últimos años. Muchas aplicaciones secuencialesde altos requerimientos computacionales están siendomigradas a plataformas paralelas. Sin embargo, es posi-ble observar que estos procesos de migración o de con-strucciÓn de programas paralelos refleja, en muchos ca-sos, características particulares de la plataforma de co-municaciÓn en la cual se deberían ejecutar (plataformaideal de ejecución); es decir, las aplicaciones estánatadas a una topología de comunicación. En este sen-tido, se necesitaría una amplia variedad de topologíaspara dar servicio a todas las posibles aplicacioues (Ba-iardi et al., 1994; Talbi, 1994; Aguilar, 1995; Hidrobo y

Aguilar,1996).Por otro lado, el rendimiento de un programa paralelo

depende, en gran medida, de la configuración de la ar-quitectura sobre la cual se este ejecutando (Aguilar yKluol, 1997; Baiardi et al.; 1994; Brazier y Johansen,1994; Casavant y Singha, 1994; Aguilar y Gelenbe,1997). El desarrollo de programas paralelos con la re-stricciÓn de tener que adaptarse a una topología comu-nicacional fija es un procedimiento difícil y poco natu-ral. La búsqueda del mejor algoritmo para resolver unproblema dado, no debe tener restricciones topológicas.Esto plantea la necesidad de disponer de plataformasreconfigurables que den un mayor grado de flexibilidad

y disponibilidad.Una arquitectura paralela es reconfigurable si la

topología de su red de interconexión puede cambiar enfunción de los programas que van a ejecutarse sobre ella,o bien, si se pueden realizarse transformaciones en losprogramas para que se adapten a la topología sin per-didas significativas en sus rendimientos (Kramer, 1985;Adano y Trejo, 1994; Baiardi et al., 1994; Talbi, 1994;Hidrobo y Aguilar, 1996). Las arquitecturas paralelas

169

F. J. Hidrobo y J. L. Aguilar' Sistema Manejador de Ambientes Reconfigurables para Procesamiento Paralelo/Distribuido

reconfigurables han sido usadas en multiprocesadores amemoria compartida. Estos últimos años han empeza-do a ser usados en arquitecturas a memoria distribuida.Por consiguiente, son muchos los esfuerzos que se estánrealizando en las áreas de arquitectura de computadoresy sistemas operativos dirigidos, principalmente, a hacermas eficientes estas plataformas (Tanenbaum, 1995; Ca-savant y Singha, 1994; Brazier y Johansen, 1994; Sta-llings, 1991). No obstante, los problemas asociados a laadaptación de las aplicaciones a las plataformas o vice-versa están lejos de ser completamente resueltos.

En este sentido, son varios los trabajos que se encuen-tran en la literatura para solventar estos problemas deadaptación (reconfiguración) a nivel de sistema operati-vo (Kramer, 1985; Adano y Trejo, 1994; Baiardi et al.,1994; Talbi, 1994; Aguilar, 1995; Johnson et al, 1996;Aguilar y Gelenbe, 1997; Aguilar y Kluol, 1997; Sta-llings, 1997), los cuales son problemas que no se presen-tan en los sistemas operativos para máquinas secuencia-les. Dichos mecanismos adaptativos forman parte delsistema de gestión distribuida de procesos en los siste-mas operativos distribuidos o paralelos. En este trabajonosotros nos dedicamos a estudiar estos problemas, yproponemos mecanismos de solución basados en la teoríade grafos. Así, el trabajo apunta hacia la conceptualiza-ción y el modelado de las plataformas de procesamientoparalelo/distribuido, así como al análisis y solución delos problemas asociados a la adaptación de las aplica-ciones a dichas plataformas, o viceversa.

se busca es mantener una carga total equilibradaentre los diferentes recursos del sistema, tomandoen consideración las características particulares decada procesador, de la aplicación, del sistema de co-municación, etc. La Figura 1 muestra la situaciónque puede presentarse por desequilibrio de carga;en este caso, existen algunos nodos que tienen unnivel de ocupación mucho mayor que otros. Cuan-do se desea optimizar el rendimiento de la plata-forma de procesamiento, se debe asegurar que lacarga esta uniformemente repartida (procesadoreshomogéneos), ya que de esta manera todos los pro-cesadores tendrán un uso similar y no habrá proce-sos compitiendo por un procesador mientras hayaotros libres.

P'oc-,

,,~-

~

Red de Interconexión

/,

JL"",a...

--. p,~-,"000*',

2 Marco Teórico Figura 1: Ambiente de procesamiento sin equilibrio decargaMotivación2.1

.Migración de procesos: es la transferencia delestado de un proceso desde una máquina a otra, pa-ra que el proceso pueda continuar su ejecución en lamáquina destino. Esta migración se realiza, prin-cipalmente, para asegurar el equilibrio de la cargao para garantizar la culminación de las tareas (porfalla en algún procesador), aunque la aplicación deeste concepto se extiende más allá de estos campos.

Un Sistema Operativo Distribuido (SOD) gobierna laoperación de un sistema informático distribuido y pro-porciona una abstracción de máquina virtual a sus usua-rios (Tanenbaum, 1995; Stallings, 1997). El objetivo ba-se de un SOD es la transparencia, es decir, que los com-ponentes y recursos se puedan acceder en el momento ylugar en que sean requeridos. Además, los SOD propor-cionan medios para compartir recursos.

En los SOD existen un conjunto de aspectos claves aconsiderar no comunes en los sistemas operativos tra-dicionales; entre ellos tenemos la gestión distribuida deprocesos, la cual permite utilizar eficientemente los dife-rentes recursos del sistema por parte de las aplicaciones.Entre los aspectos a considerar para realizar esta tarea,tenemos (Brazier y Johansen, 1994; Casavant y Singha,1994; Tanenbaum, 1995; Stallings, 1997):

.Asignación de procesos: es el proceso de deci-sión que se realiza con cada proceso en el sistema,para asignarle un procesador o algún otro recurso(Aguilar y Kluol, 1997). Para realizar tal decisiónse pueden usar muchos criterios, tales como equili-brio de la carga en el sistema, minimización de lacomunicación entre procesos comuminantes, mini-mización de la interferencÍa entre procesos concu-rrentes, etc. En la literatura, han sido implemen-tados muchos esquemas para realizar estas tareas.Algunos de ellos están en (Aguilar, 1995; Aguilar y

.Equilibrio de la carga: es una de las alternativasal distribuir la carga total en un sistema (la otra esla repartición de la carga). En este Caso, lo que

170

F. J. Hidrobo y J. L. Aguilar: Sistema Manejador de Ambientes Reconfigurable~ para Procesamiento Paralelo/Distribuido

Gelenbe, 1997; Aguilar y Kluol, 1997). programa es el que se adapta al ambiente de pro-cesamiento a través de un esquema de agrupaciónde procesos y asignación de los mismos al sistemasegún ciertos criterios. En este trabajo, nos dedica-remos a hacer propuestas para ambos casos.

.Descomposición de programas y Multipro-gramación: Las máquinas paralelas permiten,en principio, que un programa pueda ser divi-dido en tareas las cuales pueden ejecutarse si-multáneamente (Casavant y Singha, 1994; Aguilar,1995; Stallings, 1997). Sin embargo, es probableque el número de tareas obtenidas sea mayor que elnúmero de procesadores disponibles; por lo cual al-gunas tareas deben esperar por algún procesador ocompetir por este (Casavant y Singha, 1994; Agui-lar, 1995; Stallings, 1997). Esto último es conoci-do como multiprogramación. Así, cuando se deseaejecutar varias tareas en una misma máquina pue-de emplearse la multiprogramación, a sabiendas deque esto podría degradar significativamente el ren-dimiento de cada procesador y/o programas por lainterferencia en el procesamiento de tareas que de-berían ser ejecutadas en paralelo.

2.2 Ambientes Reconfigurables de Pro-cesamiento Paralelo /Distribuido

.Interconexión entre los procesadores: La for-ma de interconexión de los procesadores del sistematiene un gran influencia en el ancho de banda y pun-to de saturación de las comunicaciones en el siste-ma (Brazier y Johansen, 1994; Casavant y Singha,1994). En este sentido, para la tarea de gestión derecursos, la escalabilidad es la propiedad más rele-vante a estudiar , entendiéndose como la capacidaddel sistema de soportar el mayor número de enlacesentre procesos comunicantes ubicados en distintos

lugares.

.Tolerancia a fallas: un sistema falla cuando al-guno de sus componentes tiene un problema (malfuncionamiento, etc. ) .En ciertos sistemas, una fa-lla puede ser catastrófica; así, hacerlos tolerantes afallas es fundamental. Existen diferentes nocionesque deben ser usadas para hacer un sistema tole-rante a fallas, tales como la migración de procesos,la reconfiguración de máquinas, etc (Tanenbaum,1995; Stallings, 1997). En este último caso, lo quese busca es tomar en cuenta la nueva topología deinterconexión después que una falla a ocurrido, seaa nivel de los procesadores o de los canales de comu-nicación, para que los programas puedan continuarsu ejecución.

Tradicionalmente, cuando se habla de arquitecturas pa-ralelas reconfigurables, se hace referencia a aquellos sis-temas donde la red de interconexión no es fija, sino quees definida en función del programa que se va a ejecu-tar (Kramer, 1985; Adano y Trejo, 1994; Baiardi et al.,1994; Talbi, 1994; Hidrobo y Aguilar, 1996). Es decir,la reconfigurabilidad de ambientes de procesamiento pa-ralelo se refiere bá...icamente a la posibilidad de definirla topología de interconexión de los procesadores paracada aplicación. Dicha definición se refiere al númerode procesadores y los enlaces entre ellos; de esta maneraquedará identificada una topología particular .

Es posible que la definición hecha pueda realizarsede forma real, es decir, los procesadores se interconec-tan físicamente como la indica la topología especifica-da; en este caso se estaría hablando de reconfigura-ción por hardware o reconfiguración por hardware pro-gramable ( switching). Alternativamente, la definicióntopológica puede hacerse completamente por software,implementándose a través de una topología virtual. Eneste caso, la creación y la manipulación de dicha topo-logía se hace por software.

Bajo el esquema de topología virtual, la interconexiónreal de los procesadores sólo es conocida por el SistemaManejador del Ambiente (SMA). El SMA debe de-terminar la topología sobre la cual se debe ejecutar unaaplicación dada, para generarla virtualmente. Ademá...,realizarátodas las tareas de gestión sobre esa topología,de manera de optimizar el tiempo de ejecución de laaplicación.

Si la reconfiguración se realiza antes de iniciarse la eje-cución del programa, se esta hablando de una reconfi-guración estática, de la contrario, si ésta es modificableen el curso de la ejecución de un programa y / o de laoperación del sistema, se habla de una reconfiguracióndinámica.

.Manejo del sistema reconfigurable: otro as-pecto clave a definir es el mecanismo que se usarápara asegurar una ejecución eficiente de los proce-sos. En este sentido, existen dos esquemas a seguir ,uno a través del cual el Ambiente de procesamien-to se adapta al flujo de ejecución de los programas,( en particular , su sistema de interconexión por locual debe ser reconfigurable); y el otro en el cual el

2.2.1 Caracterización de los Ambientes de Pro-cesamiento Paralelo /Distribuido

Un ambiente de procesamiento Paralelo/Distribuido(APPD) puede definirse como una plataforma compues-ta de diversos recursos (Procesadores, Sistemas de Co-municación, Discos, Memoria, Sistema Operativo, etc.)que proveen servicios computacionales a aplicaciones

F. J. Hidrobo y J, L. Aguilar' Sistema Manejador de Ambientes Reconfigurables para Procesamiento Paralelo/Distribuido

que resuelven problemas específicos (Brazier y Johan-sen, 1994; Casavant y Singha, 1994; Tanenbaum, 1995).La descripción de un APPD se hace en término de loscomponentes del mismo y de la interrelación entre éstos.A continuación, se presentan algunos de los componen-tes de un APPD:

.Cambios dinámicos en el Código de Ejecución: estopuede generar cambios en la jerarquía de ejecuciónde los procesos de un programa (implicando, posi-blemente, un cambio en la topología de comunica-ción) y en la carga de trabajo en el sistema.

.Cambios debido a la Multiprogramación: Estoocurre cuando llegan nuevos programas al siste-ma o cuando culminan viejos programas, la queimplica demanda/liberación de recursos, aumen-to/disminuciÓn de la carga de trabajo en el sistema,etc.

.Unidades de procesamiento ( CPU's)Responsable de las tareas de control y ejecución delos procesos. Caracterizadas, principalmente, porla capacidad de memoria y la v()locidad relativa (larelación entre la velocidad del cPU y la velocidadde algún CPU que sea tomado como referencia paratodos).

3 Propuesta de diseño del Siste-

ma Manejador del Ambiente

A continuación se presenta el esquema global de funcio-namiento del SMA, y de los módulos que la componen.Además, se describe detalladamente el núcleo adminis-trador del sistema.

.Sistema de interconexiónRepresenta los mecanismos, la topología y la tecno-logía usada para la comunicación entre las unidadesde procesamiento.

.Aplicaciones de gestión (Ejemplo: Asignación detareas, Balance de cargas , etc. )Estas permiten definir los esquemas/políticas utili-zadas para administrar los recursos en el sistema,con el fin de optimizar el rendimiento.

3.1 Funcionamiento del SMA

El funcionamiento del sistema esta compuesto por lastres etapas siguientes: caracterización del sistema y delas aplicaciones, reconfiguración del sistema y asignaciónde las tareas (figura 2).

.Estructura de las aplicaciones (paradigma de pro-

gramación paralela)Expresa el flujo de ejecución y las características co-municacionales de las aplicaciones. Normalmente,dicha estructura es representada usando un grafode tareas, con la respectiva descripción de cada ta-rea y los requerimientos de comunicación entre lasmismas.

2.2.2 Sistema Manejador del Ambiente (SMA)

El SMA es el ente que realiza todo el procesos de adap-tación entre el APPD y las aplicaciones en el sistemade gestión distribuido; por consiguiente, sirve como me-diador entre la plataforma paralela y las aplicacionesdel usuario (Kramer, 1985; Baiardi et al., 1994; Tanen-baum, 1995; Hidrobo y Aguilar , 1996). Específicamente,el SMA debe optimizar el uso de los recursos (CPUs)minimizando el tiempo de ejecución de múltiples aplica-ciones con diversos requerimientos. Desde el punto devista global, el SMA debe considerar:

.Cambios en la Estructura del Sistema: son deriva-dos por modificaciones en los recursos que posee elsistema, debido a fallas o mantenimiento de estos,nuevos recursos en el sistema, etc.

.Optimización del Uso de los Recursos: de esta ma-nera se responde a necesidades tales como equili-brar la carga en el sistema, minimizar los tiemposde ejecución de los programas, etc.

Figura 2: Módulos del SMA

3.1.1 Caracterización del sistema y de las apli-caciones

Una aplicación paralela/distribuida puede modelarsemediante un grafo Gp = (Vp, Ep) donde los vertices re-presentan las tareas (procesos) y los pesos de los verticesrepresentan los tiempos de ejecución ( estimados o cono-cidos) para esas tareas( ver figura 3) (Aguilar, 1995;

172

F. J. Hidrobo y J. L. Aguilar: Sistema Manejador de Ambientes Reconfigurables para Procesamiento Paralelo/Distribuido

.El número de tareas de los programas (n) y el flujode ejecución de las tareas, conocido como el grafode los procesos (Gp)

Johnson et al, 1996). Los arcos representan los reque-rimientos comunicacionales entre los procesos, en par-ticular, sus pesos modelan la cantidad de información atransferir entre los procesos. Este esquema de represen-tación asume que el grafo de la aplicación es estático,puesto que no hay generación dinámica de procesos. Reconfiguración del Sistema3.1.2

La re configuración del sistema es la parte fundamentalde la propuesta, llamado también núcleo administradordel sistema, el cual comprende la agrupación de los pro-cesos y el acoplamiento (mapeo) del grafo de los proce-sos sobre la topología de interconexión de la plataforma.La reconfiguración se está entendiendo como un procesoque de forma transparente realiza las transformacionesnecesarias para optimizar el rendimiento de la aplicaciónsobre la plataforma. Se ha separado el funcionamientode este módulo en dos etapas, como se muestra en lafigura 5, una de análisis estático y otra de acoplamientotopológico. En la siguiente sección se explicará detalla-damente este módulo.

Gp -(Vp'Ep)Aplicación Paralela

~~)''~

~J(J (~) (

,O"\\~O

Figura 3: Representación de la aplicación

Bajo un esquema similar, la arquitectura paralela semodela a través de un grato conexo no dirigido Gt =(Vt, EJ, donde los vertices representan procesadores ylos arcos enlaces de comunicación entre los mismos, estose ilustra en el ejemplo de la figura 4. De esta manera,el sistema quedará descrito por:

Figura 5: Etapas del módulo de reconfiguración

3.1.3 Asignación de las tareasV,~IP1'P2' ,p,}

En esta fase, se asignarán las tareas a los procesado-res según lo indicado por el grafo de agrupamiento yel acoplamiento hechi en la fase anterior, creándose yejecutándose los procesos de control necesarios, lo cualinvolucra la definición de una tabla de procesos para laaplicación y una entrada en la tabla general de aplica-ciones para el sistema. Es en esta etapa donde cadaproceso es enviado a un procesador, registrándose la in-formación referente a la ubicación, tiempo de creación,estado, etc.

Figura 4: Ejemplo de representación de la arquitecturamediante grafos

.Las características de la arquitectura paralela:número de enlaces máximo por procesador (Dma:¡:),número de procesadores en el sistema (K), topo-logía de interconexión de los procesadores (Gt), etc.

173


3.2 Diseño del N úcleo administrador delsistema

* Generación de la Topología Virtual: Unavez que se tiene el grafo de agrupamiento,se genera la topología virtual sobre la pla-taforma computacional que satisface losrequerimientos del grafo.

3.2.2 Especificación detallada de las alternati.vas

Como se dijo antes, el núcleo administrador del sistemase encarga de la etapa de reconfiguración del mismo,el cual debe resolver los problemas de agrupación delas tareas y acoplamiento de la topología del grafo deejecución a la plataforma.

En nuestro SMA proponemos dos alternativas para eldesarrollo del núcleo administrador. Una primera al-ternativa trata de adaptar el grafo de ejecución de lastareas a la topología real del sistema ( adaptación de laaplicación), y una segunda alternativa genera una to-pología virtual de interconexión de los procesadores lacual se adapta al grafo de ejecución de las tareas ( adap-tación del sistema). En este último caso, se debe hacerla gestión de esa topología virtual.

La primera parte del núcleo administrador, que consisteen agrupar las tareas, se modela como un problema departición de grafos (ver sección 3.2.3} donde el númerode grupos de tareas es igual al número de procesadoresdel sistema. Así, la agrupación de tareas es resuelta co-mo un problema de partición de grafo, donde los verticesdel grafo representan las tareas, los arcos representan lascomunicaciones entre las tareas y k (número de parti-ciones} representa la cantidad de procesadores.

La segunda parte, en la cual se intenta mapear el gra-fo de ejecución sobre la topología, puede ser desarrolladabajo dos enfoques distintos, el primero basado en la ve-rificación de las restricciones del sistema, y el segundobasado en la topología virtual. En ambos casos, el ma-peo del grafo de agrupamiento sobre la topología de in-terconexión se convierte en un algoritmo de asignación.En el caso de verificación de las restricciones del sistemase presentan dos alternativas.

3.2.1 Esquema general

Como se indicó en la sección 3.1.2, el esquema generalde funcionamiento del núcleo administrador consta delas dos etapas, las cuales son:

.Etapa de Análisis Estático:. En esta etapa se de-terminan y calculan los parámetros de evaluaciónde la función objetivo (Costos de Comunicación, de

Ejecución, etc).

.Etapa de Acoplamiento Topológico: En esta etapa,según la alternativa escogida, se pasa a la fase deadaptar al sistema o al programa:

.Esquema basado en la verificación de las res-tricciones del sistema

La parte de verificación de las restricciones delsistema es compleja. En este caso, lo que sebusca es que el grafo de agrupamiento de ta-reas sea lo más parecido al grafo de interconexiónde los procesadores del sistema. Este problemapuede ser definido como un problema de máximoDmax-acoplamiento, en el cual, lo que se busca esminimizar el número de arcos eliminados del grafode agrupamiento tal que el grado de cualquier nodode ese grafo sea menor o igual a Dmax (Dmax repre-senta el grado máximo del grafo de interconexión dela arquitectura). El grafo final que se obtiene de es-te proceso tiene que ser conexo. Este problema, conesta última restricción es NP-completo (Narsingh,1974; Johnson y Gakey, 1979; Foulds, 1984), por loque se proponen dos algoritmos para resolverlo:

I. Primer Algoritmo:

Buscar el Circuito Hamiltoniano máximodel grafo de agrupamiento (ver sección3.2.3). En este caso, se supone que el gra-fo de la plataforma tiene un circuito ha-miltoniano para poder realizar el mapeo

-Primera Alternativa: ( adaptación de la apli-cación)

* Agrupación de tareas: tal que el númerode grupo.s de tareas sea el mismo que elnúmero (K) de procesadores en el sistema.Este nuevo grafo se denominarágrafo deagrupamiento G~ .

* Verificación de las Restricciones del sis-tema Físico: en este caso, es necesario e-liminar el menor número de arcos del gra-fo de agrupamiento, tal que se adapte alnúmero máximo de enlaces (Dmax) quepuede tener cada procesador del sistema.Además, se debe asegurar que el grafo deresultante sea conexo para garantizar queno existen grupos de tareas aislados queno podrán comunicarse como estaba pre-visto en el grafo de la aplicación.

-Segunda Alternativa: (adaptación del siste-ma)

* Agrupación de tareas: Esta fase es la mis-ma que para la otra alternativa.

174

F.J. Hidrobo y J. L. Aguilar: Sistema Manejador de Ambientes Reconfigurables para Procesamiento Paralelo/Distribuido

.Esquema basado en topología virtual

El algoritmo basado en topología virtual trata deasignar los nodos (vertices) del grafo de agrupa-miento sin necesidad de realizar eliminaciones dearcos. Así, todos los arcos del grafo de agrupamien-to permanecerán en la asignación definitiva. Estose logra estableciendo enlaces entre nodos no veci-nos del grafo de la plataforma. El macroalgoritmoque describe el funcionamiento de este esquema sepresenta a continuación:

-~ ¿:::K (N: -~n 2Fa -L aij + b z=l o. L..ti=l pi/ K)

K

175

i,jED

(1)

FoJo Hidrobo y Jo Lo Aguilaro Sistema Manejador de Ambientes Reconfigurables para Procesamiento Paralelo/Distribuido

donde:

aij = peso del arco entre el vertice i y el vertice

j.D = { i E Gm & j E G¡ & I # m} tal que, Gmy G¡ son subgrafos de G.NG. = suma de los pesos de los vertices en el

subgrafo Gzb = factor de equilibrio, O ~ b ~ 2

K = número de subgrafos

3. La mejor solución que da el AG define el grafode agrupamiento.

.Circuito Hamiltoniano MáximoEl circuito hamiltoniano es un camino cerrado quepasa por todos los vertices de un grafo una y So-lo una vez. El circuito hamiltoniano máximo re-presenta el circuito que involucra los arcos de ma-yor peso (Narsingh, 1974; Johnson y Gakey, 1979;

Foulds, 1984).

En términos de nuestro sistema, lo que se quiere esencontrar un circuito hamiltoniano máximo en elgrafo de agrupamiento, con el objeto de mapear di-rectamente la mayor cantidad posible de arcos delgrafo de agrupamiento (comunicaciones) sobre latopología de la plataforma. Esta alternativa puedeaplicarse siempre y cuando la plataforma tenga uncircuito hamiltoniano. En nuestro caso, p~a resol-ver este problema se toma como base el AG parael agente viajero propuesto en (Hidrobo y Aguilar ,1998). A continuación, se describe el procedimientoque sigue el SMA:

tomando como puntos de inicio el procesadorcon mayor número de enlaces y el nodo delgrafo de agrupamiento con mayor volumen decomunicación. Así, se realiza la asignación decada nodo del grafo de agrupamiento a un pro-cesador de la plataforma.

.Máximo D-acoplamientoEl problema de acoplamiento consiste en hallar unconjunto de arcos, los cuales no son adyacente en-tre ellos, por lo cual, no tienen vertices en común(Narsingh, 1974; Foulds, 1984; Johnson y Gakey,1979). El problema de máximo D-acoplamiento deun grafo G=(V,A) es un subconjunto de A (A*) talque para todo Vi que pertenezca a V, el subconjuntode arcos de A * del cual Vi es una extremidad A * ( Vi) ,

verifica la siguiente restricción: A*(Vi) <= D, detal forma que ese subgrafo A* es el de cardinalidadmáxima entre todo el conjunto de subgrafos posi-bles de A.

En el problema de asignación de tareas, lo que sedesea es hacer un mapeo óptimo de las tareas deuna aplicación sobre los procesadores de una plata-forma. En estos términos, el problema de máximoD-acoplamiento puede ser utilizado como base paradefinir un mapeo que maximice el número de enla-ces de la plataforma que son utilizados, minimizan-do el número de arcos del grafo de agrupamientoque deben ser eliminados.

El acoplamiento máximo tiene como objetivo el usomáximo de los enlaces de la plataforma. Para estecaso, los individuos del AG representarán solucio-nes al problema de máximo D-acoplamiento. Parala codificación de los individuos se usará un arreglode valores enteros, donde la posición i del arreglorepresenta al procesador i y el valor del arreglo enla posición i contiene el nodo del grafo de agrupa-miento que ha sido asignado al procesador i,

A continuación se presenta el macroalgoritmo quesigue el SMA para resolver este problema:

1. Se toma cómo grafo de entrada el grafo deagrupamiento generado en la etapa 1.

2. Se aplica un AG para resolver el problema dehallar el circuito hamiltoniano máximo, el cualmaximiza la siguiente función objetivo:

Fc = L aij

i,jED

(2)1. Se toma como grafo de entrada el grafo de

agrupamiento generado en la etapa 1.

2. Se aplica un AG para resolver el problema demáximo D-acoplamiento, el cual maximiza la

función objetivo:donde'

(3)

n n

Pc = LLaij * tUiUj

i=l k=l

donde:


j en el grafo de la aplicación.


j.D = todo81o8vertice8delgrafotalque{i # j}

3. La mejor solución dada por el AG se tomacomo el circuito hamiltoniano máximo.

4. El circuito hamiltoniano máximo se mapea so-bre el circuito hamiltoniano de la plataforma


de ejecución, que se emplea para comunicar dos ta-reas dadas. Sus rangos son, alto: (30 -50), medio:

(15 -20) y bajo: (2 -lo)

Tomando en cuenta los parámetros anteriores y lasaplicaciones comunes en un APPD, se han definido lossiguientes tipos de aplicaciones:

1. Grano fino con mucllos procesos y poca comunica-ción. (NT= alto, TPT=bajo, VCP=bajo)

tij = 1 si el procesador i tiene enlace directocon el procesador j, de lo contrario O.Ui = número del proceso que se asignó al pro-cesador i.Además, Dmaz es el número máximo de enla-ces de los procesadores de la plataforma.

3. La mejor solución del AG es el máximo Dmaz-acoplamiento.

4. Dicha solución es usada para hacer la asigna-ción directa de los nodos del grafo de agrupa-miento a los procesadores de la plataforma. 2. Grano fino con alta dependencia de datos. (NT=

alto, TPT=bajo, VCP=alto)

3. Grano medio con comunicación media. (NT= me-dia, TPT=media, VCP=media)

4 Pruebas y resultados

4.1 Descripción de las aplicaciones 4. Grano medio con alta dependencia de datos. (NT=media, TPT=media, VCP=alto )Desde el punto de vista experimental, es necesario ca-

racterizar las aplicaciones a las cuales el sistema daráservicios. Así, deben definirse los mecanismos de repre-sentaciÓn y los tipos de aplicaciones en el sistema.

5. Grano grueso con muchas tareas y poca dependen-cia de datos. (NT= alto, TPT=alto, VCP=bajo)

6. Grano grueso con pocas tareas y muy poca comu-nicación. (NT= bajo, TPT=alto, VCP=bajo)Estructura de las aplicaciones4.1.1

Las aplicaciones se representaran a través de un grafo(ver sección 3.1.1}. Para la implementación, se tiene unarreglo de n elementos, cada uno de esos elementos esuna tarea con el tamaño de la misma (p.e: su tiempo deejecución}. La matriz de adyacencia se puede convertiren una matriz de pesos, lo cual indicará el tiempo quese requiere para la comunicación entre dos tareas dadas.Un valor de cero (0} en dicha matriz indicara que noexiste comunicación entre esas dos tareas.

Ademá8, se define un parámetro que refleja la cantidadde enlaces que tiene cada tarea; el cual permite medir elvolumen de arcos del grafo de la aplicación, su profun-didad y su uniformidad ( en cuanto a número de arcospor nodo). De esta manera, se describen tres grupos:

número bajo de arcos por tarea (2-4)

número alto de arcos por tarea (6-8)

número de arcos por tarea que va entre mediano y alto(5 -10)4.1.2 Tipos de aplicaciones

La aplicaciones se clasifican tomando en cuenta tresparámetros, cuyos valores pueden variar según tres ran-gos: alto, medio y bajo. Los parámetros y sus rangosson:

Con este parámetro adicional, se generan tres cate-gorías por cada tipo de aplicación.

4.2 Evaluación del núcleo administradordel sistema.Número de tareas (NT): Cuantos procesos, concu-

rrentes o no, componen la aplicación. Sus rangosson, alto: (50 -70), medio: (20 -30) y bajo: (5 -

10)

Las pruebas del núcleo administrador del sistema per-siguen, por una parte comprobar la efectividad del es-quema propuesto, y por otro lado, comparar las diver-sas alternati vas en la fase de mapeo para diferentes ca-racterísticas de las aplicaciones y de la plataforma delambiente. Para cumplir tales objetivos, se simuló unambiente computacional paralelo que perrni~e compa-rar las alternativas según dos aspectos: sus tiempos deejecución y el volumen de comunicación que no puedeser mapeado directamente del grafo de ejecución de laaplicación al grafo de interconexión de los procesadores.

.Tamaño promedio de las tareas (TPT): Tiempopromedio de ejecución, en minutos, de las tareasen un procesador de velocidad relativa 1. Sus ran-gos son, alto: ( 40 -60), medio: (15 -25) y bajo: (1-8)

.Volumen de comunicación promedio por tarea(VCP): Porcentaje de tiempo, respecto al tiempo


N úmero de enlaces promedio por tarea

Finalmente, el ambiente es ejecutado con cada alter-nativa (excepto que alguna no pueda ser probada, porejemplo, la basada en Circuito Hamiltoneano cuando noexiste dicho circuito en la topologfa de interconexión)30 veces. Los números que aparecen en las tablas son elpromedio de esas ejecuciones para cada instancia ejecu-tada. Para realizar las mediciones se tomaron los rangosde valores para las aplicaciones descritos en la sección4.1; agregándose aplicaciones con un número de tareassuperior a 100. En cuanto a las plataformas de prueba,se seleccionaron las siguientes:

(a)

.Hipercubos de dimensión 2, 3 y 4 (ver figura 6.a)

.Mallas: de 8 y 16 procesadores, ya que la de 4 esun hipercubo de dimensión 2 (ver figura 6.b).

Además, se generaron arquitecturas aleatorias de 4,8 y 16 procesadores (ver figura 6.c) para medir, de al-guna forma, el comportamiento de los algoritmos paraestructuras desconocidas.

(b)4.3 Resultados y Análisis

Debido a la gran cantidad de resultados, sólo se mos-trarán los más representativos de los estudios realizados.Como se dijo antes, para la obtención de cada punto ennuestras gráficas se realizaron 30 simulaciones por ins-tancia del problema.

G 001C H G~H ~..," ", ..."..

'00.

",.

~'oo.""

! ".

~ H'.'.".. -i .O",."

.O.,.

~ ."" ~

~r..,wl

-D.aIi~ "-~ 500 -"O -.,=4:'---c-

..

(c)

Figura 6: Ejemplos de Arquitecturas utilizadas

(b)(a)El ambiente computacional paralelo es descrito por

los procesadores, como ellos están interconectados (to-pología de interconexión), y si existe o no un -circui-to Hamiltoniano en la topología de interconexión. Conesos datos, el sistema calcula Dmaz. Además, recibe co-mo entrada las características de la aplicación, para quesean generadas por el sistema para simular la carga detrabajo en el ambiente. Dichas características son:

Figura 7: Tiempo de ejecución vs. Número de procesos,para NT= medio y VCP=medio

Tanto en la Figura 7(a), como en la figura 7(b), se ob-serva que el tiempo de duración de la alternativa basadaen la topología virtual es siempre cero (O), lo que era deesperarse, puesto que dicha alternativa no involucra unprocesamiento complejo. En cuanto a las alternativasque requieren soluciones a problemas NP-completos, seobserva que la de D-acoplamiento, tiene en todos loscasos una mayor duración que la ,basada en circuito ha-miltoniano máximo. La diferencia entre los tiempos deestas dos alternativas se debe, fundamentalmente, a quela de D-acoplamiento utiliza una función de evaluación

Número de tareas de la aplicación

Tamaño promedio de las tareas.

Porcentaje del tiempo empleado para comunicacionesen cada tarea.


más compleja que la de circuito hamiltoniano. En cuan-to al orden de magnitud de los tiempos, se presenta el in-cremento esperado de los mismos a medida que aumentael número de procesadores (dimensión del problema), elcual es exponencial.

virtual. La deficiencia de la topología virtual, en cuantoa sus resultados, se debe a que este esquema trata deminimizar el volumen eliminado en cada paso sin tomaren cuenta el volumen global, cosa que si hacen los otrosdos esquemas.

(a) (a)

(b)

Grano Gruesolpoca comunicación

(c)(c)

Figura 8: Volumen eliminado vs. Número de tareas,para hipercubo de dimensión 3 y número medio de arcospor tarea

Figura 9: Volumen eliminado vs. Número de tareas,para malla de 16 procesadores y número medio de arcospor tarea

En las Figuras 8 y 9, no se aprecia una diferencia sig-nificativa entre D-acoplamiento y circuito hamiltonia-no. Esta diferencia se puede observar en la Figura 10que muestra que con máximo D-acoplamiento siempre seobtiene un resultado igualo mejor al de circuito hamil-toniano máximo. Por lo tanto, D-acoplamiento aventa-ja a la alternativa de circuito hamiltoniano, puesto que

Para las observaciones referentes al volumen de comu-nicaciÓn que es eliminado en cada alternati va (por locual, deberá ser enrutado), se presentan a continuaciónlas gráficas para tres tipos de aplicaciones.

Las Figuras 8 y 9 muestran que las alternativas de cir-cuito hamiltoniano máximo y máximo D-acoplamientosiempre obtienen un mejor resultado que la de topología

179

F. J. Hidrobo y J. L. Aguilar. Sistema Manejador de Ambientes Reconfigurables para Procesamiento Paralelo/Distribuido

da tan buenos, o mejores resultados que esta última,y puede utilizarse aún cuando la plataforma no tengaun circuito hamiltoniano. Los mejores resultados de D-acoplamiento se deben a que esta alternativa trata deminimizar el volumen eliminado globalmente; mientrasque con circuito hamiltoniano se consigue un circuitomáximo que no toma en cuenta los enlaces que no per-tenecen a dicho circuito. Para gran número de comu-nicaciones entre tareas el comportamiento es semejantea los otros dos, por eso no se grafican resultados de esetipo.

procesadores, las alternativas basada en ciclo hamilto-niano máximo y Dmaz-acoplamiento siempre dan losmismos resultados. Para estos casos, la dimensión delproblema hace que la solución para ambas alternativassea la misma, ya que las soluciones al problema Dmaz-acoplamiento, con Dmaz igual a 2, es un circuito hamil-toniano.

Concl usiones5

En este trabajo se han descrito dos enfoques para resol-ver el problema de adaptación en los APPD, uno en elque la aplicación se adapta al sistema y otro que sigue elprocedimiento inverso. La propuesta presentada involu-cra la resolución de los problemas de particionamiento, yasignación y/o mapeo de procesos. Todos estos proble-mas son de tipo NP-completos, los cuales se resolvieronusando Algoritmos Gen éticos.

En la evaluación del núcleo administrador del sistema,es claro, según los resultados, que la mejor alternativaes la basada en el algoritmo de máximo D-acoplamiento,puesto que resuelve los problemas de asignación con elmenor costo; sin requerir que la plataforma y el gra-fo de agrupamiento tengan algún circuito hamiltoniano.Sin embargo, debe destacarse el incremento que tiene eltiempo de ejecución de esta alternativa, el cual podríaser significativo para plataformas de muchos procesa-dores; en cuyo caso puede establecerse un compromisoentre el tiempo de duración del algoritmo y la calidadde la solución (tiempo de ejecución de la aplicación).

Estos resultados abren el camino a la elaboración desistemas complejos de manejo distribuido de recursos;los cuales incorporarían a las propuestas anteriores me-canismos sofisticados de toma de decisiones y de colabo-ración. Así, nuestra propuesta podrá ser incorporada aun Sistema Operativo Distribuido o Paralelo dentro desu módulo de gestión distribuida de procesos. En ese ca-so, a nuestro sistema deberá incorporarsele mecanismosde planificación, de determinación del estado global, detoma de decisiones para la selección alternativas, etc;dependiendo de las situaciones en el sistema y de lascaracterísticas de las aplicaciones.

(a)

Grano Medio/comunicación media

(b)

Grano Grueso/pocs comunicación I

4000

3500

3000

i 1500

~1000.; 1500

~1000~ 500

~

~ -+-Hamillcniano; T Vi~ual

i D;oa,-~"r- ,

~~-- .

Referencias54

Numo.. do Toro..

(c)

Figura 10: Volumen eliminado vs. Número de tareas,para redes aleatorias de 16 procesadores y número mediode arcos por tarea

Adano, J. and Trejo L., " Programming Environment

for Phase-Reconfigurable Parallel Programming on Su-pemode", Joumal of Parallel and Distributed Compu-

ting, Vol 23, pp 273-292, 1994.

Aguilar, J., "Parallel Programs: task graph generation

f!j task allocation", Proceeding'of the 10th Intemational

Conference on Mathematical f!j Computer Modelling and

Scientific Computing, pp 854-860, July 1995.En todas las arquitecturas Malla e Hiper¿ubo con 4

180


F. 1: Hidrobo es profesor de la Universidad de Los Andes einvestigador del Centro de Cálculo Científico de esa misma uni-versidad. Autor de varias monografias, artículos en congresosinternacionales y en revistas especializadas. Trabaja en las areas

Computación Inteligente y Computación Paralela-Distribuida;con infasis en la aplicación de técnicas de computación inteli-gente para el manejo de ambientes de procesamiento paralelo.Recibis el título de Ingeniero de Sistemas en 1993 y un M.S. enComputación en 1998 ambos de la Universidad de Los Andes.

J. L. Aguilar nacio en Valera-Venezuela. Se graduo de Ingenie-ro de Sistemas en 1987 en la Universidad de los Andes-Merida-Venezuela, de Master en Computacion en 1991 en la Universi-dad Paul Sabatier-Toulouse-Francia, y de Doctor enComputacion en 1995 en la Universidad Rene Descartes-Paris-Francia. El es un Profesor Asociado del Departamento deComputacion de la Universidad de los Andes e investigador delCentro Nacional de Calculo de Venezuela (CeCaICULA). Ac-tualmente, es el un profesor invitado del Departemento deComputacion de la Universidad de Houston, donde es el un in-vestigador post doctoral. De 1995 a 1999 ha sido investigadorvisitante en diferentes universidades Francesas (Proyecto deCooperacion CNRS-CON1C1T). El ha sido coordinador de va-rios eventos cientificos y coeditor de varias actas cientificas. Eles autor de mas de 70 articulos cientificos. Sus areas de

investigacion incluyen computacion inteligente (RedesNeuronales,Computacion Evolutiva, Logica Difusa) y Sistemas Paralelos(Administracion de E/S, Optimizacion de Desempeno, Asignacionde tareas, etc.)

Aguilar, J. and Gelenbe E., "Task Assignment andTransaction Clustering Heuristics for Distributed Sys-tems", Information Science Informatics & ComputerScience, Vol 97, No 1, pp 199-219,1997.Aguilar, J. y Kluol L., "Estudio de Problema de Asig-nación de Tareas en los Sistemas Distribuidos: funcio-nes de costo y métodos de resolución ", Revista Técnicade la Facultad de Ingenieria de la Universidad del Zulia,Vol 20, No 3, pp 203-213, 1997.Baiardi, F ., Ciuffolini D., Lomartine A., Monta-nari A., and Pesce G., "A Tool for Parallel SystemConfiguration and Program M apping based on GeneticAlgorithms", En Programming Enviroments for Massi-vely Parallel Distributed Systems, Monte Verita, pp 379-383, 1994.Brazier, F. and Johansen D., "Distributed Open Sys-tems", IEEE Computers Society Press, 1994.Casavant, T. and Singha M.l, " Distributed Compu-

ting Systems", IEEE Computers Society Press, 1994.Foulds, L.R., "Combinatorial Optimization for Ungra-duates", Springer- Verlag, 1984.Hidrobo, F. y Aguilar J ., " Algorithms for adapting

Parallel Programs to the interconnection topology of Pa-rallel Processing Systems", Proceedings of the Interna-tional Conference on Informatic Systems Analysis &Synthesis, pp 499-504, July 1996.Hidrobo, F. and Aguilar J ., "Toward a Parallel Al-gorithm based on Collective Intelligence for Combinato-rial Optimization Problems", Proceeding of IEEE Inter-national Conference on Evolutionary Computation, pp715- 720, May 1998.Johnson, D. and Gakey M., "Computers and intrac-tability: A guide for the theory of NP-Completeness",W.H Freeman & Company. 1979.Johnson, T., T. Davis, and Hadfield S., "A concu-rrent dynamic task graph ", Parallel Computing, Vol 22,pp 327-333, 1996.Kramer, J. and Majee J., "Dynamic Configurationfor Distributed Systems", IEEE Transaction on Softwa-re Engineering, VollI, No 4, 1985.Narsingh D., "Graph Theory with Applications to En-gineering and Computer Science". Prentice-Hall, INC,Englewood Cliffs, 1974.Stallings, W ., "Sistemas Operativos", 2da. Edición,Prentice Hall, 1997.Talbi, E., "Configuration Automatique d'une arc~itec-ture parallele", Calculateurs Paralleles, Vol 3, pp 7-26,1994.Tanenbaum, A., "Distributed Operating Systems",Prentice Hall, 1995.

~181

sistema manejador de ambientes reconfigurables para

Documents