datagrid: infraestructura de computación en malla para...

58 Sistemas

La tecnología de computa-ción en malla ofrece opor-tunidades en el almace-namiento y manejo de

grandes volúmenes de información,de forma flexible, altamente escala-ble y dinámica. Permite el creci-miento, integración y uso de recur-sos en una arquitectura compartida,orientada por servicios, en la cual sepotencia la capacidad de cómputo yde almacenamiento, la disponibili-dad e interoperabilidad de las aplica-ciones. Los trabajos actuales endatagrid se centran en los asuntos deheterogeneidad de fuentes de datos yservicios, replicación, seguridad yprivacidad de la información, inte-gración con aspectos semánticos ymodelos de procesamiento paralelode la información.

Introducción

La computación en malla [2] [4] nosbrinda hoy la posibilidad de contarcon infraestructuras de cómputo fle-xibles, en las cuales los recursos sonutilizados y compartidos en la medi-da en que se requieren. En una arqui-tectura de cómputo tradicional, seadquieren e instalan recursos pre-viendo las exigencias de los puntoscríticos de carga de trabajo, tanto encapacidad de procesamiento comoen necesidades de almacenamiento yde comunicaciones. En consecuen-cia, usualmente se tienen instalacio-nes de servidores dimensionados deforma exigente y costosa, en los cua-les puede encontrarse capacidad ins-talada ociosa durante los periodos debaja carga.

Datagrid: Infraestructura decomputación en malla paraintegración de aplicaciones yde informaciónClaudia Lucía Jiménez G., Ph. D.

Las soluciones de este entorno tienen variadosalcances en términos de almacenamoento.

t r e s

PARTE B.qxp 27/03/2007 19:53 PÆgina 58

Sistemas 59

En condiciones usuales estas máqui-nas están dedicadas a procesos espe-cíficos y sus recursos no se com-parten con otras áreas de la organi-zación, principalmente por ladificultad de administración dinámi-ca frente a la carga de trabajo. Laactualización, escalabilidad y mante-nimiento de estas instalaciones re-presentan cargas financieras im-portantes en las organizaciones.

La computación en malla, grid com-puting, nos ofrece hoy en día unaposibilidad de configuración dearquitectura en la cual se pone a dis-posición de las aplicaciones unainfraestructura dada por la agrega-ción de las encontradas en cada unode sus participantes. La promesa esla construcción e instalación de apli-caciones "grid-enabled", que se ins-talan en el grid y lo usan de unaforma similar a como utilizamos losservicios básicos de infraestructurasde servicios, como la red eléctrica,telefónica o hídrica [18]. En [1] sepresenta la concepción general decomputación en malla y su relacióncon la distribución y el uso de recur-sos.

De esta forma, se concibe que lasaplicaciones que utilizan el gridcomparten los recursos para suplirsus necesidades de procesamiento,almacenamiento o comunicaciones.Esto nos lleva a los grids orientadosa satisfacer requerimientos intensi-

vos en datos. Esta forma de utiliza-ción de un grid se orienta fundamen-talmente en sacar provecho de laarquitectura para suplir necesidadesimportantes de almacenamiento oprocesamiento de grandes volúme-nes de información. Uno de los pro-yectos pioneros en este uso de lacomputación en malla fue el proyec-to DataGrid [6], liderado por elCERN y con sede en muchas ciuda-des europeas.

Hoy en día se habla con frecuenciade datagrid para referirse a aquellosgrid que se utilizan intensivamentepara manipulación y almacenamien-to de datos. Si bien inicialmente losusos intensivos de las arquitecturasde grid se dan en el contexto de apli-caciones de tipo científico, hoy endía se extiende su interés hacia apli-caciones de tipo empresarial ygubernamental y se ve claramente uninterés en la integración de la tecno-logía de gestión de información y lacomputación en malla.


60 Sistemas

DataGrid: un grid orientado a datos

El proyecto DataGrid [6] fue una delas primeras iniciativas para haceruso global de la infraestructura degrid para la gestión y almacenamien-to de información. Terminado en2004, su objetivo primordial era eldiseño de la infraestructura necesariapara almacenar los terabytes deinformación generada en los acelera-dores de partículas del CERN. Esteambicioso proyecto reúne comuni-dades científicas a nivel mundial. Lainfraestructura generada está cons-truida sobre la arquitectura OGSA[17] de Globus [2] y tiene usos tam-bién en aplicaciones de biología,gestión y acceso a imágenes médicasy a fotos satelitales. Esta iniciativade investigación y desarrollo endatagrid continuó bajo el proyectoEGEE [8], donde 32 países cooperany comparten recursos de investiga-ción en ciencias. A nivel norteameri-cano una de las principalesiniciativas es TeraGrid [16], queinvolucra tanto sectores de aplica-ción como desarrollo de tecnología.

Otras iniciativas se han unido a lageneración de tecnología para elaprovechamiento de los grids enmúltiples contextos. La iniciativa delGrid University [8] busca su utiliza-ción para compartir recursos referen-tes al área educación, en cursos,materiales en el contexto europeo.EELA es la iniciativa para la consti-tución de un grid de cooperación

entre Latinoamérica y Europa [9]. Elproyecto BeInGRID [10], lideradopor la comunidad europea, buscaaprovechar la infraestructura de griden múltiples contextos de negocios,desde el manejo global de portafo-lios de inversión, pasando por casosde logística y optimización, hasta elsoporte a comunidades de juegosvirtuales on-line.

En el contexto de la bioinformáticase encuentra muchos ejemplos dedesarrollo sobre grid. Por mencionaruno de ellos, el proyecto Bioinfo-GRID [10], se basa en la gestión elanálisis de datos genéticos, mineríade datos sobre cadenas de ADN y elestudio de nuevos medicamentos.

Otro campo en el cual la infraestruc-tura de grid ha tenido un fuerteimpacto es el sector de la gestión dela salud. Australia, Canadá [12] eInglaterra [13], por citar algunosejemplos, han aprovechado estainfraestructura para el montaje desistemas de gestión a nivel nacionaldel tema de la salud, tanto en losaspectos administrativos como losmédicos. Son sistemas de informa-ción donde el grid es la infraestruc-tura de base para compartir, integrary utilizar la información generadapor los múltiples actores en el proce-so del aseguramiento de la atenciónen salud a la población, fundamen-talmente bajo un modelo de atenciónasegurada por el estado. En el casodel sistema de salud canadiense, su


Sistemas 61

estructura de gobierno federal impli-ca un total grado de autonomía acada provincia sobre la forma degestión, procesos y requerimientos.Es decir, un nivel de heterogeneidadimportante en cuanto a infraestructu-ra y definición de procesos y están-dares.

Son muchas las iniciativas para eluso de la tecnología de grid en estecampo. Por citar una adicional, en[14] se muestra el desarrollo de tec-nología que aprovecha los desarro-llos en el campo de la web semánticay los permea hacia la tecnología dedatagrid; en [15] se encuentra un sis-tema integrado a nivel europeo parala gestión de información pediátrica.

Infraestructura datagrid

En las iniciativas globales de desa-rrollo de grid se han desarrolladomuchas propuestas de middlewareque permiten hacer uso eficiente delos recursos compartidos. Se en-cuentran esfuerzos que nacen tantode la industria como de comunidadesde investigación, siendo uno de losmás significantes Globus ToolKit 4(GT4).

GT4 es desarrollado por el consorcioindustrial The Globus Alliance(IBM, Sun, Intel, Cisco, entre otros),es hoy en día un estándar de facto.La tecnología Globus es abierta y deuso libre, y en su desarrollo partici-pan tanto la industria como el sector

académico y de investigación. Sebasa en la concepción de softwareorientado por servicios, para lo cualse utilizan SOAP, UDDI, WSDL ytecnologías relacionadas. Microsoftincluye tecnología de grid en suoferta de .NET. La propuesta de Glo-bus incluye una arquitectura, OGSA(Open Grid Service Arquitectura)[17], sobre la cual se articulan todoslos desarrollos. OGSA incluyeaspectos de seguridad, disponibili-dad, escalabilidad, manejo de cali-dad de servicio, entre otros [7].

Uno de los componentes de OGSAes el soporte a recursos de datos, queincluye:

- Acceso eficiente a recursos dedatos, de forma independiente a suubicación, tecnología, y plataforma.

- Consistencia de los datos, entrecaches y réplicas.

- Integración de datos entre fuentesheterogéneas.

- Manejo de la localización de losdatos, para que estén disponibles demanera adecuada para los clientesque los requieren.

- Modelos de persistencia de lainformación.

La infraestructura GT4 incluye fun-damentalmente las herramientasnecesarias para ingresar como parti-


establece el modelo de control, insta-lación y uso de recursos para la apli-cación. Una aplicación distribuidausualmente es "dueña" de los recur-sos que se utiliza, establece la locali-zación y políticas de uso y disponi-bilidad de ellos.

En un grid los recursos son compar-tidos y, usualmente, los usuarios sonnaturalmente desconfiados. Cuandose instalan aplicaciones en un grid secomparten los recursos, según lasnecesidades y la disponibilidad deellos, sin ser, necesariamente, el pro-pietario total de su administración.Si se vuelve a la analogía de los ser-vicios públicos, al usar los serviciosde una empresa de comunicaciones,el usuario confía en que su buzón devoz es privado, siempre está disponi-ble, puede lograr sus llamadas, con-figura el servicio de despertadorautomático; esto sin preocuparse dedónde está localizado cada uno deesos servicios ni cómo se resuelve elproblema de acceso o disponibili-dad.

Los retos principales de un datagridse sitúan en el plano de la eficiencia,seguridad y disponibilidad de losdatos. Por esto, los principales desa-rrollos se hacen en los aspectos deoptimización de la localización,manejo eficiente de réplicas y para-lelización del procesamiento sobrelos recursos de información.

En cuanto a la gestión de informa-ción aprovechando la tecnología

cipante al grid, descubrir los recur-sos disponibles y utilizarlos. Losrecursos pueden ser de cómputo o dealmacenamiento y se instalan en lossitios participantes según la disponi-bilidad y capacidad que correspon-da. Los datos se organizan en lossitios que ofrecen este servicio, enfuentes que pueden ser archivos osistemas de bases de datos, tantorelacionales como XML. Se disponede servicios que facilitan la progra-mación de requerimientos relaciona-dos con la seguridad y la privacidad.

Como parte de GT4, en lo referentea servicios específicos para la ges-tión de datos, se encuentran capasmiddleware complementarias, Grid-FTP y OGSA-DAI [3]. El primeroasegura la transmisión confiable degrandes archivos sobre el grid demanera eficiente. El segundo es unmiddleware que ofrece un frame-work para el desarrollo de aplicacio-nes java orientadas a datos sobre elgrid. Permite el acceso a recursos dedatos heterogéneos, mediante unlenguaje de manipulación de recur-sos grid de datos en actualización yconsulta.

La concepción básica de una aplica-ción grid-enabled debe ser la publi-cación de servicios que se ofrecen aaplicaciones cliente. Para ello, sediseñan grid-services, utilizandoprotocolos similares a los utilizadosen los servicios Web. La gran dife-rencia con respecto a una aplicacióndistribuida se constituye cuando se62 Sistemas


grid, se encuentra también la pro-puesta de Oracle[5], que incluye ensu arquitectura 10g la compatibili-dad con GT4-OGSA. Esta es unapropuesta diferente a las presentadasen el aparte anterior, en las cualesencontrábamos que las aplicacionesse instalan en el grid abierto y lo uti-lizan para suplir sus necesidades conlos recursos que encuentren disponi-bles en un momento dado. En la pro-puesta de Oracle 10g, este actúacomo módulo de control de un gridpropio, sobre el cual se administranlas aplicaciones desarrolladas paraeste integrador de información. Ora-cle permite administrar y controlar

tanto las máquinas que dan serviciocomo las fuentes de datos. Se utilizauna forma única de autenticación,que da los derechos sobre las aplica-ciones y los datos. En el momento dela ejecución de una aplicación, eladministrador del grid decide en cuálde los servidores se corre la aplica-ción y dónde se ubican sus bases dedatos. Si bien se optimizan los recur-sos de una organización, pues lasaplicaciones pueden migrar de unservidor a otro sin acoplarse a sulocalización, las aplicaciones nonecesariamente deben ser grid-ena-bled, por lo cual pueden requerircompletamente de las posibilidades

Sistemas 63


de carga de un servidor y esa cargano necesariamente se reparte enotras máquinas del grid.

Es una excelente propuesta para con-formar un grid en un contextoempresarial, donde se tiene adminis-tración centralizada de servidores yvarios de ellos pueden asumir lacarga de las aplicaciones existentes.

Los datagrid en la integración de aplicacio-nes autónomas y heterogéneas

La infraestructura de grid es natural-mente flexible y dinámica y permiteque los recursos existentes se pon-gan a disposición de quien losrequiere, por lo cual se puede pensarno sólo en la escalabilidad del uso dedichos recursos, sino en la escalabi-lidad de la interacción entre quienesparticipan. La interacción entre apli-caciones diversas usualmente se daen contextos en los cuales se definenprotocolos precisos de intercambiode información y solicitud de servi-cios. El amplio auge de los sistemasbasados en servicios web y las apli-caciones P2P son muestra de ello.

La computación basada en grid ofre-ce un escenario adicional a estasaplicaciones. El hecho de integrarseen un grid coloca a los participantesen una situación en la cual ganan alpoder usar recursos disponibles,poniendo a disposición los suyos, enla medida de sus posibilidades. Eltiempo ocioso de cómputo, el espa-

cio disponible de almacenamiento sepueden convertir en parte de lo quese toma y lo que se pone. El hechode estar sobre esta "autopista com-partida" de recursos, en los cuales sepuede tener un punto flexible deencuentro, permite pensar que quie-nes participen del grid no sólo lo uti-licen en la forma clásica de unsistema distribuido, sino como unvehículo de cooperación efectiva ydinámica entre aplicaciones. Es unaarquitectura que permite una dinámi-ca de interacción enorme, y que poneesta arquitectura en un plano que vamás allá de la computación paralelao la computación distribuida por sísolas.

El escenario de cooperación se faci-lita en la medida en que las aplica-ciones grid se construyen orientadaspor servicios. Esos servicios puedenser puestos a disposición de otrasaplicaciones, si se considera conve-niente. De esta forma, quienes allícomparten no sólo hacen su trabajode forma autónoma, sino que natu-ralmente se encuentran en una arqui-tectura computacional que facilita lacooperación, la comunicación y elintercambio.

El encanto de este tipo de arquitectu-ra reside, a mi modo de ver, en laautonomía que siguen teniendo lasaplicaciones que se instalan en elgrid. Cada una decide qué requiere,se instala y funciona con lo quenecesita. Cada una de ellas puede

64 Sistemas


utilizar los sistemas de gestión deinformación y fuentes de datos queconsidere convenientes, decidirsegún sus necesidades el modelo dedatos a manejar, forma de consulta,esquema de replicación, seguridad ycondiciones de acceso. Esto es loque usualmente se tiene en un siste-ma distribuido, con la diferencia deque el middleware de servicios lepermite acceder no sólo lo propio,sino lo disponible. La infraestructuragrid promete el camino para desaco-plar la localización, sitio de ejecu-ción, sitio de almacenamiento, asícomo facilitar la escalabilidad y larepartición de la carga de cómputo.

Gran parte de los proyectos datagridactuales están en el camino de laintegración de grandes comunidadesgeográficamente dispersas y quebuscan un fin común que implicacooperación e interoperabilidad. Sibien se ha dado naturalmente en elcampo científico, es notorio el inte-rés en ampliar el espectro hacia apli-caciones de tipo industrial y comer-cial, como por ejemplo en el contex-to de logística, producción industriala gran escala, funcionamiento deprocesos intensivos de cómputo enpicos puntuales de carga. Es claroque uno de los sectores donde seencuentra mucha actividad es el con-texto de la investigación y la admi-nistración de salud.

Creemos que en nuestro país el usode tecnología grid en el contexto de

la integración de servicios y deinformación en salud podría tenermucho impacto. Mejorar la calidad yoportunidad de la información, per-mitir el acceso a múltiples fuentes deinformación y cooperación entre losdiversos actores que participan ennuestro sistema, podría cambiar sig-nificativamente la calidad de la aten-ción prestada a la población, asícomo la eficiencia de los procesosadministrativos que la acompañan.La heterogeneidad encontrada, tantopor la dualidad entre la administra-ción pública y privada de la saludpública, como por la infraestructuradiversa a nivel nacional, hacen pen-sar en que una arquitectura de gridpodría resolver muchos de los pro-blemas que rápidamente encontra-mos en soluciones tradicionales.Igualmente, se verían beneficiadossectores que coordinan atención deemergencias, sector gobierno, sectoreducativo, sector judicial, por men-cionar algunos.

La infraestructura para lograrlo seestá construyendo. Cada aplicacióngrid es un mundo nuevo, pero muchode lo que se requiere en una puedeservir a otras. Por esto, la comunidadde desarrolladores está trabajando enlos estándares, los protocolos, elmiddleware adecuado, la adaptaciónde la tecnología conocida de schedu-lers, replicadores, distribuidores decarga, localizadores, manejadores decachés y de comunicaciones de altorendimiento. Es un trabajo continuo,

Sistemas 65


que madura a pasos de gigante y quepermite la integración de efectiva decomunidades.

En el marco de desarrollo de middle-ware y prototipos que faciliten eldesarrollo de aplicaciones heterogé-neas y autónomas sobre un grid, elgrupo Comit de la Universidad delos Andes participa en el proyectoN° C06M02 "Desarrollo de unainfraestructura de Grid para cálculoy datos", financiado conjuntamentepor el convenio Ecos-Nord - Col-ciencias, desarrollado en asocio conel LRS-IMAG, Francia. Desde elmes de marzo de 2007 la Universi-dad de los Andes comparte su infra-estructura de grid con la del proyectoEELA.

Conclusiones

La infraestructura de computaciónen malla ofrece enormes oportunida-des en la escalabilidad de aplicacio-

nes, tanto por la disponibilidad derecursos de cómputo como por lafacilidad de almacenar y compartirenormes fuentes de datos. Los data-grid ofrecen la posibilidad de quecomunidades heterogéneas, autóno-mas y distantes, compartan recursosy servicios. La cooperación entreestas aplicaciones puede facilitarseal compartir la infraestructura y abs-traer la localización de las mismas.De esta forma, ofrece un potencialimportante de desarrollo, al facilitarla interacción oportuna y efectiva,así como el aprovechamiento real delos recursos tanto de hardware comode software y de comunicaciones. Suutilización en múltiples áreas de laciencia, así como en la gestión efec-tiva de los sistemas de salud públicaen varios países, nos hace reflexio-nar en esta tecnología como unafuente importante de desarrollo eco-nómico y social, con la cual se puedeaprovechar mucho de la infraestruc-tura ya existente en nuestro país, eneste y otros sectores.

Referencias bibliográficas

[1]Castro, Harold. "Grid Computing:promesa de los sistemas distribuidos".Revista Sistemas ACIS, edición 98,octubre-diciembre 2006[2]IBM. "Introduction to Grid Compu-ting", IBM redbooks, http://www.redbo-oks.ibm.com/abstracts/sg246778.html?Open[3]http://www.ogsadai.org/[4]Foster Ian, Kesselman Carl. "TheGrid 2: Blueprint for a New ComputingInfrastructure (The Elsevier Series in

66 Sistemas


Grid Computing)". Morgan Kaufmann;2 edition 2003[5]http://www.oracle.com/technology/products/database/oracle10g/index.html[6]Proyecto DataGrid - CERN:http://eu-datagrid.web.cern.ch/eu-datagrid/[7]Torres Clavijo, Lennis "Análisis dela resolución de requerimientos no fun-cionales con Globus Toolkit 4" Tesis deMaestría Ingeniería de Sistemas yComputación, Universidad de LosAndes 2006 Director: Claudia Jiménez.[8]http://www.eu-egee.org/[9]http://www.eu-eela.org/[10]http://www.beingrid.com/[11]http://www.bioinfogrid.eu/[12] Bilykh I. et all. "Can GRID servi-ces provide answers to the challengesof national health information sha-ring?" Proceedings of the 2003 confe-rence of the Centre for AdvancedStudies on Collaborative research.2003 (disponible en la biblioteca digi-

tal ACM)[13] Hey Tony, Anne E. Trefethen. "UKe-Science Programme: Next Genera-tion Grid Applications". InternationalJournal of High Performance Compu-ting Applications, Vol. 18, No. 3, 285-291 (2004)http://hpc.sagepub.com/cgi/content/abstract/18/3/285[14]"A Semantic Grid Browser for theLife Sciences Applied to the Study ofInfectious Diseases" http://www.bio-tec.tu-dresden.de/sealife[15]Freund, Joerg et all "Health-e-Child : An Integrated Biomedical Plat-form for Grid-Based Paediatrics".http://www.caip.rutgers.edu/~comani-ci/Papers/Health-e-Child_HG06.pdf[16]http://www.teragrid.org/[17]http://www.globus.org/ogsa/[18]http://web.datagrid.cnr.it/LearnMore/LearnMore4.jsp

Sistemas 67

Claudia L. Jiménez: Ingeniera de Sistemas y Computación de la Universidad de losAndes. Doctora en Informática del INPG, Francia. Profesora asociada del Departamentode Ingeniería de Sistemas y Computación de la Universidad de los Andes. Trabaja en elgrupo de investigación Comit - Comunicaciones y Tecnología de Información. Directoradel mismo Departamento en el período 1999-2000. Sus áreas de trabajo son la gestión eintegración de información, manejo de información multimedia e integración de informa-ción en mallas de cómputo.


datagrid: infraestructura de computación en malla para...

Documents