Tecnologías Móviles para la Sociedad

Big & Open Data

Dra. Victoria López & Dra. Guadalupe Miñana

Contenidos Grupo G-TeC UCM Big Data Open Data Lenguaje R Aplicaciones Móviles

• Open Data Medio Ambiente y Movilidad• Apps UCM en Open Data• Madrid Smart City

Grupo G-TeC UCM

Big & Open Data Analytics–Tecnologías Móviles–Agentes inteligentes–Optimización y Predicción–Bioinformática y Bioestadística

–www.tecnologiaUCM.es

¿Qué es Big Data?Un Big Data es un conjunto de datos en crecimiento rápido y tan grande que las técnicas clásicas para su tratamiento informático y su análisis son insuficientes. Para poder abordar el problema las empresas han desarrollado nuevas tecnologías basadas en técncias de paralelización y en el conocido ‘divide y vencerás’, tanto desde el punto de vista físico (nodos de clústeres se reparten el trabajo y ejecutan en paralelo) como desde el punto de vista lógico (nuevas estrategias y procedimientos para optimizar el tiempo y la calidad de los resultados).Alrededor de Big Data, por tanto se están desarrollado nuevas técnicas y tecnologías que forman parte del mundo Big Data. El análisis de los datos procedentes de un Big Data es de gran interés para las empresas en casi todas las áreas (márketing, finanzas, energía, etc.). Por ello, han surgido nuevos perfiles profesionales: los data scientist o analistas de datos especializados en este nuevo paradigma. Las técnicas de análisis de los datos procesados o en procesamiento se engloban en el Data Analytics. El problema no es tan sencillo ya que la velocidad y la variedad de los datos que se almacenan hoy en día en los datasets pone en duda la validez y la calidad de los resultados, por lo que el papel de los investigadores en este campo es muy relevante en estos momentos. (Victoria López, UCM, conferencia Big& Open Data, Congreso Convision Empresarial, México, Octubre 2013)

Big DataFrom Data Warehouse to Big Data

Alex ' Sandy' Pentland, director del programa de emprendedores del 'Media Lab' del Massachusetts Institute of Technology (MIT)

Considerado por 'Forbes' como uno de los siete científicos de datos más poderosos del mundo

Big Data

Datos no estructurados

7

¿Quién genera Big Data?

El progreso y la innovación ya no se ven obstaculizados por la capacidad de recopilar datos, sino por la capacidad de gestionar, analizar, sintetizar, visualizar, y descubrir el conocimiento de los datos recopilados de manera oportuna y en una forma escalable

Redes Sociales (todos generamos datos)Instrumentos científicosDispositivos móvilesRedes de sensores: (miden toda clase de datos)

Big DataLas 5 V’s de Big Data

9

Escalabilidad de grandes cantidades de datos – Exploración 100 TB en 1 nodo @ 50 MB/sec = 23 días– Exploración en un clúster de 1000 nodos = 33 minutos

Solución Divide-y-Vencerás

MapReduce– Modelo de programación de datos paralela– Concepto simple, elegante, extensible para múltiples aplicaciones– Grandes datasets nodos de multiprocesadores– Conjuntos de nodos: Clústeres o Grids (programación distribuida)• Creado por Google (2004)– Procesa 20 PB de datos por día– Basado en los métodos Map y Reduce de programación funcional– Orígenes en cálculo numérico (multiplicación de matrices grandes).

Big DataMapReduce

Completamente transparente para el usuario

Big DataMap Reduce

Hadoop es una implementación de código abierto del modelo de programación computacional

MapReduce– Usado por Yahoo!, Facebook, Twitter

Amazon, eBay…– Implementa MapReduce en

diferentes arquitecturas tanto clúster como grid (Cloudcomputing)

http://hadoop.apache.org/

Big DataHadoop

Open Data

Open Data

Open Data es una iniciativa mundial que pretende que los datos de las Administraciones Públicas se expongan y sean accesibles de forma que estén disponibles para su redistribución, reutilización y aprovechamiento por parte de los ciudadanos y las empresas.

“Open data is data that can be freely used, reused and redistributed by anyone – subject only, at most, to the requirement to attribute and share alike.” OpenDefinition.org

Open Data1. Acceso y disponibilidad: datos descargables

mediante aplicaciones Web

2. Reutilización y distribución: El formato de los datos

debe permitir no solo su lectura sino también su

tratamiento informático.

3. Participación universal: Todo el mundo debe poder

acceder a los datos en igualdad limitando el uso

comercial y ciertos propósitos no permitidos.

Open Data

Sistemas OpenData: Promoción de la creación de sistemas Opendata por los usuarios y las organizaciones.

Ejemplo EMT-Madrid: “Sistema Opendata: Cualquier sistema telemático propiedad de EMT a través del cuál se suministra información a sus cesionarios para que alimenten sus Aplicaciones Finales” (Acuerdo de cesión de datos, EMPRESA MUNICIPAL DE TRANSPORTES DE MADRID, S. A.)

Open DataUn ejemplo con Open Data Euskadi

Open DataUn ejemplo con Open Data Euskadi

PRINCIPALMENTE APPS PARA DISPOSITIVOS MÓVILES

Open DataUna ejemplo con Recycla.me y Recycla.te!

Patrón Cliente/Servidor

PÚBLICOS PÚBLICOS O PRIVADOS

Web Service

Open DataUna ejemplo con Recycla.me y Recycla.te!

GENERA NUEVOS DATOS Y PRODUCE

UN SERVICIO

El lenguaje R. Análisis de los datos

Valor

Traducir en valor los datos recabados de diversas fuentes

Desarrollo de apps y Análisis de Datos de Sistemas Open Data

Mariam SaucedoPilar TorralboDaniel Sanz

Recycla.me

Ana AlfaroSergio Ballesteros

Lidia Sesma

Héctor Martos

Álvaro Bustillo

Arturo Callejo

Belén Abellanas

Jaime Ramos

Ignacio P. de Ziriza

Victor Torres

Alberto Segovia

Miguel Bueno

Mar Octavio de Toledo

Antonio SanmartínCarlos Fernández

MAPA DE RECURSOS

RECYCLA.TE

MAPA DE RECURSOS EN LA CIUDAD DE MADRID

• Parques y jardines• Aparcamientos

• Coches• Motos• Bicicletas

• Puntos Limpios• Fijos• Móviles• Contenedores de ropa

• Puntos de Suministro• Bioetanol• GNC• GLP• Eléctrico

• Rutas de Bicis• Vías ciclistas• Calles seguras

• Áreas de Prioridad Residencial

Madrid – Smart CityAplicación Mapa Recursos

Recycla.me

Directora Victoria López

Aplicación pedagógica para enseñar a los niños a reciclar correctamente los materiales

Basado en la Guía para aprender a separar residuos domésticos en Madrid

Orientado a niños de entre 7 y 11 años

Recycla.teUna aplicación para reciclar, reutilizar

y reducir materiales en Madrid

Proyecto Recycla.te - Funcionalidades

• Adaptación de la guía a dispositivos móviles

• Repositorio interactivo de Trucos y Consejos

• Juego RecyclaDOS

• Difusión en Redes Sociales• Disponible en varios idiomas• Acceso a los puntos limpios fijos

Proyecto Recycla.te - Funcionalidades

Camino seguro al coleAutores:

• Álvaro Bustillo Rebanal

• Arturo Callejo Luis

• Héctor Alejandro Martos Gómez

Objetivo: Fomentar la autonomía de los niños en la ciudadCamino seguro al cole es una herramienta de aprendizaje para los niños y recogida de datos para los colegios en su dispositivo y padres e hijos ganen juntos en seguridad y autonomía.

Consultar la araña de movilidad de cada colegio sobre un mapa y Guiar al niño desde el punto en que se encuentre hasta el punto más cercano de entrada a la araña de movilidad.

Valoración de la ayuda prestada por un comercio amigo de los niños en un intervalo de 1 a 5 estrellas, permitiendo visualizar la valoración media y su posición en un mapa.

Notificación de una incidencia en el Camino seguro al cole directamente al Ayuntamiento de Madrid a través de su página de Gestiones y trámites.

Recogida de las rutas que los escolares siguen desde su casa al colegio para la generación o actualización de la araña de movilidad.

Otros proyectos de grado y prácticas en empresas

ANVM-Mobile App http://eprints.ucm.es/22586, 2013

Ludus Manager http://eprints.ucm.es/22461, 2013

LocalyZA: Aplicación Android para localizar contactos en grandes eventos http://eprints.ucm.es/16057, 2012

SocialSport: Red social deportiva para Android http://eprints.ucm.es/16090, 2012

CGTel: Una aplicación Android para control de gasto telefónico individual y grupal http://eprints.ucm.es/16088, 2012

Shop & Go: aplicación móvil Android para optimización de rutas en supermercados http://eprints.ucm.es/13049, 2011

E-learning Managements Tool http://eprints.ucm.es/11280, 2010

Prácticas en empresas: Adaptación a los Estándares de Calidad del SoftwareMariam Saucedo

12 Julio 2013, Palacio de CibelesAna Botella, alcaldesa de Madrid, presenta nuestras aplicaciones para la Smart City de Madrid

Primeros Premios SOPRA y eMadrid 2012 2013

MyConference (rectorado UCM)

Apps Open Data (Ayuntamiento de Madrid)

Apps Multiplataforma (Ayuntamiento de Madrid

Camino Seguro Fundación ONCE

Social Sport (rectorado UCM)

Nuevos proyectos