Base de Datos, Datamark, OLAP, OLTPDatawarehouse, Dataminig, Intranet

Administración de DatosBases de Datos• Organización de una colección de datos que se

interrelacionan, se comparten y se controlan.Jerarquía de los elementos de datos en sistemas de bases de datos

Metadatos: descripción de si misma Índices: se utilizan para representar relaciones entre los datos

Compartir Datos y Bases de DatosSe consideran tres formas de compartir los datos:a) Compartir datos entre unidades funcionales

Compartir Datos y Bases de Datosb) Compartir datos entre diferentes niveles de usuario

Compartir Datos y Bases de Datosc) Compartir datos entre diferentes localidades

El papel de la base de datosConociendo ya el concepto de Base de datos, podemos decir que tanto el compartir como controlar los datos se facilita mediante la integración.De este modo, esta definición contiene tres criterios para decir cuando una base de datos es efectiva.•Los datos deben estar compartidos•El uso de los datos debe estar controlado•Los datos se integran de una forma lógica, de modo que se eliminen redundancias, que se resuelvan las ambigüedades en la definición y que se mantenga la consistencia interna entre los mismos.

Modelos de bases de datosTipos:• Bases de datos jerárquicas• Base de datos de red• Base de datos relacional• Bases de datos orientadas a objetos

Data Warehouse• Un Almacén de Datos (o DataWarehouse) es una gran colección

de datos que recoge información de múltiples sistemas fuentes u operacionales dispersos, y cuya actividad se centra en la Toma de Decisiones -es decir, en el análisis de la información.• Una vez reunidos los datos de los sistemas fuentes se guardan

durante mucho tiempo, lo que permite el acceso a datos históricos; así los almacenes de datos proporcionan al usuario una interfaz consolidada única para los datos, lo que hace más fácil escribir las consultas para la toma de decisiones.

El proceso de Data Warehouse debe proveer:- la información correcta,- a la persona indicada,- en el formato adecuado,- y en el tiempo preciso.

Base de Datos Operacional DWWarehouse

Base de Datos Operacional Data Warehouse

Datos Operacionales Datos del negocio para Información

Orientado a la aplicación Orientado al sujeto

Actual Actual + histórico

Detallada Detallada + más resumida

Cambia continuamente Estable

Un Data Warehouse es una Base de Datos (BD) que contiene:•Datos Empresariales•Integrar colección de datos históricos.•Datos: dirigidos al usuario, consolidados y consistentes•Datos estructurados para distribución y consultas

Arquitectura Data Warehouse

La estructura básica de la arquitectura Data Warehouse incluye:

1.Datos operacionales. Origen de datos para el componente de almacenamiento físico del Almacén de Datos.2.Extracción de datos. Selección sistemática de datos operacionales usados para formar parte del Almacén de Datos.3.Transformación de datos. Procesos para resumir y realizar cambios en los datos operacionales.4. Carga de datos. Inserción de datos en el Almacén.5.Almacén. Almacenamiento físico de datos de al arquitectura Data Warehouse.6.Herramienta de acceso. Herramientas que proveen acceso a los datos.

Arquitectura Data Warehouse

Estructura lógica del Data WarehouseLa estructura lógica de un Almacén de Datos está compuesta por los siguientes niveles:Metadatos. Describen la estructura de los datos contenidos en el almacén.•Están en una dimensión distinta al resto de niveles.Datos detallados actuales. Obtenidos directamente del procesado de los datos.• Forman el nivel más bajo de detalle.• Ocupan mucho espacio.• Se almacenan en disco, para facilitar el acceso.Datos detallados históricos. Igual que los anteriores, pero con datos correspondientes al pasado.• Se suelen almacenar en un medio externo, ya que su acceso es poco frecuente.

Estructura lógica del Data WarehouseDatos ligeramente resumidos. Primer nivel de agregación de los datos detallados actuales.• Corresponden a consultas habituales.• Se almacenan en disco.Datos muy resumidos. Son el nivel más alto de agregación.• Corresponden a consultas que se realizan muy a menudo y que se deben obtener muy rápidamente.• Suelen estar separados del Almacén de datos, formando Supermercados de Datos (Data Marts).

Estructura física del Data WarehouseArquitectura centralizada. Todo el Almacén de datos se encuentra en un único servidor.Arquitectura distribuida. Los datos del Almacén se reparten entre varios servidores. Asignando cada servidor a uno o varios temas lógicos.Arquitectura distribuida por niveles. Refleja la estructura lógica del Almacén, asignando los servidores en función del nivel de agregación de los datos que contienen. Un servidor está dedicado para los datos de detalle, otro para los resumidos y otro para los muy resumidos. Cuando los datos muy resumidos se duplican en varios servidores para agilizar el acceso se habla de Supermercados de datos (Data Marts).

Estructura física del Data Warehouse

ConsolidaciónEs la parte del proceso de Data Warehouse que se encarga de producir el cambio de los sistemas OLTP a las Bases de Datos OLAP:Validación de Consistencia de los datos- Comprueba la validez de los datos en el entorno operacional- Inconsistencia entre distintas aplicaciones dentro del sistemaMecanismos de Consolidación- Refresco de datos: Volcado completo de los datos procedentes del sistema operacional.- Actualización de datos: Volcado incremental tomando como criterio la fecha de operación.- Propagación de datosFactores técnicos- Mecanismo de transporte- Tiempos de carga- Reformateo de datos

MiddlewareEs un software que reside físicamente en un Cliente y en un Servidor de Comunicaciones, localizado entre el Cliente y el Servidor. Actúa como traductor entre distintas tecnologías. Permite que dos o más sistemas trabajen juntos aunque no estén preparados para ello. Algunas de sus características más relevantes son:- Un mismo middleware puede poseer más de una máquina virtual para soportar diferentes entornos de desarrolló.- Gestiona las comunicaciones con el Data Warehouse- Controla la concurrencia y controla los procesos Batch- Posee diversos controladores de Bases de Datos para acceder a las distintas fuentes, por ejemplo, Oracle, Sybase, AS400, etc.Ejemplos:- Monitores de procesamiento de transacciones- Convertidores de datos- Replicación de datos- Controladores de comunicación

OLAP (On-Line Analytical Process)Son aplicaciones que se encargan de analizar datos del negocio para generar información táctica y estratégica que sirve de soporte para la toma de decisiones. Mientras que las transacciones OLTP utilizan Bases de Datos Relacionales u otro tipo de archivos, OLAP logra su máxima eficiencia y flexibilidad operando sobre Bases de datos Multidimensionales.Características principales:- Estructura de datos transparente al usuario.- Solo Consulta, trabajan sobre la información operacional generada por los sistemas OLTP.- Consultas sobre grandes volúmenes de datos no predecibles- Información histórica.- Modo de actualización Batch.- Alta redundancia de datos para facilitar la generación de consultas y obtener buenos tiempos de respuesta.- Trabaja con resúmenes de miles de registros condensados en una sola respuesta.

Data Marts• Subconjuntos de datos con el propósito de ayudar a que un

área específica dentro del negocio pueda tomar mejores decisiones. • Los datos existentes en este contexto pueden ser resumidos,

agrupados, explorados y reportados de múltiples formas para que diversos grupos de usuarios realicen la explotación de los mismos.• Es un modelo multidimensional basado en tecnología OLAP,

incluyendo variables claves y los indicadores claves para el proceso de toma de decisiones.

Data Marts

Data Marts• Algunas ventajas de la construcción del Data Mart:Son más simples de implementar que un Data WarehousePequeños conjuntos de datos y, en consecuencia, menor necesidad

de recursos.Se encuentran más rápidamente las necesidades de las Unidades de

NegocioQueries más rápidos por menor volumen de datos• Como desventaja se puede decir que, en algunos casos,

añaden tiempo al proceso de actualización.• En síntesis, son pequeños Data Warehouse centrados en un

tema o un área de negocio específico. • En muchos casos, los Data Warehouse comienzan siendo Data

Marts con el objetivo de minimizar los riesgos para luego ir ampliando su espectro gradualmente.

Data Mining Las técnicas de Data Mining son el resultado de un largo proceso de investigación y desarrollo de productos orientados al almacenamiento, extracción análisis de datos. Esta evolución comenzó cuando los datos de negocios fueron almacenados por primera vez en computadoras, y continuó con mejoras en el acceso a los datos, y más recientemente con tecnologías generadas para permitir a los usuarios navegar a través de los datos en tiempo real. Data Mining está soportado por las siguientes tecnologías:- Soportes de almacenamiento masivo de datos.- Potentes computadoras con multiprocesadores.- Data Warehouse.- Algoritmos de Data Mining.

Función del Data Mining • Data Mining es la extracción de información oculta y

predecible de grandes bases de datos.• Un sistema Data Mining es una tecnología de soporte para

usuario final cuyo objetivo es extraer conocimiento útil y utilizable a partir de la información contenida en las bases de datos de las empresas.• Las herramientas de Data Mining sirven para predecir

tendencias y comportamientos, de esta manera permiten a las organizaciones tomar decisiones proactivas para adaptarse rápidamente a los cambios del mercado obteniendo así ventajas competitivas.

Función del Data Mining

Proceso del Data Mining • El origen de la información que utilizan los algoritmos de Data

Mining, por lo general, son datos históricos que se encuentran almacenados en un Data Warehouse. El partir de un Data Warehouse simplifica la etapa previa a la etapa de preparación de los datos ya que se construye en base a la integración de fuentes de datos múltiples y heterogéneas Bases de Datos relacionales, ficheros planos y registros de transacciones en línea. • El Data Warehouse dota a las organizaciones de memoria, y el

Data Mining de inteligencia. La mejor forma de aplicar las técnicas de Data Mining es que éstas se encuentren totalmente integradas con el Data Warehouse así como también con herramientas flexibles e interactivas para el análisis de negocios.

Proceso del Data Mining • Varias herramientas de Data Mining actualmente operan fuera

del Data Warehouse, requiriendo pasos extra para extraer, importar y analizar los datos. Además la integración con el Data Warehouse permite que ni bien los cambios originados en las bases de datos operacionales son replicados al Data Warehouse pueden ser analizados directamente y monitoreados mediante las técnicas de Data Mining.• El server de Data Mining debe estar integrado con el Data

Warehouse y el server OLAP para insertar el análisis de negocios directamente en esta infraestructura. Un avanzado, metadata centrado en procesos define los objetivos del Data Mining para resultados específicos tales como manejos de campañas promocionales, optimización de promociones, etc.

Toma de decisiones

Intranet• La Intranet o Intranets son redes privadas (empresarial o

educativa) que utilizan las normas y protocolos de Internet en este caso el TCP/IP, que proporciona herramientas vía Internet que a su vez son utilizadas por grupos de trabajo de una empresa, organización o universidad para realizar reportes, consultas etc. Permite un acceso más eficaz a bases de datos de una empresa y puede ser usada como medio de difusión de información entre los que componen el grupo de trabajo.

Características de una Intranet• Aportan la interfaz de exploración del World Wide Web (www)

a la información y servicios almacenados en una red de Área Local (LAN) corporativa. • Disminuyen el costo de mantenimiento de una red interna.• Ofrece a los usuarios un acceso más eficaz a la información y a

los servicios que necesitan.• No necesariamente aporta Internet a la organización que las

usa. • Emplea mecanismos de restricción de acceso a nivel de

programación como lo son los usuarios y contraseñas de acceso o incluso a nivel de hardware como un sistema firewall (cortafuegos) que puede restringir el acceso a la red organizacional, es decir solo pueden acceder a ella usuarios autorizados. • Aporta correo electrónico y protocolos de comunicación

idénticos a los que aporta la Internet, a la organización que las usa.

Elementos de una Intranet• Se necesita una red basada en el protocolo TCP/IP.• Servidores Web bajo el modelo Cliente-Servidor.• Un sistema de cableado para la conexión entre los equipos.• Tarjetas de conexión.•Máquinas que actúan como firewalls y su correspondiente

software.• Un sistema operativo, que soporte el intercambio de

información (Unix, Windows NT, Linux, Novell Netware, etc.)• La utilización de browsers (aplicaciones de red )• Un sistema de gestión de red, el cual permite el control de

prestaciones, problemas, seguridad o de configuración.

Intranets Diagrama

Bilbiografía• Fundamentos de Data WarehouseMendez, A., Mártire, A., Britos, P. Y Garcia-Martínez, R.• Una Introducción al Data Warehousing

Daniela Dominguez• Data WareHouse

MCP Ing. Ricardo Mendoza Rivera• Almacenes de datos (Datawarehouse)

Roberto Hernando Velasco• Intranet: Una ventana a la comunicación interna de las

organizacionesMBA. Patricia Cascante