que es un data warehouse

DATA WAREHOUSE

BASE DE DATOS

UNIVERSIDAD ESTATAL DE MILAGRO

ENERO DE 2010

MAURICIO QUINTUÑA

La definición de empresa:

Es una unidad de producción de bienes y servicios para satisfacer las necesidades de un mercado.

•El objetivo de una empresa es ganar dinero¡¡¡¡

¿Cómo se mueve actualmente la cadena de suministro?Por un lado fluye productos y al mismo tiempo fluye una gran cantidad de información en cada eslabón de la cadena.

proveedor inventario producción inventario clientes

FLUJO DE INFORMACION

PRODUCTOS Y SERVICIOS

Entorno de la empresa actual.

Globalización de los mercados.Es necesario contar con ventaja competitiva o comparativa respecto a otras empresas.Incertidumbre y turbulencia del entorno.Oferta en un entorno de alto nivel de competencia.Demanda más exigente y selectiva.Aumento de la innovación y oferta de productos.Acortamiento del ciclo de vida de los productos.Utilización del costo, calidad, tiempo, innovación y orientación al cliente como estrategias de negocios.

•Por lo tanto ante la imperante necesidad de obtener información confiable casi en tiempo real la utilización de un sistema de Data Warehouse se considera hoy día como una herramienta primaria no solo en las empresas globales sino inclusive en las PYMES.

¿Qué es un “Data Warehouse”?Es un almacén de datos de muy fácil acceso, alimentado de numerosas fuentes, transformadas en grupos de información sobre temas específicos del negocio, para permitir nuevas consultas, análisis, reportes ejecutivos y finalmente lo más importante, tomar decisiones.

Un sistema de Data Warehouse permite transformar datos o información bruta en información con sentido y extremadamente útil.Uno de los valores más importantes de una organización es la información. Estos valores normalmente son guardados por la empresa de dos formas:Los sistemas operacionales de registros (de donde el Data Warehouse obtiene los datos) y nuestro almacén de datos.

¿Cuáles son los objetivos fundamentales de un Almacén de Datos?

a) Hacer que la información de la organización sea accesible.b) Hacer que la información de la organización sea consistente.c) Que la información sea adaptable y flexible.d) Seguridad en el resguardo de la información.e) Ser la base principal de información para la toma de decisiones.

Las razones básicas de porque una organización implementa Data Warehouse:

a) Para realizar tareas en los servidores y discos, asociados a queries y reportes en servidores y discos que no son utilizados por sistemas de proceso de transacciones.

b) Para utilizar modelos de datos o tecnologías de servidores que agilizan los queries y reportes, y que no son apropiados para los procesos de transacciones.

c) Para proveer un ambiente donde relativamente una muy poca cantidad de conocimiento de los aspectos técnicos de tecnología de bases de datos es requerida para escribir y mantener queries y reportes.

d) Para proveer un almacén del sistema de proceso de transacciones limpio que puede ser reportado y que no necesariamente requiere que se arregle el sistema de proceso de transacciones.

e) Para hacer los queries y reportes de datos básicamente más fácil de los múltiples procesos de transacciones y de las fuentes externas y de los datos que deben ser almacenados solamente para el propósito de hacer queries y reportes.

Los procesos básicos del Data WareHouse (ETL):

a) Extracción: este es el primer paso de obtener la información hacia el ambiente del Data Warehouse.

b) Transformación: una vez que la información es extraída hacia el área de trafico de datos, hay posibles paso de transformación como; limpieza de la información, tirar la basura que no nos sirve, seleccionar únicamente los campos necesarios para el Data Warehouse, combinar fuentes de datos, haciéndolas coincidir por los valores de las llaves, creando nuevas llaves para cada registro de una dimensión.

c) Carga: al final del proceso de transformación, los datos están en forma para ser cargados.

Los elementos básicos de un Data WareHouse:

a) Sistema fuente: sistemas operacionales de registros donde sus funciones son capturar las transacciones del negocio. A los sistemas fuentes también se le conoce como Legacy System.

b) Área de trafico de datos: es un área de almacenamiento y grupo de procesos, que limpian transforman, combinan, remover los duplicados, guardan, archivan y preparan los datos fuente para ser usados en el Data Warehouse.

c) Servidor de presentación: la maquina física en donde los datos del Data Warehouse son organizados y almacenados para Queries directos por los usuarios finales, reportes y otras aplicaciones.

d) Modelo dimensional: una disciplina especifica para el modelado de datos que es una alternativa para los modelos de entidad – relación.

e) Data Warehouse system.f) OLAP: actividad general de búsquedas para presentación de texto y números del Data

WareHouse, también un estilo dimensional especifico de búsquedas y presentación de información.

g) ROLAP: un grupo de interfases de usuarios y aplicaciones que le dan a la base de datos relacional un estilo dimensional.

h) MOLAP: un grupo de interfases de usuarios, aplicaciones y propietarios de tecnología de bases de datos que tienen un fuerte estilo dimensional.

i) Aplicaciones para usuarios finales: una colección de herramientas que hacen los queries, analizan y presentan la información objetivo para el soporte de las necesidades del negocio.

El Data Mining y su relación con el Data Warehouse.

Un sistema Data Mining es una tecnología de soporte para usuario final cuyo objetivo es extraer conocimiento útil y utilizable a partir de la información contenida en las bases de datos de las empresas.

Las herramientas de Data Mining sirven para predecir tendencias y comportamientos, de esta manera permiten a las organizaciones tomar decisiones proactivas para adaptarse rápidamente a los cambios del mercado obteniendo así ventajas heterogéneas Bases de Datos relacionales, ficheros planos y registros de transacciones en línea.

El Data Warehouse dota a las organizaciones de memoria, y el Data Mining de inteligencia.

.

Ventajas de Data Warehouse:a) Proporciona información clave para la toma de decisiones empresariales.Mejora la calidad de las decisiones tomadas.b) Especialmente útil para el medio y largo plazo.c) Son sistemas relativamente sencillos de instalar si las fuentes de datos y los objetivos están claros.d) Muy útiles para el almacenamiento de análisis y consultas de históricos.

Desventajas:a) No es muy útil para la toma de decisiones en tiempo real debido al largo tiempo de procesamiento que puede requerir. En cualquier caso la tendencia de los productos actuales (junto con los avances del hardware) es la de solventar este problema convirtiendo la desventaja en una ventaja.b) Requiere de continua limpieza, transformación e integración de datos.c) En un proceso de implantación puede encontrarse dificultades ante los diferentes objetivos que pretende una organización.d) Una vez implantado puede ser complicado añadir nuevas fuentes de datos.

Fuentes de DatosPapel, ficheros, fuentes externas, SGBDS, OLTP

Data Warehouses / Data MartsOLAP

Data MiningExploración de datos y descubrimiento de

información

Presentación de datosTécnicas de visualización

Toma dedecisiones

Admon.DB

Analista datos

Analista negocios

Usuario final

Evolución desde los datos operacionales hasta la información para la toma de decisiones

Cuatro características clave del Data Warehouse

Las evoluciones tecnológicasLa vinculación implícita con la estrategia de

la empresaUna lógica de mejora continuaUn nivel de madurez diferente según las

empresas

FASES DE IMPLANTACIÓN

Implementación:

Extracción de los datos del sistema operacional y transformación de los mismos.

Carga de los datos validados en el Data Warehouse. Esta carga deberá ser planificada con una periodicidad que se adaptará a las necesidades de refresco detectadas durante las fases de diseño del nuevo sistema.

Explotación del Data Warehouse mediante diversas técnicas dependiendo del tipo de aplicación que se de a los datos:

Revisión:

La construcción del Data Warehouse no finaliza con la implantación del mismo, sino que es una tarea iterativa en la que se trata de incrementar su alcance aprendiendo de las experiencias anteriores.

Después de implantarse, debería realizarse una revisión del Data Warehouse planteando preguntas que permitan, después de los seis o nueve meses posteriores a su puesta en marcha, definir cuáles serían los aspectos a mejorar o potenciar en función de la utilización que se haga del nuevo sistema

Arquitectura Data WarehouseBase de datos operacional / Nivel de base de datos

externo

Nivel de acceso a la información

Nivel de acceso a los datos

Nivel de directorio de datos (Metadata)

Nivel de gestión de proceso

Nivel de mensaje de la aplicación

Nivel de data warehouse

Nivel de organización de datos

ESTRUCTURA DEL DATA WAREHOUSE

Datos antiguos: La data antigua es aquella que se almacena sobre alguna forma de almacenamiento masivo. No es frecuentemente accesada y se almacena a un nivel de detalle, consistente con los datos detallados actuales. Datos Actuales:Refleja las ocurrencias más recientes, las cuales son de gran interés Datos ligeramente resumidosLa data ligeramente resumida es aquella que proviene desde un bajo nivel de detalle encontrado al nivel de detalle actual. Este nivel del data warehouse casi siempre se almacena en disco. Los puntos en los que se basa el diseñador para construirlo son: Datos completamente resumidos:El siguiente nivel de datos encontrado en el data warehouse es el de los datos completamente resumidos. Estos datos son compactos y fácilmente accesibles.

JDE

catálogos

compras

ventas

inventarios

manufactura

contabilidad

costos

DB2

Ledger movements

Location

AS400

OS400

FTPprotocolo

FormatoTXT

DataWarehouse

COGNOSWindows server 2003

Ventas

Inventarios

Clientes

reportes

Lay out

Reportes

Mex - Sales as of Martes, 25 de Marzo de 2008

Sales Qtycomo valores

All Months

010591 ABASTECEDORA LUMEN, S.A DE C.V

3061050000 -HOJAS GIGANTES CARS Y PRINCESA 564

3061130000 -HOJAS GIGANTES HADAS 480

3061160000 -HOJAS GIGANTES BOB ESPONJA 480

008985 ABASTECEDORA DE OFICINAS S.A. DE

6930080000 -"MIS PRIMERAS" TIJERAS 960

501401M000 -12 GISES AMARILLO OPTICO ANTI- 1,512

5014020000 -12 GISES BLANCOS ANTIPOLVO 1,008

All Major Brands - Crayola 288,287

009996 CASA MARCHAND S.A DE C.V

6930080000 -"MIS PRIMERAS" TIJERAS 1,400

6930090000 -TIJERAS PUNTA ROMA 2,820

6934500000 -SACAPUNTAS P/CRAYON CRAYOLIN 996


007202 COSTCO DE MEXICO, S.A DE C.V.

5112020000 -CUBETA DE 52 GISES GIGANTES 5,815

7525000000 -COLOR WONDER SPRAYER 5,332

7410010000 -COLOR EXPLOSION TWIN PACK COST 4,320


007077 DISTRIBUIDORA LIVERPOOL, S.A. DE

5611010000 -1 PEGAMENTO EN BARRA 8 G -23

6912050000 -5 PEGAMENTOS CHISPEANTES MULTI 298

6917050000 -5 PEGAMENTOS CHISPEANTES COLOR -1


010057 DISTRIBUIDORA GARDI S.A

5014020000 -12 GISES BLANCOS ANTIPOLVO 216

5103070000 -150 GISES BLANCOS (SEMICOMPRIM 120

5103200000 -12 GISES BLANCOS (SEMICOMPRIMI -3,198


007051 GIGANTE, S.A. DE C.V. 5611010000 -1 PEGAMENTO EN BARRA 8 G -12

5611280000 -PEGAMENTO ESCOLAR 28 ML -17

6930080000 -"MIS PRIMERAS" TIJERAS 1,743


Mex - Sales as of Martes, 25 de Marzo de 2008

[All Major Brands - Crayola][2007][010680 NUEVA WAL MART DE MEXICO S. DE R.][All Customer Types][All Sales Reps - Customer][All Regions][All Order Types /Sales][All Order Types][All Weeks][All Months][All Margin Ranges][All Channels][All Product Status][All GL Cat's]Sales Qty

Sales Qtycomo valores

All Months

010680 NUEVA WAL MART DE MEXICO S. DE R. 5203120000 -12 CRAYONES JUMBO DE CERA 31,548

5230120000 -12 CRAYONES ESTANDAR DE CERA 29,455

5207840000 -12 TWISTABLES 19,522

5207080000 -8 MINITWISTABLES 19,504

5809120000 -12 PLUMONES DELGADOS COLORES C 18,779

6935700000 -CUBETA DE 15 GISES GIGANTES 18,303


6874080000 -12 LAPICES DE COLOR TWISTABLES 13,082

5203240000 -24 CRAYONES JUMBO DE CERA 12,993

5203280000 -28 CRAYONES JUMBO DE CERA 12,971

5887030000 -16 PIP SQUEAKS 11,002


5305550000 -ACUARELA CON 16 COLORES 8,488

5703100000 -PLASTILINA EN BARRA 10 COLORES 7,403

5243120000 -12 CRAYONES TRIANGULAR 5,368

0535150000 -4 PINCELES ESCOLARES 5,139

5207120000 -12 MINITWISTABLES 3,955


010680 NUEVA WAL MART DE MEXICO S. DE R. 159,832

Conclusiones

¿Qué es un Datawarehouse?

Es una base de datos que contiene datos de la empresa, además de integrar una serie de datos históricos. Tiene una orientación a uno o varios temas, con datos consolidados y consistentes, estructurados para su distribución y consulta.

¿Tengo varias Bases de Datos, puedo almacenar la información en un mismo Data Warehouse?

Desde luego que si, al concentrar la información en una Data Warehouse, el acceso a la información es más rápido, además de que es posible hacer cruces entre la información de diferentes Bases de Datos.

Finalización!!!

que es un data warehouse

Education