progetto di un data warehouse per il supporto al monitoraggio di prezzi e tariffe sul web
DESCRIPTION
Progetto di un datawarehouse per monitorare l'andamento dei prezzi sulla base di dati direttamente acquisiti dal web.TRANSCRIPT
![Page 1: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/1.jpg)
UNIVERSITA’ POLITECNICA DELLE MARCHEFacoltà di Ingegneria
Corso di Laurea Specialistica in Ingegneria Informatica
PROGETTO DI UN DATA WAREHOUSEPROGETTO DI UN DATA WAREHOUSEPER IL SUPPORTO AL MONITORAGGIOPER IL SUPPORTO AL MONITORAGGIO
DI PREZZI E TARIFFE SUL WEBDI PREZZI E TARIFFE SUL WEB
Anno Accademico 2007/2008http://pollosky.ithttp://pollosky.it
![Page 2: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/2.jpg)
AmbitoAmbito
Osservatori prezzi TRASPARENZA E CONOSCENZA SUI LIVELLI E SULLE DINAMICHE CHE CARATTERIZZANO
L’ ANDAMENTO DEI PREZZI
ProblematicheRACCOLTA DATI (COSTI, COMPLESSITÀ)
POTENZIALITA’ DI ANALISI
ObiettiviRACCOLTA ED INTEGRAZIONE DEI DATI SUL WEB
GESTIONE DEI DATI
SISTEMA DI SUPPORTO ALLE ANALISI
![Page 3: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/3.jpg)
![Page 4: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/4.jpg)
Attività progettualeAttività progettuale
• Progettazione della base dati– Completa– Generalizzata
• Soluzione problematiche– Gestione delle eterogeneità (aggregazioni)
![Page 5: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/5.jpg)
Sistema di supporto alle analisiSistema di supporto alle analisi
Analisi flessibilied interattive OLAPOLAP
DimensioneDimensione
Modello multidimensionaleModello multidimensionale
Funzione di Funzione di aggregazioneaggregazione
MisuraMisura
![Page 6: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/6.jpg)
Identificazione di fatti e dimensioni
Schema Entità-Relazione
Grafo Dimensionale
Modello MD
• Studio della natura delle sorgenti
• Formato di rappresentazione dei dati
• Proprietà associate ai fatti
• Identificazione delle misure e delle prospettive di analisi
• Studio della natura delle sorgenti
• Formato di rappresentazione dei dati
• Proprietà associate ai fatti
• Identificazione delle misure e delle prospettive di analisi
Data warehouseData warehouseMetodologia di progettazione [Cabibbo, 1998]:
![Page 7: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/7.jpg)
![Page 8: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/8.jpg)
COMUNALEPROVINCIALE
REGIONALE
NAZIONALENAZIONALE
Gestione delle eterogeneitàGestione delle eterogeneità
informazioniinformazionisul websul web
diversi livelli di diversi livelli di granularitàgranularità
![Page 9: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/9.jpg)
Misure aggregateMisure aggregate
ProvinciaProvincia ProvinciaProvincia
1,5221,522 Comune 1Comune 11,5221,522 Comune 1Comune 1
1,517 1,517 Comune 2Comune 21,517 1,517 Comune 2Comune 2
1,5211,521 Comune 3Comune 31,5211,521 Comune 3Comune 3
Roll upRoll up
1,5361,536 Comune 4Comune 41,5361,536 Comune 4Comune 4
AVG
AVG
Misura aggregataMisura aggregata1,5241,524
![Page 10: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/10.jpg)
Misure aggregateMisure aggregate
1,520 1,520 ProvinciaProvincia1,520 1,520 ProvinciaProvincia
1,5221,522 Comune 1Comune 11,5221,522 Comune 1Comune 1
1,517 1,517 Comune 2Comune 21,517 1,517 Comune 2Comune 2
1,5211,521 Comune 3Comune 31,5211,521 Comune 3Comune 3
1,524 1,524 ProvinciaProvincia1,524 1,524 ProvinciaProvincia
-- Comune 4Comune 4 -- Comune 4Comune 4
AVG
AVG
NON PRESENTE NELNON PRESENTE NELDATA WAREHOUSEDATA WAREHOUSE
GIA’ DISPONIBILEGIA’ DISPONIBILE
![Page 11: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/11.jpg)
Possibili soluzioniPossibili soluzioni Prevedere un modulo che pre-calcoli ogni livello di
aggregazione navigabile Personalizzare il server OLAP Viste materializzate Intervenire a livello logico (query MDX)
![Page 12: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/12.jpg)
prezzo aggregato
![Page 13: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/13.jpg)
SoluzioneSoluzione• DIMENSIONE AUSILIARIADIMENSIONE AUSILIARIA
• FILTRAGGIOFILTRAGGIO
• NUOVA MISURANUOVA MISURA
IF Level IS [Nazionale] THENIF Level IS [Nazionale] THENIF Level IS [Regionale] THENIF Level IS [Regionale] THENIF Level IS [Provinciale] THENIF Level IS [Provinciale] THENIF Level IS [Comunale] THENIF Level IS [Comunale] THEN
IF Level IS [Nazionale] THENIF Level IS [Nazionale] THENIF Level IS [Regionale] THENIF Level IS [Regionale] THENIF Level IS [Provinciale] THENIF Level IS [Provinciale] THENIF Level IS [Comunale] THENIF Level IS [Comunale] THEN
Query MDX
![Page 14: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/14.jpg)
ImplementazioneImplementazione
Query espresse in MDXLegge i dati da un RDBMSPresenta i risultati in forma
multidimensionale
Motore OLAP Mondrian-JPivotMondrian-JPivot
Mondrian XML SchemaMondrian XML Schema
CON
FIG
UR
AZI
ON
E
CubeTableDimensionHierarchyLevelCalculatedMemberMeasures
Collezione di misure e dimensioni
Relazioni con le tabella del database fisico
Gerarchie legate aduna dimensione
![Page 15: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/15.jpg)
SperimentazioneSperimentazione
• Analisi sui dati disponibili Generare query di interesse Elaborare rappresentazioni grafiche Confrontare le misure visualizzate
• Stimare i tempi di calcolo
• Performance
• Significatività
![Page 16: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/16.jpg)
Analisi OLAPAnalisi OLAP
![Page 17: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/17.jpg)
Analisi OLAPAnalisi OLAP
AGIPAGIP
16 Luglio 2008
![Page 18: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/18.jpg)
ConclusioniConclusioni• Riuso delle informazioni acquisite dal web• Adattabilità a diverse tipologie di prodotti (Alimenti, Carburanti,
Servizi, etc.)• Analisi ad alto valore aggiunto
PROTOTIPO
• Flessibile– Adattabilità delle sorgenti– Elasticità di analisi
• Robusto– Nessun malfunzionamento rilevato
• Efficiente– Rapidità– Puntualità
![Page 19: Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web](https://reader033.vdocuments.mx/reader033/viewer/2022060117/5585f413d8b42a58068b4735/html5/thumbnails/19.jpg)
Sviluppi FuturiSviluppi Futuri
•Nuovi flussi informativi
• Supporto agli utenti nella costruzioni di analisi
•Nuovi servizi di analisi avanzata–Data quality–Data mining