running big data
TRANSCRIPT
![Page 1: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/1.jpg)
Think Big. Move Fast.
![Page 2: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/2.jpg)
Francesco De Chirico• 13 anni nell’area formazione di Telecom Italia• 7 anni come libero professionista• Dal 2007 Mentor in SolidQ• Modellazione e sviluppo di soluzioni di BI con piattaforma Microsoft dal 2001• Profonda conoscenza di SSAS e linguaggi MDX e DAX• Microsoft MCT dal 2008• SSAS Maestro dal 2012
• Mail: [email protected]
![Page 3: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/3.jpg)
Running Big Data
![Page 5: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/5.jpg)
Timing Data Service• Timing company leader a livello nazionale per numero di atleti cronometrati
• oltre 350.000 atleti• più di un 1.000.000 di tempi di gara
• Non solo atletica:• ciclismo, MTB, sci di fondo ed altre per un totale di oltre 30 discipline coperte
• Offre servizi organizzativi, come • grafica TV • gestione delle iscrizioni • la produzione di materiali (pettorali, volantini, buste, ecc.)
![Page 6: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/6.jpg)
SolidQ• Società Globale di consulenza sulla Piattaforma Dati Microsoft
• Nata nel 2002 in Spagna & North America• Divisione Italiana aperta nel 2007
• Oltre 200 professionisti in tutto il mondo• Maggior concentrazione di Microsoft Valuable Professional su SQL Server
• Offre servizi di Consulenza, Advisory, Mentoring e Formazione su• Data Warehousing, Business Intelligence, Big Data & Analytics• Performance Tuning, Performance Monitoring, Alta Disponibilità e Disaster Recovery
• Offre soluzioni di Remote DBA, Security Assessment, Check-Up, Cloud BI
![Page 7: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/7.jpg)
Obiettivi e metodologia• Definire architettura e "Big Data Journey" di riferimento
• Applicazione pratica in progetti già in produzione
• Fare "percepire" i big data agli utenti• Big Dirty Data: nel backoffice• Small Nice Useful Data: per l’utente finale
• Dimostrare il "valore" dei dati anche in aziende in cui essi non rappresentano il core business
• Problema: nel 2014 Azure era molto diverso da ora• Sfida: progettare un’architettura modulare migliorabile nel tempo• Soluzione: SolidQ Adaptive BI Framework (www.adaptivebi.it)
![Page 8: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/8.jpg)
Architettura Fisica• Data Sources
• RDBMS• JSON RESTful service• Wikipedia
• Fast Ingest• Ad-Hoc .NET Service su Virtual Machine• vNext: Azure Event Hub + Azure Data Factory
• Stock• Azure Blob Store per JSON• SQL Server / SQL Azure per dati strutturati
Collect / Stock
Fast Ingest
Data Sources
![Page 9: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/9.jpg)
Architettura Fisica• Batch Process su Raw Stock
• HDInsight + Python Scripts + Hive Queries• Batch load con SSIS + HDInsight ODBC
• Data Processing (VM + SQL Azure)• SQL Server In-Memory Engine / ColumnStore• T-SQL + SSIS• Ad-Hoc .NET Scripts (dentro SSIS)• vNext: Azure Stream Analytics
• Identity Mapping (VM)• Multi-level Fuzzy Matching algorithm in SSIS• vNext: HDInsight + Tez/Spark
Batch Process
Data Process
Data Process
![Page 10: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/10.jpg)
Architettura Fisica• Distilled Data
• SQL Azure
• Analytics (Clustering, Forecasting)• Azure ML
• Cache Engine• Azure Redis
Distilled Data
Analytics
Analytics
![Page 11: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/11.jpg)
Architettura Fisica• Web Application (Azure Web Apps)
• REST Service per il Query Manager• HTML5 + Async JQuery Front End
• Data Exploration• Excel per i Data Scientist• PowerBI per gli utilizzatori finali “evoluti”
• Dove il sito web non basta
Analytics
Exploration
![Page 12: Running Big Data](https://reader035.vdocuments.mx/reader035/viewer/2022062310/5881a2561a28ab1a398b58e3/html5/thumbnails/12.jpg)
Funzionalità• Oggi
• Dati ufficiali (pubblici) relativi a corse e corse in montagna• Analisi statistiche sui dati ufficiali
• Da domani (27-11-2015)• Login per accesso ai propri dati (privati) previa registrazione sito TDS• Analisi statistiche sui propri dati
• Next upgrades• Dati personali di allenamento• Wearables Devices Data (IoT)• Predictive Analytics• …