irba, 263… - the innovation group · 2017-01-23 · data quality segnalazioni, irba, 263…...
TRANSCRIPT
Data quality Segnalazioni,IRBA, 263…
RiconciliazioniFront-Middle-Back Office
Validazione e caricamento data warehouse
Controllo commissionie billing
Riconciliazioni e controlli AUI - partitari
Quadratura contabile-gestionale
Cleansing e Standardizzazione Anagrafiche
Reporting ICAAP
Monitoraggio Corporate Actions
Risk Data Aggregation
Controlli AntiFrode& Antiriciclaggio
EMIRGarante Privacy 2Decreto Monti
Product Control
Contabilità industriale e costallocation
Monitorcontroparti
Reporting clientela private
Management Control
Calcolo di indicatori di performance e rischio (KPI, KRI)
Liquidity Reporting
Modernizzazione dei flussi di dati
Migrazione di dati e gestione dei controlli di parallelo
ReconBankAccounts
Governance & reporting
Riconciliazioni Vigilanza-partitari-coge
Marketing analysis and benchmark position dashboards Master Data Management
Consolidamento ed aggregazione dati Credit Reporting
agenda
l’ambito
regolamentare
e l’utilizzo di
IrionDQ
le principali
funzionalità di
IrionDQ
applicazioni e un
caso di successo
3
AMBITO REGOLAMENTARE
qualità dei dati
Garanzia del rispetto di elevati standard di qualità nei termini di:
■Completezza (informazioni rilevanti)
■Pertinenza
■Accuratezza
■Tempestività
Deve essere definito uno standard aziendale di «data policy» completo di:
■Controlli
■Procedure per gestire le eccezioni (dati mancanti o non soddisfacenti)
Gli obiettivi dello standard di qualità devono essere sempre più stringenti –
definizione di Key Quality Indicator degli esiti e analisi dei trend per il
miglioramento
4
AMBITO REGOLAMENTARE
qualità dei dati
I dati inseriti o corretti manualmente (rettifiche, override, ecc.) devono essere
documentati.
Si devono registrare:
■I dati originali
■L’utente che ha operato
■Il timestamp dell’operazione
■Eventualmente le motivazioni delle rettifiche
Gli interventi manuali devono essere costantemente verificati – anche con appositi
controlli e procedure autorizzative
5
AMBITO REGOLAMENTARE
qualità dei dati
Deve essere tenuta traccia di:
■Controlli effettuati
■Esiti
■Dati scartati o introdotti
■Informazioni
▶ Mancanti
▶ Non plausibili
▶ Outlier
▶ Con forti discontinuità periodali
■Posizioni escluse
■Risultati delle riconciliazioni con procedure contabili
■Risultati di verifiche con archivi esterni
6
IRIONDQ
perché
Consente, ad esempio:
■La realizzazione o l’adeguamento di controlli sulle registrazioni contabili nonché di verifica dell'allineamento tra i dati utilizzati per la gestione dei rischi e per la rendicontazione finanziaria, accedendo a qualunque tipologia di fonte dato e permettendo la definizione di qualunque tipo di controllo
■La realizzazione di controlli di quadratura tra sottosistemi sezionali, segnalazioni di vigilanza, contabilità generale, AUI
■La realizzazione di sistemi di quadratura tra applicazioni di front-office e middle/back-office
■La definizione di misure atte a garantire e a misurare la qualità dei dati
■La definizione delle procedure di gestione delle eccezioni rilevate, con tracciatura automatica
■La definizione delle procedure per assicurare che gli indicatori di qualità (esiti e KQI) siano riportati periodicamente agli utenti di business, alle funzioni di controllo e all’organo con funzione di gestione
■La definizione di ruoli e responsabilità nell’effettuazione dei controlli
7
IRIONDQ
perché
■Può essere inserito nelle attività di identificazione, misurazione o valutazione, monitoraggio, prevenzione o attenuazione dei rischi connessi con la qualità dei dati nell'ambito del processo di gestione dei rischi, anche per quanto riguarda l’acquisizione o incorporazione di soggetti esterni, grazie alla estrema flessibilità nell’integrazioni di fonti dati
■Viene utilizzato in processi per la verifica della qualità e coerenza complessiva dei dati aziendali in relazione all'eventuale utilizzo di procedure settoriali (contabilità, segnalazioni – es. Intesa SanPaolo, antiriciclaggio – es: Banco Popolare, ecc.)
■Ha funzionalità per la definizione di procedure che assicurino l'integrazione e la verifica della qualità a livello consolidato delle informazioni provenienti da tutte le componenti del gruppo
■E’ di supporto per l’adeguamento dei rapporti prodotti sui dati aziendali, con riguardo all'esigenza di esporre le principali assunzioni e gli eventuali criteri di stima adottati (ad es., nell’ambito del monitoraggio dei rischi aziendali)
■E’ di supporto per l’adeguamento del sistema di reporting con riguardo all'esigenza di produrre informazioni tempestive e di qualità elevata per l’autorità di vigilanza e per il mercato
8
IRIONDQ
accountability & verificabilità
Grazie alle funzionalità di One Click Audit & Automatic Documentation IrionDQ
consente, in modo automatico:
■La registrazione completa, corretta e tempestiva dei fatti aziendali, al fine di consentire la
ricostruzione dell’attività svolta, comprensiva di data, ora, autore, motivo, ambiente, dati
precedenti l’eventuale modifica
■La documentazione dettagliata delle procedure di estrazione dei dati, di trasformazione,
controllo e caricamento negli archivi accentrati nonché delle funzioni di sfruttamento dei
dati, ad esempio nel caso di alimentazioni ed estrazioni da datawarehouse
■La documentazione dettagliata delle procedure di gestione e aggregazione dei dati, con
specifica previsione delle circostanze in cui è ammessa l’immissione o la rettifica manuale
– sempre mediante IrionDQ – di dati aziendali
■La documentazione e il presidio dei processi di acquisizione di dati da information
provider esterni, nel caso si utilizzi IrionDQ come motore di integrazione
agenda
l’ambito
regolamentare e
l’utilizzo di
IrionDQ
le principali
funzionalità di
IrionDQ
applicazioni e un
caso di successo
10
connessioni e adapter a fonti dati
IrionDQ mette a disposizione un ricco set di adapter per accedere e validare dati virtualmente in qualsiasi formato:
■ Connessione a tutti i DBMS (Data& Metadata);
■ Capacità di leggere qualunque tipo di file e formati strutturati (csv, txt, VSAM, EBCDIC, Packed/Zoned Decimal, CopyBook, SWIFT, …);
■ File normalizer per accedere a dati semistrutturati o non strutturati (es: report di applicativi mainframe, …)
■ XML, FpML,…;
■ Script Engine: integrazione con Microsoft PowerShell per chiamare code MQ, API per accesso a dati esterni (es: API SAP, Hadoop, ecc.) ;
■ Qualunque Web Services come «consumer»;
■ Open Bloomberg API Adapter/Bloomberg Data License;
■ Sistemi di mailing,…;
■ File, APPS & Add-ins (MatLab, Fincad, …) Excel, anche con file multisheet e parzialmente strutturati, con la possibilità di acquisire anche informazioni di corredo quali commenti, colori, ecc.
■ Ampliare il set di funzionalità sviluppando classi .NET ad hoc che non richiedono installazioni di nuove versioni di IrionDQ
I dati possono essere arricchiti anche da fonti esterne (ad esempio Bankscope, Bloomberg, Cerved, Centrale Rischi, ecc.)
11
dati in forma testuale
IrionDQ mette a disposizione la tecnologia File Normalizer con un ricchissimo set di
funzioni per:
■Scomporre i campi testo sulla base di delimitatori qualsiasi
■Scomporre i campi testo utilizzando «regular expression» anche complesse con pattern
matching, ad esempio rispetto a strutturazioni del testo, set di valori ammessi, ecc. (es:
verifica congruenza del codice fiscale)
■Definire tabelle di termini da usare nei confronti
■Definire regole di «parsing» custom
■Effettuare conversioni di dati da qualunque formato (es: EBCDIC, packed/zone decimal, …)
■Accedere ai dati presenti in file pdf (con alcune limitazioni dipendenti dal file originario)
12
valutazione qualità dei dati e reporting
Grazie ai package di regole IrionDQ è possibile implementare sistemi di analisi dei
dati per ottenere valutazioni della qualità dei dati
■Profiling dei dati
■Analisi dei dati in colonna
■Analisi «custom»
■Analisi e verifica su base temporale
■Rappresentazioni grafiche dei dati e delle analisi
■Reporting
■Dashboarding
■Possibilità di esportare analisi ed esiti a sistemi terzi
■Esecuzione interattiva o batch (schedulata)
13
configurazione e gestione delle regole
Con IrionDQ è possibile definire dei package di regole di validazione, controllo ed arricchimento con sintassi SQL standard
Possono essere definite facilmente tipologie diverse di controlli:
■ Puntuali
■ Logici
■ Andamentali
■ Coerenza
■ Adeguatezza
■ Accuratezza
■ Tempestività
■ Integrità
■ Quadratura
■ Riconciliazione (es: segnalazioni con contabilità, partitari con AUI, …)
■ …
Fino a controlli più complessi quali riconciliazioni contabili/gestionali
14
normalizzazione e pulizia dei dati
IrionDQ consente inoltre la modifica, l’integrazione, la derivazione e la pulizia dei
dati:
■Trasformazioni semplici (tipo dato, splitting di stringhe, operatori di concatenazione)
■Trasformazioni complesse (ricerca e sostituzione, operazioni di parsing sofisticato delle
stringhe, ecc.)
■Le funzioni possono essere standardizzate e messe a disposizione in librerie (es:
interpretazione dei codici fiscali)
■Le funzioni possono essere arricchite con l’utilizzo di API di terze parti (ad esempio per la
normalizzazione di indirizzi)
■Tutte queste funzioni possono essere estese facilmente con un linguaggio di scripting fino
allo sviluppo di classi .NET ad-hoc
15
matching, riconciliazione e quadratura
Con la realizzazione dei package di regole IrionDQ si possono implementare:
■Regole di matching deterministico
■Regole o algoritmi per il matching basato su modelli piuttosto che valori esatti
■Sistemi di matching linguistico (es. Soundex, Difference, funzioni di librerie di terze parti
chiamabili via API)
■Sistemi di attribuzioni di «pesi», «scoring» e valori con soglie di tolleranza (ad esempio
per verificare il grado di match di valori)
■Sistemi per deduplicare, collegare o fondere record correlati
■Regole per creare gruppi logici di dati basati su chiavi
I set di dati da valutare o riconciliare possono essere preventivamente elaborati per
ricondurli a grandezze confrontabili tra loro (es: necessità di riconciliare sistemi
diversi in cui i dati di base sono per uno i movimenti e per l’altro i saldi…)
16
monitoraggio
I pacchetti di regole IrionDQ consentono:
■Lo sviluppo di regole di controllo che indirizzano specifiche problematiche di data quality
■La possibilità di definire livelli diversi di «gravità» del problema (errore, warning, ok), oltre
a sistemi di scoring
■La possibilità di generare alert di vario tipo, quali messaggi email, messaggi di errore,
codici di ritorno, ecc.
■La realizzazioni di report e dashboard che rappresentano, ad esempio ma non solo, il
monitoraggio dei dati (o dei processi) e il numero di regole violate nel tempo
IrionDQ inoltre mette a disposizione una console centralizzata di monitoraggio e
tracciatura dei processi, con il log completo di tutte le attività poste in essere
17
processo di gestione della qualità dei dati
■IrionDQ mette a disposizione un potente motore di workflow interno (invocabile anche
dall’esterno, ad esempio per esecuzioni schedulate – in grado di effettuare «continous
monitoring»)
■Possono essere definite delle videate di user interface dove gli operatori possono
integrare, correggere e commentare i dati
■Tutto in un ambiente profilato in termini di sicurezza utente (sia per le funzioni a
disposizione sia per la segregazione dei dati), con la possibilità di definire ruoli diversi per
gli utenti (es: analisti, data steward, data owner, ecc.).
■Con la possibilità di aprire e gestire «pratiche» di gestione delle problematiche emerse in
fase di controllo, fino alla loro chiusura anche con l’interfaccia verso sistemi esterni
18
gestione dei workflow della qualità
Grazie al motore di workflow e alle funzionalità End User può essere gestito
completamente il ciclo della qualità dei dati, compresi cleansing e remediation:
■Integrare i dati mancanti (sia in modo automatico, in base ad algoritmi di filling, che in
modo manuale con l’intervento dell’operatore preposto)
■Procedere automaticamente al cleansing, sia definindo opportuni algoritmi, sia
integrando funzioni di terze parti (ad esempio, funzionalità di Address Verification,
Correction and Standardization
■Risolvere i conflitti nei casi di duplicazione
■Profilare i dati
■Definire passi di risoluzione delle problematiche emerse con gestione degli stati di
avanzamento e di un set di metadati definibile
■Monitorare l’andamento del processo di risoluzione ed evidenziarne eventualmente anche
key performance indicators.
19
gestione dei metadati
■IrionDQ gestisce un archivio delle regole di controllo e di gestione del processo
■Tutti i componenti dei pacchetti di regole IrionDQ sono documentati automaticamente
dal sistema, con la possibilità di arricchire la documentazione con opportuni commenti
utente
■Tutte le dipendenze tra oggetti IrionDQ sono tracciabili e visualizzabili
■I pacchetti di regole possono essere versionati
■IrionDQ è in grado di utilizzare automaticamente i metadati dagli RDBMS esterni
agenda
l’ambito
regolamentare e
l’utilizzo di
IrionDQ
le principali
funzionalità di
IrionDQ
applicazioni e
un caso di
successo
21
alcuni esempi di applicazione…
■DQM per le segnalazioni di vigilanza
■DQM per i dati IRB
■Controlli per la corretta alimentazione dell’AUI
■Controlli per antifrode
■DQM per l’alimentazione ai datawarehouse
■DQM anagrafe
■Riconciliazioni e quadrature…
SUCCESS CASE
22
architettura di esempio
check & investigate
validate
process exception
manage approvals
rule n
rule 2
rule 1
Match
Mismatch
Missing fields
Wrong Fields
MissingTrade
Duplicate Key
DifferentValue
Delta
23
DQM per le segnalazioni di vigilanza
Le Banche devono dotarsi di un sistema di Data Quality Management (DQM) volto a migliorare la qualità dei dati utilizzati per la produzione delle Segnalazioni di Vigilanza:
■ «Le responsabilità per la correttezza delle segnalazioni consolidate e per l’adeguatezza delle procedure di produzione e di controllo di tali segnalazioni fanno capo agli organi aziendali…
■ Particolare cura va posta nella predisposizione e nell’utilizzo di appositi strumenti di controllo interno, che prevedano anche forme di visualizzazione delle informazioni per i responsabili aziendali, volti ad assicurare la necessaria coerenza dei dati segnalati con le risultanze della contabilità e dei sistemi informativi aziendali»
Deve essere a supporto degli utenti della funzione vigilanza nel processo di controllo dei dati lungo tutta la filiera di produzione delle voci segnaletiche:
■ dati in input estratti dai partitari
■ dati archiviati
■ voci delle diverse basi informative prodotte
IrionDQ è lo strumento che esegue in automatico i controlli sui flussi di input all’archivio delle segnalazioni e che rende disponibili e interrogabili gli esiti dei controlli e gli indicatori di sintesi della qualità.
SUCCESS CASE
24
perché IrionDQ
IrionDQ utilizza tecnologie proprietarie per gestire automaticamente tutta la
componente operativa:
■L’infrastruttura dei dati
■La gestione e l’ottimizzazione delle esecuzioni
■La gestione di accessi concorrenti in un contesto multiutente
■La gestione della sicurezza (profili utenti, permessi, data segregation)
■I workflow
■La persistenza dei dati
■ ...
Con IrionDQ è sempre possibile dimostrare che si seguono le politiche e le
normative interne ed esterne e giustificare il perché è stata assunta una decisione.
SUCCESS CASE
25
perché IrionDQ
IrionDQ mette a disposizione funzionalità per:■ accedere in lettura ai file contenenti i dati oggetto di controllo;
■ normalizzare i flussi in ingresso da formato nativo a formato relazionale;
■ archiviare i flussi necessari in un apposito repository per garantire i controlli andamentali;
■ permettere la navigazione dei dati di input;
■ eseguire un set di controlli predefiniti volti a garantire la qualità di tali dati;
■ gestire tabelle di supporto ai controlli;
■ implementare controlli sulle “chiavi mancanti”;
■ produrre in output due flussi relativi ai risultati dei controlli (flusso esiti e flusso casi anomali);
■ permettere il browsing e l’analisi dei risultati dei controlli;
■ produrre in output un flusso normalizzato relativo ai dati di II° livello;
■ produrre un flusso periodico di aggiornamento sull’anagrafica dei controlli esistenti al fine di alimentare un repository centralizzato (se gestito al di fuori di IrionDQ);
■ disporre di un monitor di controllo IT sull’avanzamento del processo;
■ gestire l’automazione dell’intero processo (lettura, normalizzazione, controllo, output) mediante opportuni strumenti (workflow). Il processo è interamente “unattended” ed eseguito in modalità batch.
SUCCESS CASE
26
tipologie di controlli
Tipologie di controlli mirati a verificare che i dati presenti nel flusso segnaletico siano in primis conformi a quanto presente nei partitari di origine e alle risultanze della contabilità:
■Contabile: controlli di quadratura fra dati del flusso di interfaccia e mastri contabili
■Puntuale: controlli di coerenza fra informazioni del flusso di interfaccia e il partitario di origine, per verificare che le fasi di estrazione dati dai partitari siano avvenute in modo corretto e completo;
■Andamentale: di controlli che pongono in relazione i dati di un flusso con gli stessi dati dello stesso flusso prodotto nel mese precedente o nello stesso mese dell’anno precedente, al fine di sterilizzare eventuali effetti di stagionalità.
■Logico: controlli che agiscono su informazioni presenti sullo stesso flusso ponendole in relazione fra loro in funzione di caratteristiche delle operazioni a cui si riferiscono;
■Logico con tabelle: controlli di coerenza fra informazioni presenti nello stesso flusso di interfaccia con l’ausilio di tabelle di appoggio (ad esempio la Tabella cambi)
■Logico/Andamentale: controlli di coerenza fra informazioni presenti in un flusso con le stesse informazioni di periodi precedenti
SUCCESS CASE
27
quadratura con i partitari
Per ogni flusso di alimentazione all’archivio segnaletico viene attivato il controllo
per verificare che le fasi di estrazione dati dai partitari siano avvenute in modo
corretto e completo.
In funzione del flusso da certificare è possibile definire
■controlli analitici
■controlli sintetici
I flussi di contraddittorio utilizzati per i controlli puntuali possono essere:
■gli inventari di fine mese del partitario di provenienza;
■ le informazioni fornite dai partitari stessi al sistema contabile;
■flussi costruiti ad hoc, nel caso in cui le informazioni già esistenti non siano sufficienti.
SUCCESS CASE
28
quadratura con la contabilità
Prevede la verifica dei campi importo dei flussi di alimentazione che trovano
corrispondenza con i saldi contabili saranno oggetto di quadratura con i flussi di
contraddittorio provenienti dal general ledger.
Avviene principalmente per aggregati (saldi a livello di forma tecnica contro saldi a
livello di mastrino o di aggregati);
SUCCESS CASE
29
valutazione e misura della qualità
■Completezza: tali controlli devono verificare 2 aspetti:
▶ siano presenti i risultati per tutte le dimensioni di analisi (o entità di dettaglio) previste (e ragionevoli)
▶ siano riportati i dati per tutti i dettagli base del modello, ad es. siano presenti tutti i rapporti (in questo caso sono da
testare anche le possibili valorizzazioni a zero o “null” poiché per tali dettagli è ammissibile che non si siano generati
dati)
■Accuratezza: tale aspetto è riferito a tutti i controlli di quadratura
■Coerenza: i controlli che rapportano i dati in relazione al tipo per capire se sono tra loro
coerenti: l’esempio classico è il confronto tra gli interessi attivi / passivi di competenza un
prodotto / rapporto finanziario ed i suoi numeri liquidi di competenza – se il tasso
nominale annuo è insensato si deve segnalare l’anomalia; il tasso di confronto si può
reperire dalle condizioni clienti o si impostano tabelle di range tassi “ad hoc” ). Tutti questi
controlli hanno dati di confronto diversi a seconda della “chiave” (dettaglio) a cui sono
associati
SUCCESS CASE
30
valutazione e misura della qualità
■Tempestività: tali controlli sono relativi allo stato di avanzamento delle elaborazione
(normalmente questi sono al 90% sulle alimentazioni)
■Pertinenza: sono i controlli andamentali; per essi occorre definire, in relazione al livello di
aggregazione degli stessi, delle soglie di ammissibilità dei trend
■Univocità: occorre verificare che non vi siano chiavi o dati duplicati (è il controllo
coniugato a quello di completezza)
■Integrità: è normalmente riferita ai controlli sui domini chiusi delle varie dimensioni di
analisi (sono attributi di entità cardine del modello dati) e quindi molto spesso è
demandato ai controlli tecnici di controllo del “formalismo delle alimentazioni”, ad
esempio non vi possono essere codici classificatori non previsti dalle tabelle anagrafiche
del sistema (SAE, Segmenti, codici tipi rapporti inesistenti nei domini); alcuni tipi di
controllo possono essere gestiti in quelli di coerenza
SUCCESS CASE
31
ambiti oggetto di controllo
Amministrazione
■Partecipazioni
■Cespiti
■Contabilità
Anagrafe
Conti Correnti e Depositi
Crediti
■Crediti Medio/Lungo Termine
■Crediti Large Corporate (anche in valuta)
■Fidi
■Garanzie
■Sofferenze
■Prestiti su pegno
■Crediti di firma concessi
Estero
Finanza e titoli
■Operatività finanza c/clientela
■Movimentazione titoli
■Certificati di deposito
■Depositaria titoli
■Polizze
■Collocamento
■Operatività finanza c/proprio
Personale
Portafoglio
Tesoreria
SUCCESS CASE