giancarlo butti, fabio maccaferri, - aiea.it · misurazione e controllo del rischio, controllo...
TRANSCRIPT
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Metodi quantitativi per la valutazione dei rischiSessione di Studio ISACA-AIEA 27/09/2012 - Torino
Giancarlo Butti, (LA BS7799), (LA ISO 27001), ISM, CRISCFabio Maccaferri, (LA BS25999), Docente a contratto UCSC, AD Pragmatica
Consulting.
Copyright G.Butti – F. Maccaferri
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Mi occupo di ICT, organizzazione e normativa dai primi anni 80
Master di II livello in Gestione aziendale e Sviluppo Organizzativo presso il MIP – Politecnico di Milano – Corsi in Alta Formazione in Information Security Management e Intranet e Sviluppo dell’ Organizzazione in Rete.
Security manager ed auditor presso banche MEDIO GRANDIConsulente di aziende MEDIO PICCOLE
Divulgatore: 16 libri/white paper, 3 nuovi libri in preparazione oltre 600 articoli, rubrica mensile di IT audit su Toolnews
Formatore: corsi e seminari in ambito privacy,sicurezza, continuitàoperativa, document managementcorsi di audit presso ABI Formazione
Membro dell’Osservatorio sulla Business Continuity di ABI LAB
Socio AIEA: Nuovo Comitato Convegni 2012GDR EU Privacy
Socio CLUSIT
Giancarlo Butti
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Fabio Maccaferri
Sono laureato in Matematica Applicata e mi occupo di Risk Management, Controllo di Processo, Organizzazione e ICT dalla fine degli anni 80.
Docente a contratto in Sistemi Informativi presso l’Università Cattolica di MilanoFondatore e AD di Pragmatica Consulting, Società di Consulenza e FormazioneProject Manager per la progettazione e implementazione di sistemi di automazione industriale per grandi aziende in Italia e all’esteroConsulente di Banche, Assicurazioni e Aziende su tematiche inerenti la misurazione e controllo del rischio, controllo statistico di processo e disegno organizzativo
Formatore: corsi e seminari in ambito Risk Management, Controllo statistico delle operations, continuità operativa, document management
corsi di alta formazione presso Università Cattolica
Certificato ITIL e Lead Auditor BS25999
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
• I metodi per la valutazione dei rischi
• La valutazione dei rischi• La definizione di un campione significativo• L’audit proattivo
Argomenti
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Comunicare al management – L’aspetto educativo
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Comunicare al management – L’aspetto educativo
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Comunicare al management – L’aspetto quali-quantitativo
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
• Austrian IT Security• Handbook• Cramm• Dutch A&K analysis• Ebios• ISF methods• ISO/IEC IS 13335-2• (ISO/IEC IS 27005)• ISO/IEC IS 17799• ISO/IEC IS 27001• ISO 31010• IT-Grundschutz• Marion (replaced by Mehari)• Mehari• Octave• SP800-30 (NIST)
Metodi e strumenti per l’analisi dei rischi
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
AS/NZS 4360:2004 RISK MANAGEMENTBSA – Baseline Security Assessment Ce.TRA - Continuous e.Business Threat and Risk AnalysisCRAMM Defender Manager EBIOS ERAM - Enterprise Risk Assessment and Management FIRM (Fundamental Information Risk Management)ISA – Information Security AssessmentISO/IEC 21827 - System Security Engineering, CapabilityMaturity Model NET.RISK NORA - Network Oriented Risk Analysis methodology OCTAVE® - Operationally Critical Threat, Asset, andVulnerability EvaluationSMOSSTMM – Open Source Security Testing MethodologyManualPRA – Psychological Risk AssessmentRAF - Risk Analyis FacilityRISKWATCH (versione per l’Italia)SARA - Simple to Apply Risk AnalysisSPRINT – Simplified Process for Risk IdentificationSSM - Scalable Security Model
Metodi e strumenti per l’analisi dei rischi
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
La Linea Guida ISCOM – RISK ANALYSIS APPROFONDIMENTI classifica diversi metodi e strumenti di analisi dei rischi, che possono esseredistinti, in base al metodo di valutazione dei rischi utilizzato, nelleseguenti tre categorie:
• qualitativo;• quantitativo;• semi-quantitativo.
Approccio all’analisi dei rischi (ISCOM)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’approccio QUALITATIVO prevede una valutazione del rischio su una scala qualitativa (ad esempio alto, medio, basso).
L’approccio QUANTITATIVO, invece, riconduce le valutazioni ad un valore numerico puntuale, spesso inteso come la perdita economica derivante dal verificarsi del rischio. Si tratta di un approccio più difficile ed oneroso del primo perché costringe ad un censimento ed una valorizzazione degli asset e ad una valorizzazione delle perdite che si avrebbero in caso di incidente.
L’approccio SEMI QUANTITATIVO è un compromesso fra i primi due, nel quale le valutazioni sono effettuate in termini qualitativi e, successivamente, trasformate in numeri per poterle elaborare attraverso algoritmi di calcolo, come se si trattasse di valutazioni quantitative.
Approccio all’analisi dei rischi (ISCOM)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
La Linea Guida ISCOM – RISK ANALYSIS APPROFONDIMENTI descrive i seguenti elementi come caratteristici delle varie metodologie di analisi dei rischi, qui sintetizzati:
RischioIl rischio è l’eventualità che una minaccia possa trasformarsi realmente in danno, comportando così un determinato impatto.Il “rischio potenziale” o “intrinseco” è il livello di rischio a prescindere dalle contromisure, mentre quello “effettivo” o “residuo” tiene conto di quelle implementate.
MinacciaLa minaccia viene definita come un evento di natura dolosa o accidentale che, sfruttando una vulnerabilità del sistema, potrebbe provocare un danno.
Approccio all’analisi dei rischi (ISCOM)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
VulnerabilitàRappresenta una debolezza intrinseca o dovuta a condizioni di esercizio o assenza di controlli, che può essere sfruttata da una minaccia per arrecare danno.
DannoIl danno è la conseguenza (spesso identificata da una perdita di riservatezza, integrità e/o disponibilità dell’informazione) del verificarsi di un rischio o dell’attuarsi di una minaccia.A volte viene distinto il danno in “tangibile” (danno monetario) e “intangibile” (danno immateriale).
Impatto (sinonimo spesso di danno)Le possibili definizioni sono:misura o entità del dannoeffetto sull’azienda del verificarsi di una minaccia (effetto reale del danno sul sistema).
Approccio all’analisi dei rischi (ISCOM)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
MINACCE VULNERABILITA’
CONTROMISURE RISCHI ASSET
VALOREREQUISITI DI PROTEZIONE
PROTEGGANO DA AUMENTANO AUMENTANO ESPONGONO
SFRUTTANO
RIDUCONO
SODDISFATTI DA AUMENTANO HANNOINDICANO
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
LE FASI DELL’ANALISI DEI RISCHI
L’Analisi dei rischi
Identificazione beni
Identificazione minacce e vulnerabilità
relazione fra beni
Valutazione probabilitàdi accadimento
Valutazione rischio
Valutazione impatti
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
BENI MATERIALI
PERSONALE
BENI IMMATERIALI
BENI MATERIALI
PERSONALE
BENI IMMATERIALI
L’identificazione dei beni
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
ESPLICITEDocumentiSistemi informativi (dati)
IMPLICITEPersonale ( competenze, conoscenze )Processi
Sistemi informativi (software, configurazioni)ProcessiOggetti (prototipi, campioni… )Taratura impianti e macchine
La relazione fra i beni
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
EDIFICIO
LOCALE
ATTREZZATURE
La relazione fra i beni
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
MINACCE COMPORTAMENTALI
Azioni errateAzioni di terrorismoFurti/FrodiVandalismiSocial engineeringDisobbedienza, sabotaggioAccesso/Uso illecito di risorseUso non conforme di risorse leciteScioperi del personaleScioperi di terzi (fornitori, servizi…)Scioperi connessi ai trasporti (benzinai, ferrovie...)
Identificazione di minacce e vulnerabilità
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
CARENZE ORGANIZZATIVEMancata regolamentazione a vari livelliMancata definizione dei ruoliMancanza di procedure, policy…Mancata identificazione del valore delle risorseMancata identificazione dei rischiMancata identificazione ed implementazione di adeguate contromisureMancata definizione dei controlli e del processo di gestione degli stessiMancata definizione della responsabilità dei controlli
CARENZE NELLE RISORSE UMANEERRORI INVOLONTARI
Processi aziendaliNell’ambito dei sistemi informativiNell’ambito degli edifici e delle infrastruttureNell’ambito degli impianti produttivi
Identificazione di minacce e vulnerabilità
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
0 irrilevante ai fini pratici
1-3 danni minimi
4-6 danni importanti
7-9 danni gravi
10 danni gravissimi
Valutazione qualitativa dell’impatto
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Valutazione qualitativa dell’impatto
SOFTWARE PACKAGE ACQUISITION
Tratto da IS Risk Assessment Measurement Procedure P1 - ISACA
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Valutazione qualitativa dell’impatto
Tratto da IS Risk Assessment Measurement Procedure P1 - ISACA
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Descrizione del bene Disco fisso
Evento Distruzione
Costo diretto Costo del disco
Costi indiretti Costo dell’intervento tecnico di sostituzioneCosto di ripristino dei dati, applicazioni, configurazioni
Costi consequenziali Mancato guadagno temporaneo per cessazione del servizioRimborso a clientiSpese legaliSpese per il ripristino dell’immagine aziendaleMancato guadagno per perdita di clienti
Valutazione quantitativa dell’impatto
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
0 Mai accaduta ed impossibile
1 Mai accaduta, ma possibile
2 Meno di una volta all’anno
3 Più di una volta all’anno
4 Più di una volta al mese
Valutazione qualitativa della probabilità
5 Più di una volta al giorno
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Minacce accidentali Livello di vulnerabilitàrispetto ad una specifica minacciaProbabilità intrinseca dell’evento
Minacce di tipo deliberato
Livello di vulnerabilitàrispetto ad una specifica minacciaInteresse di chi attua la minacciaAppetibilità del bene
Minacce di tipo involontario
Livello di vulnerabilitàrispetto ad una specifica minaccia
Valutazione della probabilità
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Metodi qualitativi/semiquantitativi
• I metodi qualitativi sono sufficientemente semplici, intuitivi, veloci, poco costosi e non richiedono la disponibilità di dati precisi.
• Per contro la valorizzazione data ai vari parametri è molto soggettiva e legata alla esperienza di chi effettua la valutazione ed alla conoscenza dei sistemi ed ambiente da analizzare.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Metodi qualitativi/semiquantitativi
• La possibilità di utilizzare algoritmi anche sofisticati nei metodi semi quantitativi non può ovviamente aumentare il livello di qualità nella valutazione del rischio se la stima dei singoli parametri è errata; anzi, più il metodo ècomplesso e maggiore è il rischio che venga recepito come corretto, dimenticando la soggettività del dato iniziale.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Metodi qualitativi/semiquantitativi
• I limiti evidenziati si hanno anche negli audit report in particolare se la valutazione di un determinato processo o sistema viene effettuata dando un peso qualitativo ai rischi associati ad una serie di rilievi.
• In questo caso entra in gioco una notevole componente discrezionale da parte dell’auditor, non solo sui singoli rilievi, ma anche sulla valutazione complessiva se questa deriva dall’insieme dei rilievi.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
• I metodi quantitativi considerano un valore numerico, riconducibile molto spesso a un valore monetario che identifica la perdita conseguente al verificarsi di un evento dannoso.
• Sono quindi molto difficili e possono differenziare di molto i risultati ottenuti a seconda che la perdita che viene considerata nel calcolo prenda in considerazione ad esempio il solo valore dell’asset coinvolto o anche le conseguenze sul business della perdita o indisponibilitàdello stesso.
• Pur essendo metodi complessi è evidente che una corretta valutazione dell’opportunità o meno di adottare una certa contromisura può derivare solo dall’uso di tali metodologie.
• L’applicazione di un metodo quantitativo presuppone l’esistenza di una serie di dati di partenza.
Metodi quantitativi
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
• Il costo dell’analisi deve essere congruente con i beni da proteggere.
• Il livello di granularità dell’analisi è una scelta di chi effettua la valutazione.
• Se la valutazione del rischio viene effettuata secondo una logica minaccia/asset senza tenere in giusta considerazione la relazione fra gli asset potrebbe esserci una non corretta valutazione del rischio e del rapporto costo beneficio di una particolare contromisura.
• Una contromisura che potrebbe apparire non conveniente se rapportata ad una singola minaccia/asset potrebbe risultare conveniente se ripartita su più asset fra loro correlati, ovvero se tutela anche rispetto ad altre minacce.
• Ad esempio un impianto antincendio che tuteli un edificio, automaticamente tutela anche i beni in esso contenuti. Considerare queste relazioni, anche se molto difficile, èparticolarmente importante.
Problemi comuni ai metodi di analisi
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
Art. 32-bis Adempimenti conseguenti ad una violazione di dati personali (1)
1. In caso di violazione di dati personali, il fornitore di servizi di comunicazione elettronica accessibili al pubblico comunica senza indebiti ritardi detta violazione al Garante.
2. Quando la violazione di dati personali rischia di arrecare pregiudizio ai dati personali o alla riservatezza del contraente o di altra persona, il fornitore comunica anche agli stessi senza ritardo l'avvenuta violazione.
(1) Articolo inserito dall'art. 1, comma 3, del decreto legislativo 28 maggio 2012, n. 69.
Linee guida in materia di attuazione della disciplina sulla comunicazione delle violazioni di dati personali - Consultazione pubblica - 26 luglio 2012(Pubblicato sulla Gazzetta Ufficiale n. 183 del 7 agosto 2012)
6. Inventario delle violazioni di dati personali.…
Per giungere a valori uniformi e comparabili, i fornitori dovrebbero affrontare la valutazione del rischio anche con un approccio di tipo quantitativo,individuando in ragione dei succitati attributi dei dati coinvolti nella violazione (qualità, quantità, attualità, ecc.), specifiche metriche in grado di rappresentare gli effetti pregiudizievoli che la stessa potrebbe provocare sull'interessato.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
OggiL’ Art. 32-bis Adempimenti conseguenti ad una violazione di dati personali
si applica oggi solo ai fornitore di servizi di comunicazione elettronica accessibili al pubblico
DomaniIl nuovo REGOLAMENTO DEL PARLAMENTO EUROPEO E DEL CONSIGLIO concernente la tutela delle persone fisiche con riguardo al trattamento dei dati personali e la libera circolazione di tali dati (regolamento generale sulla protezione dei dati)
Estende tale obbligo a tutti i responsabili (titolari) di trattamento.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
Servizi di Pagamento
Emanazione del Provvedimento di "Attuazione del Tit olo II del Decreto legislativo n. 11 del 27 gennaio 2010” re lativo ai servizi di pagamento nel mercato interno (Recepimen to Direttiva2007/64/CE)
Il provvedimento reca indicazioni in particolare su lla definizione delle spese applicabili alla clientela, sulle modalità per la corretta esecuzione degli ordini di pagamento e sulle responsabilità dei soggetti coinvolti. E’ rivolta una specifica attenzione alla tematica della sicurezza dei pagamenti elettronici , dato il ruolo fondamentale che essa riveste per fac ilitare il ricorso a servizi alternativi al contante e agli strumenti cartacei.
Decorrenza 1/10/2011
�� I prestatori di servizi di pagamento devono essere in grado di iI prestatori di servizi di pagamento devono essere in grado di i dentificaredentificare , , valutare, misurare, valutare, misurare, monitorare e mitigaremonitorare e mitigare le minacce di natura tecnologica. le minacce di natura tecnologica.
�� EE’’ necessario individuare un insieme di necessario individuare un insieme di misure di sicurezza e di controllimisure di sicurezza e di controlli appropriati, in grado di appropriati, in grado di assicurare gli obiettivi di confidenzialitassicurare gli obiettivi di confidenzialit àà, integrit, integrit àà, disponibilit, disponibilit àà dei sistemi informativi e dei dati dei sistemi informativi e dei dati ad essi associati; ad essi associati;
�� Deve essere prevista lDeve essere prevista l ’’esecuzione di fasi di verifica teorica e pratica de lla vulnerabiesecuzione di fasi di verifica teorica e pratica de lla vulnerabi litlit àà dei dei presidi di sicurezza con relativa presidi di sicurezza con relativa revisione periodica del processo stessorevisione periodica del processo stesso ..
�� Devono essere definiti un adeguato insieme di presi di di sicurezDevono essere definiti un adeguato insieme di presi di di sicurez za logica e fisica per i sistemi za logica e fisica per i sistemi informativi e un efficace informativi e un efficace processo di controllo internoprocesso di controllo interno
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
Vigilanza in materia di organizzazione delle Banche
In data 11 gennaio 2010, Bankitalia ha emanato una circolare sulla tematica “Applicazione delle disposizioni di vigilanza in ma teria di Organizzazione e governo societario delle banche”, richiamando i pri ncipi e le linee guida indicate dall’EBA in data 27 settembre 2011
Tra i criteri indicati nelle Linee Guida emanate da ll’EBA sul governo interno delle banche, particolare enfasi viene posta sui rischi aziendali e sui presidi organizzativi necessari per assicurare che essi siano efficacemente individuati e gestiti, sia all’interno del board, sia dalle funzioni di controllo interno (risk management e chief risk officer ).
La disciplina vigente già contiene numerose disposiz ioni su questo aspetto. Le Banche vengono richiamate a una loro scrupolosa applicazio ne, e - in particolare - a porre attenzione:
a) sul contributo che – nelle banche di maggiori dim ensioni e complessità operativa – il comitato per il controllo interno o il comitato ris chi è chiamato ad apportare nella fissazione dei livelli di rischio che si intendono assumere e dell e strategie per la loro gestione;
b) sul corretto ed efficiente funzionamento della f unzione di gestione del rischio (riskmanagement) – che ha, tra l’altro, il compito assicu rare che ogni rischio di rilievo per la banca sia correttamente individuato ed efficacemente gest ito, secondo una logica integrata – nonchésul soggetto responsabile di tale funzione (chief ri sk officer) cui compete, tra l’altro, assicurare che siano fornite agli organi di vertice informazioni complet e, comprensibili e integrate che permettano un’effettiva conoscenza del profilo di r ischio della banca.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
IMPATTI ORGANIZZATIVI E TECNICI
“…assicurano che le soluzioni tecniche adottate per l’esercizio dell’attività siano presidiate da adeguati processi di gestione dei rischi associati alle tecnologie utilizzate …»
«…adeguato e robusto processo di gestione dei rischi che permetta di identificare, valutare, misurare, monitorare e mitigare le minacce di natura tecnologica… tale processo deve individuare un insieme di misure di sicurezza e di controlli appropriati»
“I Vertici Aziendali assicurano che il processo di gestione dei rischi di natura tecnologica risulti parte integrante del processo più ampio di gestione del rischio aziendale attraverso cui sono presi in considerazione i rischi di varia natura (liquidità, credito, legale, reputazionale)
“I Vertici Aziendali rafforzano i meccanismi di gestione e mitigazione del rischio…»
I processi di presidio e gestione dei rischi legati alle soluzioni tecniche in essere (aspetto organizzativo) devono essere effettivamente «adeguati»
Il processo di gestione del rischio deve realmente consentire di individuare,valutare, misurare, monitorare e mitigare i rischi tecnologici
I vertici aziendali sono responsabilizzati direttamente sui rischi di natura tecnologicae devono verificare i meccanismi di gestione in essere, definendo gli interventi di rafforzamento
Dettato normativo Impatti
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
Novità normativa (documento al momento in consultazione) del 7 Settembre 2012 nel quale vengono introdotti nuovi paradigmi organizzativi, metodologici e tecnici di gestione del rischio.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
Fra i punti di maggior interesse rientra l’evoluzione del controllo del rischio IT:
… rispetto al vigente quadro normativo, o principali elementi di novità riguardano:
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
(1)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
L’analisi dei rischi nella evoluzione della normativa
(2)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Fonti riconducibili direttamente ai sistemi informativi, tra le quali:•Segnalazioni di malfunzionamenti da parte di utenti sia interni che esterni
•Richieste di intervento da parte degli utenti per risolvere situazioni anomale (errori nelle applicazioni e nei sistemi, degrado delle prestazioni, perdite o alterazioni di dati, rotture…)
•Log
•Righe di codice modificate
•Database incidenti
•Rapporti di intervento
Fonti dati per i metodi quantitativi
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Fonti connesse in modo indiretto ai problemi generati dai sistemi informativi, quali:•Reclami dei clienti (per ritardi nelle consegne, errate evasionidi ordini…)
•Reclami dei fornitori (ad esempio, ritardi nei pagamenti)
Fonti dati per i metodi quantitativi
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
reclami incidenti IT
Op RiskDB
Auditreport
partitari contabili
ticket (help
desk) e SLA
LOG file …Mappature(BIA-BCM, processi,
compliance)
fonti primarie fonti secondarie fonti ausiliarieSono le fonti principali dove attingere i dati:•reclami: contengono i dati relativi a rimborsi e risarcimenti per opposizione della clientela. Contengono molti eventi che derivano da cause IT e per strani motivi non si trovano o non sono collegati ad eventi di perdita di OP Risk DB (ET6)•incidenti IT. Ma dovrebbero avere anche i costi, e spesso non ci sono…•OP Risk DB: ha l’ET6, ma non ci si registra… E’ spesso incompleto nelle informazioni
Sono le fonti dalle quali trarre dati di supporto alle attività di IT Risk Mgnt.•ticket: consentono di individuare i riskdrivers e i difetti che possono preludere ad un incidente. Supporto all’analisi delle cause.•SLA: spesso nascondono le cause di un reclamo e supporta l’individuazione dei risk drivers e factors. Base per il controllo di produzione. Collegamenti con gli incidenti (alcuni incidenti hanno impatto con gli SLA)•Mappature: buon punto di partenza per analisi… e spesso sono già fatte.•Audit report: supporta risk drivers e factors.
Sono le fonti dalle quali trarre informazioni di compendio per confronto, integrazione, conferma.Se e quando necessario.
Fonti dati per i metodi quantitativi
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
ASSET
impatta (n:m)
PROBABILITA’ DIACCADIMENTO
è associata (n:1)
PROFILO DI RISCHIOha associato (1:0n)
definiscono (1:0n)
INCIDENTEè coinvolto in (1:n)
MISURE PREVENTIVE(MITIGAZIONE)
suggeriscono (n:m)
si applicano (n:m)
è mitigato da (n:m)
RESPONSABILE ASSET
ha associato (n:1)
valida (n:m) approva (n:m)
IT Continuity Plan
integrano (n:1)
PERDITA OPERATIVAè associata (n:m)
CATEGORIA DIINCIDENTE
può generare (n:m)
è associato (n:m)
PROCESSO
IT RISK SELF ASSESSMENT
ha associato (1:1)
è composto da (n:m)
EVENTI BASE
ICT GOVERNAN
CEBUSINESS
è legata a (n:m)
MISURE REATTIVE
è associata (n:1)
approva (n:m)
può causare (1:0,m)
TICKET
è legato a (1:0,m)
DB Ticket OP Risk DB Reclami
Fonti dati per i metodi quantitativi
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
E’ molto meglio assumersi rischi che si è in grado di misurare che misurare i rischi che ci si assume.
Possiamo avere (quasi) tutte le informazioni dal pa ssato. Una buona quantità di informazioni dal presente. Nessuna invec e dal futuro, quella la creiamo noi: non pretendiamo che sia sicura, è impos sibile.
L’assenza di prova non può MAI diventare prova di a ssenza.
L’intelligenza, l’intuito, la sensibilità e la ragio nevolezza non devono mai essere sostituite dai calcoli (banalmente, perché no n possono). Il calcoli possono però semplificare loro un po’ la vita.
1
2
3
4
Qualche frase «fatta» per trasmettere alcuni principi fo ndamentali
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
L’audit non è né può essere perfetto: anche gli auditor hanno il diritto di sbagliare o di essere fuorviati
Esistono tecniche per valutare il rischio di audit e dare evidenza dell’attendibilità, in modo oggettivo e incontestabile
Quando si fa un audit di processo, servono:
•mappatura del processo, ad un accettabile livello di dettaglio (né troppo alto, né troppo dettagliato)•pianificazione iniziale dei punti da verificare, di norma scelti tra le «cose che vanno male» ma anche e soprattutto fra le «cose che vanno troppo bene»•scelta delle evidenze da campionare per i riscontri (cosa campionare)•scelta di dove e come campionare•pianificazione degli interventi•pianificazione (ex post) delle interviste•stima dell’errore accettabile e del rischio audit
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Provvedimento del Garante
I metodi quantitativi nelle attività di audit
contesto normativo
cogente
specifico
contesto organizzativo
sistema
processi
contesto operativo
ambito
modalità
obie
ttivo
audit
reporting
evidenze
rischio di audit
perimetro
Audit strategico
Audit operativo
Audit di conformità (compliance)
Audit contabile/finanziario
Audit tecnologico
Audit di progetto
Audit di prima parte
Audit di seconda parte
Audit di terza parte
Focus
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
rischio audit
rischio di evidenze viziate da errori significativi
rischio che gli auditor non le rilevino
rischio inerenterischio di controllo
rischio di rilevazione
= x
x x
rischio inerenterischio che un’evidenza viziata da errori significativi intervenga nella formulazione di un’asserzione in ipotesi di assenza di controllo interno
rischio di controllo
rischio che un errore significativo non sia intercettato dal sistema di controlli interni
rischio di rilevazione
rischio che le procedure di audit portino ad affermare che un’evidenza viziata da errori significativi sia corretta quando in realtà non la è
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
fattori che influenzano il rischio inerente
Contesto aziendale complessivo (supporto del management, autorevolezza degli auditor, cultura e atteggiamento nei confronti dell’audit, …)
Caratteristiche del perimetro dell’audit (complessità, ampiezza, documentabilità, disponibilità di documentazione, …)
Caratteristiche del «momento» in cui viene effettuato l’audit (ambiente esterno, situazione economico/finanziaria, clima aziendale, …)
peggiori sono le condizioni, maggiore è il rischio inerente
•difficoltà ad accedere alla documentazione•complessità nell’interpretazione delle evidenze•limitata disponibilità alle interviste•lacune nelle spiegazioni•… … …
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
fattori che influenzano il rischio di controllo
Contesto del sistema organizzativo (partecipazione del management, chiarezza dei ruoli, responsabilizzazione e delega, fiducia nell’audit, investimenti nel sistema dei controlli, …)
Caratteristiche del sistema operativo (complessità dei processi, parcellizzazione – anche geografica, livello di automazione, …)
«Posizionamento» dei controlli nella scala delle priorità
maggiore è la complessità, maggiore è il rischio di controllo
•permeabilità dei controlli a causa della parcellizzazione dei processi e dei ruoli•carenza di responsabilizzazione diretta•aggiornamento e miglioramento continuo del sistema dei controlli•… … …
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
fattori che influenzano il rischio di rilevazione
Competenza dell’auditor (conoscenza della materia, conoscenza dell’azienda, predisposizione personale, capacità organizzativa, «sesto senso», esperienza, …)Autorevolezza dell’auditor (capacità di relazione ad alto livello aziendale, sintesi, «incondizionabilità», capacità espressiva, un po’ di «cattiveria», sapersi imporre quando è il caso, capacità di discernimento – ad esempio selezionare gli aspetti rilevanti rispetto a quelli di minore impatto, …)
maggiore è la competenza e autorevolezza, minore è il rischio di rilevazione
•va a fondo nelle questioni rilevanti senza farsi condizionare dal contesto e dal livello degli interlocutori•rischia professionalmente: non scende a compromessi e non cede al buonismo•«sente» quando qualcosa «non va»•… … …
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Provvedimento del Garante
I metodi quantitativi nelle attività di audit
Negli audit di conformità hanno come finalità il verificare ad esempio il puntuale rispetto di una normativa.
Se il mancato rispetto della norma comporta anche risvolti penali e reputazionali non possono esserci teoricamente situazioni di ambiguità.
I metodi quantitativi si prestano bene, oltre ad esprimere grandezze numeriche, anche a produrre report andamentali che tutelano verso le autorità di vigilanza e di sorveglianza, in quanto possono dimostrare il monitoraggio e funzionamento dei controlli.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Come si calcolano?
rischio inerente rischio di controllo
Tramite self assessment (autovalutazione) sulla base di esperienze precedenti o di percezioni degli auditor esperti
Utilizzando valutazioni statistiche da parte di enti e soggetti terzi (es. Formez)
Predisponendo valutazioni statistiche interne, con le quali monitorare l’attivitàdi audit nel tempo ex ante ed ex post e stimando la media dei valori, con possibilità di «adjusting» in dipendenza dalla stima di impatto dei fattori influenzanti.Tecnicamente non è complicato, organizzativamente è complesso e adatto a strutture di rilevanti dimensioni che consentano di predisporre la base dati con le serie storiche di audit.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Come si calcolano?
rischio rilevazione
Il prodotto del rischio inerente e del rischio di controllo viene chiamato anche «MMR» (Material Misstatement Risk, ovvero rischio insito nel sistema di controllo stesso) nella terminologia degli standard internazionali.
Normalmente viene «fissato» sulla base di quanto si vuole essere confidenti sui risultati dell’audit. Ad esempio, 10% significa che si vuole un livello di affidabilità dell’audit del 90%.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
FOCUS rischio rilevazione
il rischio di rilevazione è l’elemento piùpertinente per gli audit di conformità
Gli auditor lavorano inevitabilmente su campioni, raramente sull’intera popolazione di evidenze: il rischio è di essere esposti a potenziali critiche.
con la statistica possono offrire rappresentazioni delle risultanze
con la probabilità possono determinare il livello di significatività e rischio dell’audit specifico
con le tecniche di campionamento possono determinare il campione adeguato per:•quantificare e massimizzare la significatività•quantificare e ridurre il rischio
con le tecniche di monitoraggio andamentale possono verificare erappresentare i miglioramenti (o peggioramenti…) rilevati tramite audit ripetuti
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
quando serve la statistica quando serve la probabilità
quando voglio rappresentare l’andamento di un fenomeno nel passato o nel presente:
�per informare�per capire se «lavoro bene»
quando voglio confrontare l’andamento di un fenomeno nel passato rispetto al presente:
�per informare�per capire se sto migliorando o peggiorando
Non c’è rischio, non c’è errore di modello: è ciò che è avvenuto e che avviene, è assodato.Non c’è errore, riporto solo i fatti che rilevo sui dati di cui dispongo.
MA: al di fuori di essi, non posso fare alcuna affermazione.
Non c’è rischio, non c’è errore di modello: è ciò che è avvenuto e che avviene, è assodato.Non c’è errore, riporto solo i fatti che rilevo sui dati di cui dispongo.
MA: al di fuori di essi, non posso fare alcuna affermazione.
quando voglio capire il comportamento di un fenomeno nel futuro:
�per informare�per capire «quanto lavoro bene»
quando voglio capire il rischio che corro nel formulare le affermazioni su un numero limitato di riscontri o di essermi sbagliato:
�per informare�per decidere
C’è errore (possibile), c’è rischio. Meno informazioni ho, maggiore è la possibilità di errore. Valutiamolo e dichiariamolo.
C’è errore (possibile), c’è rischio. Meno informazioni ho, maggiore è la possibilità di errore. Valutiamolo e dichiariamolo.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Le domande di fondo
Eseguiamo un audit, qualunque esso sia, e lo conduc iamo «a regola d’arte». Produciamo il report e tutte le relative evidenze r iscontrate.
quanto ci possiamo esporre (con la Direzione, con gli analisti, con la vigilanza…)?quanto rappresenta effettivamente la situazione complessiva?
quanto possiamo esserci sbagliati?
Il punto non è se rileviamo non conformità:
•il punto rischioso è se non le rileviamo: non possiamo essere certi che non vi siano e non èsuggeribile essere esposti a «falsi ideologici». La semplice rappresentazione di un fatto (non sono state rilevate non conformità) non autorizza nessuno a dire che non vi siano. Ma… può essere utile in certi frangenti «una visione estesa» (l’audit è andato bene! quindi tutto ok)•il punto «antipatico» è quando le rileviamo: a nessuno piace e può esserci la tendenza a minimizzare («è stato un caso isolato», «è stata una coincidenza perché…», …). Meglio giocare d’anticipo.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Il mondo reale, per costi, disponibilità di informazioni, certezza delle informazioni, elementi imponderabili che intervengono nei processi, ecc. non sempre ci offre una visione completa ed esaustiva dei fenomeni. L’auditor non può «andare a vedere tutto»¹.
Statistica descrittiva
• dispone dei dati per l’intera “popolazione”(con “popolazione” si intende un gruppo omogeneo, finito e completo di eventi, fenomeni, ...)
• fornisce tecniche per elaborare i dati, raccoglierli, analizzarli e desumere caratteristiche e trend.
Statistica inferenziale
• dispone di informazioni parziali sulla popolazione, spesso neppure il numero di elementi che la compongono. Si ha a disposizione, in altri termini, di un campione .
• fornisce tecniche per individuare caratteristiche e trend e prendere decisioni sulla base di poche e incomplete informazioni, accettando un margine di incertezza (rischio di sbagliare). E’ MOLTO meglio che decidere su supposizioni che per quanto possano essere giuste, non sono suffragate da metodi scientifici.
¹ E anche se potesse, non può essere certo che sia tutto o che gli sia stato nascosto qualcosa.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
non probabilistici(non conosco la distribuzione)
probabilistici(conosco la distribuzione)
campionamento a scelta ragionata
campionamento di comodo o di convenienza
campionamento casuale semplice
campionamento sistematico
campionamento stratificato
campionamento a grappolo
esempi:•sondaggio su esperti•selezione per caratteristiche particolari•…Va bene, ma i risultati sono validi solo per popolazioni che hanno TUTTE quelle caratteristiche…
esempi:•rilevazioni via internet•test «guidati»•…Va bene, ma ciò che rilevo èspecifico solo per loro.
Tutti i campioni hanno la stessa probabilità di inclusione. Es:•estraggo a caso 100 intermediazioni•scelgo a caso 20 persone per audit•scelgo a caso 30 attività di un processo da verificare•…
Divido in gruppi di ugual numero la popolazione da campionare. Scelgo a caso un numero e seleziono in base a quello.esempio:Divido in gruppi di 20 800 persone, determino a caso «8» e scelgo 8, 28, 48, 68, …
Divido la popolazione «a strati» sulla base di qualche caratteristica comune. Poi scelgo a caso in proporzione e combino i risultati ottenuti.esempio:•intermediazione per segmento di clientela
Divido la popolazione in gruppi sulla base di determinati criteri ed ogni gruppo èrappresentativo per sé e per la popolazione.esempio:•audit dello stesso processo su 3 aree geografiche.
tipologie di campionamento
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Intervalli di confidenza
L’audit lavora principalmente «a campione»:
•sulle evidenze•sulle persone da intervistare•sulle attività da verificare
Lavorando «a campione», le rilevazioni sono inevitabilmente su una parte della popolazione interessata, quindi c’è altrettanto inevitabilmente un’incertezza che ciò che rilevo sul campione sia effettivamente ciò che rileverei se analizzassi TUTTA la popolazione. Il grado di incertezza dipende da quanto è grande il campione e dalla dispersione nel campione dei risultati che ottengo. Si può però quantificare questa incertezza (o «rischio di errore») e il «grado di certezza» (che è 1-gradi di incertezza) si dice livello di confidenza.
L’intervallo di confidenza è l’intervallo in cui si trovano i risultati del campione ad un certo livello di fiducia. E’ la base per determinare il LIVELLO DI SIGNIFICATIVITA’DELL’AUDIT
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Dimensione del campione
La modalità può apparire un po’ ostica, ma in realtà sono solo conti.
mi posso permettere solo un certo numero di elementi da analizzare
ottengo quanto sarà l’affidabilitàche avrò
Attenzione: se il livello di confidenza è del 95%, non vuol dire che l’errore sarà +/- 5% (anche l’errore si calcola, ma non così). Vuol dire che se prendessi 100 campioni, mediamente 95 avranno gli stessi risultati riscontrati sul campione. E tutta la popolazione, indipendentemente da quanto grande, al 95% sarà «fatta»come è «fatto» il campione.
In quel 5% di incertezza, può succedere DI TUTTO.
voglio un certo livello di affidabilità
ottengo quanto grande deve essere il campione
meno usato(più difficile)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
ESEMPIO
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Sistema di autorizzazione
12. Quando per gli incaricati sono individuati profili di autorizzazione di ambito diverso è utilizzato un sistema di autorizzazione.13. I profili di autorizzazione, per ciascun incaricato o per classi omogenee di incaricati, sono individuati e configurati anteriormente all'inizio del trattamento, in modo da limitare l'accesso ai soli dati necessari per effettuare le operazioni di trattamento.14. Periodicamente, e comunque almeno annualmente, è verificata la sussistenza delle condizioni per la conservazione dei profili diautorizzazione.
27. Agli incaricati sono impartite istruzioni scritte finalizzate al controllo ed alla custodia, per l'intero ciclo necessario allo svolgimento delle operazioni di trattamento, degli atti e dei documenti contenenti dati personali. Nell'ambito dell'aggiornamento periodico con cadenza almeno annuale dell‘individuazione dell'ambito del trattamento consentito ai singoli incaricati, la lista degli incaricati può essere redatta anche per classi omogenee di incarico e dei relativi profili di autorizzazione.
Misure minime 12, 13, 14, 27
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Processo di gestione delle autorizzazioni
• Definizione di ruoli, profili, funzioni
• Revisione periodica delle autorizzazioni
– Corrispondenza ruolo/profilo/funzioni
– Corrispondenza fra incaricato e ruolo
• Verifica periodica delle implementazioni
– Corrispondenza fra teoria e implementazione reale sulle applicazioni
Misure minime 12, 13, 14, 27
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Numero profili non correttamente definiti
Numero profili non correttamente attribuiti
Numero di applicazioni non profilabili correttamente
Numero abilitazioni non utilizzate (ad un utente rispetto a quelle a disposizione
Misure minime 12, 13, 14, 27
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
• La valutazione dei rischi viene effettuata come attività ex ante (normalmente considerando il rischio potenziale –senza contromisure) o ex post (normalmente considerando il rischio residuo)
• L’audit interviene ex post ed ogni rilievo viene valutato in funzione del rischio che comporta
• Spesso queste valutazioni sono solo di carattere qualitativo, basate sulle competenze/esperienza dell’auditor
Proviamo invece ad applicare un metodo quantitativo…
Misure minime 12, 13, 14, 27
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Applicazione al contesto delle misure minime 12, 13, 14, 27: correttezza del processo di gestione delle revoche per il personale IT
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Tecnica: campionamento casuale sempliceObiettivo: correttezza del processo di gestione delle revocheCaso: tratto da contesto realmente applicato
Un’Azienda ha speso una somma significativa per rimettere «a norma» gli accessi agli applicativi e ai dati (accesso per codici IPI e Dataset di produzione), dopo che un audit aveva rivelato lacune inaccettabili. In pratica, in caso di necessità veniva concesso l’accesso, ma poi in molti casi non veniva rimosso al termine dell’intervento. Terminato il progetto, è sorta la seguente domanda: «come faccio a controllare tempo per tempo che l’ambiente non degradi nuovamente e si possa intervenire tempestivamente?» (l’ordine di grandezza della popolazione è di 200.000…). Si può operare a campione: scegliere casualmente N codici IPI e verificare la correttezza dei diritti di accesso.
•Ciò che accade sul campione, ad un certo livello di fiducia, rispecchierà l’ambiente reale.•Ciò che rispecchia l’ambiente reale, rispecchia anche il rischio conseguente.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
1
passi
scegliere il livello di fiducia e… cosa voglio saper e
2 scegliere le modalità di campionamento casuale
3 eseguire il test
4 valutare i risultati
1 scegliere il livello di fiducia…
Normalmente si sceglie il 95%, è un buon compromesso tra «fatica» e accuratezza. Molto dipende però dalla criticità del fenomeno da campionare. Si può fare anche al contrario: vedo cosa mi posso permettere e su quella base cosa posso ottenere in cambio. Si è optato per questa seconda scelta e stabilito che 200 codici IPI un team di 4 persone li controlla in circa 2 ore e sono un costo accettabile. Inizialmente il controllo si farà 1 volta alla settimana per 2 mesi, poi sulla base delle risultanze si potrà pensare di farlo 1 volta al mese.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
1 … e cosa voglio sapere
Se un codice IPI (o un dataset) ha 4 accessi non conformi, vale «1» o vale «4»? Ovvero:
•voglio sapere quanti codici IPI hanno almeno 1 accesso non conforme (e quindi non conformi)•o voglio sapere quanti accessi non conformi mediamente ci sono in totale?
TUTT’E DUE! (ma guarda un po’…)
Cambia parecchio nel metodo di valutazione.
Il management ha stabilito che il 20% di codici IPI con accessi non conformi e una media di 3 accessi non conformi sul totale di codici IPI sia fisiologico e comportino un rischio nullo (in realtà non è nullo, ma se èaccettato e ce lo si può permettere, è un’esposizione di fatto «non rischiosa»).
E’ fisiologico perché in un ambito di rilevanti dimensioni, la revoca delle autorizzazioni per riportare «a norma» l’ambiente richiede un certo tempo (dalla fine della concessione dell’autorizzazione alla revoca effettiva).
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
2 scegliere le modalità di campionamento casuale
Questo è facile. C’è il DB dei codici e dei dataset. Export su Access, numerazione progressiva e uso di un qualunque programma di generazione di numeri casuali e prendo il codice IPI corrispondente al numero.
3 Eseguire il test
Anche questo è facile. Vado a vedere l’ACL e vedo chi ha diritto e chi no. Riporto i risultati (sono 200 record) su excel.
4 Valutare i risultati
Questo è più difficilino… Anche perché le domande sono 2…
Vediamolo nel dettaglio.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
4 Valutare i risultati
La prima cosa da fare è valutare la media e l’errore standard.
media = 2,76
¹errore std della media = dev std/radq(#campione)
errore std della media¹ = 0,32
Fantastico! è meno dei 3 che ha indicato il management! allora sono a posto! NO. Non so quanto è vero: e se fossimo stati semplicemente fortunati?
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
4 Valutare i risultati
Il nostro campione segue una distribuzione T di Student a 199 gradi di libertà:
T = (X*- µ)/S(x*)
l’errore massimo ammissibile (differenza tra la soglia del management (3) e la media µcampionaria (2,56) che fa 0,44)
l’errore standard (0,32)
Dobbiamo quindi trovare la probabilità che T (si dice anche statistica test) sia maggiore di 1,375 perché questo non ci andrebbe bene. Vorrebbe dire che l’errore è tale da far sì che molto spesso ci sono più di 3 non conformità. Auspicheremmo che sia bassa…
T = 0,44/0,32 = 1,375
indica quanti errori standard ci sono fra la media del campione e la soglia prefissata
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
4 Valutare i risultati
Serve introdurre qualcosa in più… Il concetto di «ipotesi nulla» e «ipotesi alternativa». L’ipotesi nulla è quella che si dovrebbe rifiutare. L’ipotesi alternativa è quella invece accettabile.Nel nostro caso l’ipotesi nulla è « ci possono essere in media più di 3 non conformità di accesso per codice
IPI», l’ipotesi alternativa è «ci sono in media 3 o meno di 3 non conformità di accesso per codice IPI».
Il tutto, ovviamente, con un margine di errore che il management ci ha detto deve essere al massimo il 5%. In altri termini, il management intende tollerare una probabilità massima di avere in media più di 3 non conformitàdi accesso per codice IPI (ipotesi nulla) del 5%. Non vuole rischiare di non intervenire quando dovrebbe più di una volta su 20.
è la probabilità cercata: 8,53%Ovvero la probabilità che ci siano mediamente meno di 3 non conformità è del 91,47%, mentre l’8,53% è la probabilità che ce ne siano di più.Siccome era stato fissato il limite massimo del 5%, allora dobbiamo suggerire al management di intervenire… Sebbene non di molto, la sicurezza sta degradando rispetto ai parametri fissati (quindi il rischio aumenta)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
4 Valutare i risultati
Quanti codici IPI mediamente hanno accessi non conformi? Li contiamo, sono 92, ovvero il 46%.Già, ma quanto è «vero»?L’ipotesi nulla in questo caso è: «ci sono più del 20% di codici IPI con almeno un accesso non conforme». L’ipotesi alternativa «ci sono il 20% o meno di codici IPI con non conformità».Il test in questo caso è sulla proporzionalità: la proporzione fra non conformi/conformi, il cui valore è da comparare con la soglia del 20% prefissata con fiducia 95%.
Si usa una particolare statistica, detta statistica test Z per la proporzione.
La cosa interessante è che se i casi favorevoli e i casi contrari sono più di 5 ciascuno, si può usare la distribuzione normale. Che la calcola excel…
Serve però prima un passaggio: calcolare Z (che è l’omologo della T di prima)
Z = (p – k)/ k(1-k)/n
p è la proporzione campionaria (46%), k è il valore di confronto (20%), n la dimensione del campione (200)
Z = (0,46 – 0,2)/ 0,2(1-0,2)/200 = 0,26/ 0,0008 = 0,26/0,0283 = 9,19
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
4 Valutare i risultati
analogamente a prima (ma con valori diversi e distribuzione diversa):
9,19 è un valore di Z «mostruoso»: Z=4 èpari al 99,9% di probabilità, mentre z=6 èoltre il 99,9999 (cioè una probabilità su un milione di sbagliarmi… è il famoso 6-sigma)
Equivale a dire: «caro capo, non c’è alcuna speranza che si sia sotto il 20% visti i dati del campione»
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Conclusioni
L’audit ha rivelato sostanzialmente 2 cose:
1.che c’è un rischio superiore a quanto desiderato di sforare la soglia di non conformità accettabile (8,53% contro il 5% desiderato) sui diritti di accesso al singolo applicativo2.che c’è praticamente la certezza di avere più del 20% di applicativi che hanno accessi non conformi (oltre soglia prefissata, quindi)
Le valutazioni sono quantitative e dimostrabili, per cui non c’è rischio di contestazione
Il rischio audit è minimo: 200 applicativi si controllano bene…
Si deve intervenire.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Applicazione al contesto delle misure minime 12, 13, 14, 27: verifica dell’andamento dei profili (profili non correttamente definiti/attribuiti)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Requisiti nella definizione dei profili
Definizione dei profili autorizzativi e dei ruoli
Verifica dell’esistenza di processi formalizzati ch e consentano di definire:• cosa si fa• chi lo fa• con quali strumenti• a quali informazioni e dati si deve accedere per p oter svolgere un’attività• quali operazioni devono essere svolte sulle inform azioni/dati
Verifica dell’esistenza dei ruoliVerifica dell’esistenza di una mappatura dei datiVerifica dell’esistenza di una mappatura delle appl icazioniVerifica dell’esistenza di una mappatura delle funz ioniVerifica dell’esistenza di una mappatura dei dati a ccessibili dalle singole funzioni
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Requisiti nell’implementazione dei profili
Implementazione dei profili autorizzativi
Verifica per ogni applicazione/sistema:• livello di granularità possibile nella definizione dei profili• profili esistenti• verifica di congruenza fra profili e ruoli• verifica di congruenza fra i profili sui vari sist emi/applicativi
Verifica degli utenti e relativi profiliVerifica utenti/ruoli/profili/lettere di incaricoVerifica dei controlli in essere:• mancato utilizzo…
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
La criticità principale consiste nel fatto che esamin are il corretto soddisfacimento dei requisiti richiede l’esame manuale del profilo (è estremamente difficil e automatizzarlo)
• tempi• costi• affidabilità• impegno di risorse
Si può fare usando la statistica inferenziale: cambi o la fattibilità con… un po’ di incertezza (misurabile)
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
• Processo di gestione delle autorizzazioni
– Adeguata documentazione di ruoli, profili, funzioni
– Revisione periodica delle autorizzazioni
� Corrispondenza ruolo/profilo/funzioni
� Corrispondenza fra incaricato e ruolo
– Verifica periodica delle implementazioni
� Corrispondenza fra teoria e implementazione reale sulle applicazioni
Cosa va verificato ex-ante:
Problematiche connesse:
• Costi: le verifiche non possono essere automatizzate, c’è un forte intervento manuale
• Praticabilità: è impossibile (almeno nelle medio-grandi organizzazioni) controllare puntualmente tutto, gli ambienti cambiano continuamente
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
• Numero profili non correttamente definiti• Numero profili non correttamente attribuiti • Numero di applicazioni non profilabili correttamente• Numero abilitazioni non utilizzate (ad un utente rispetto a quelle a
disposizione)
Determinare:
può essere praticamente impossibile con precisione, quindi è meglio:
• Utilizzare un campionamento e accettare:- un margine di errore predefinito e ritenuto accettabile- una probabilità di errore (ovvero che la stima sia completamente errata,
nel bene e nel male)• «Cambiare» una parte del costo del controllo complet o (che comunque
non è assente da errori) con la frequenza di monitor aggio
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Stima del numero di profili non correttamente definiti
Supponiamo di avere 1.200 utenti con accesso al sistema informativo e di poterci «permettere» di monitorare mensilmente 50 profili.Sarebbe facile se potessimo dire: «abbiamo analizzato 50 profili ed abbiamo riscontrato che 4 non sono correttamente definiti, quindi siccome 4/50 = 8%, allora possiamo dire che 96 utenti (8% di 1.200) avranno profilo non correttamente definito».
Purtroppo, non possiamo:
•non diciamo qual è l’errore dell’approssimazione•non diciamo qual è l’affidabilità della stima (o «confidenza»), ovvero la probabilità che l’affermazione (+/- l’errore) sia effettivamente esatta.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Stima del numero di profili non correttamente definiti
Come si fa?
Innanzi tutto va scelto BENE il campione, ovvero i 50 elementi devono essere scelti a caso. Per fare ciò ci si può semplificare la vita usando il campionamento sistematico: è sempre casuale, ma excel è più che sufficiente allo scopo (e lo è peraltro per gran parte degli scopi…)
CAMPIONAMENTO SISTEMATICO
•Prendo la lista dei 1.200 utenti e la «importo» distribuita a caso (no ordine alfabetico) in un file excel. Posso usare la funzione «casuale» di excel. Supponiamo venga 963: il 963-esimo utente sarà il primo della lista. Quindi riapplico alla lista - il 963-esimo e ricacolo e così via (un programmatore con dimestichezza con le macro lo fa in 2 ore)
•Divido i 1.200 utenti in 1.200/50=24 in cluster di 24 utenti ciascuno (1…24, 25…49, 50…74, ecc.)•Chiedo a excel di calcolarmi un numero casuale tra 1 e 24 (supponiamo venga 14)
•Scelgo quindi gli elementi: 14, 38 (24+14), 62 (24+24+14), 86 (24+24+24+14), ecc. fino ad avere completato i 50 cluster scegliendo un elemento ciascuno «casualmente»
Il nostro campione è quindi fatto. Successivamente «rimischierò» altrettanto casualmente gli utenti,
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Stima del numero di profili non correttamente definiti
Dispongo quindi del campione di 50 utenti… casuali
•Li controllo e verifico quanti non sono correttamente definiti. Supponiamo che 4 sia effettivamente il numero che determino di profili non correttamente definiti: la proporzione calcolata sul campione è p=0,08, ovvero l’8%. n, ampiezza del campione, è 50.•Voglio essere «confidente» al 95%, quindi il valore critico Z (di una distribuzione normale, ho scelto casualmente…) è pari a circa -1,96:
•p ± Z * √ p(1-p)/n è l’intervallo di confidenza desiderato:
0,08 ± 1,96 * √ 0,08(1-0,08)/50 = 0,08 ±1,96 * 0,0383 = 0,08 ± 0,075 = 0,005; 0,155 = 0,5% ; 15,5%
•Posso attendermi che il numero di accessi non conformi sia tra 6 e 186. Un intervallo ampio, ma ho scelto un campione «piccolo» e una confidanza abbastanza alta. Se il campione fosse stato di 100 e avessi riscontrato 8 accessi non conformi, avrei avuto:
0,08 ± 1,96 * 0,027 = 0,027 ; 0,132 � tra 32 e 158
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Considerazioni
• Se il risultato non piace, non è colpa dei numeri. Così è se vi pare (Pirandello non se ne abbia a male)
• In generale i profili sono molti di più, perché dipendono dalle applicazioni. 1.200 èun numero di profilature da piccola azienda. Un’azienda medio-grande ne ha 20-25.000. Un campione di 200-250 è ragionevole (e consente una precisione maggiore)
• Se si associa una previsione di impatto:- economico (sanzione, costi di gestione della risposta a cliente/autorità di
sorveglianza, ecc.)- reputazionale (pubblicazione, passa-parola, ecc.)- strategico (perdita di clienti, revoca di licenze, ecc.)
si può anche offrire un quadro del rischio «da… a» nell’accezione R = P x I, dove P è l’intervallo di confidenza, I gli impatti stimati dallerisultanze di una stima di impatto sui valori numerici determinati.
• Last but no least… l’audit offre rilievi oggettivi, ma decidere è mestiere del top management e risolvere è mestiere dei tecnici.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
I metodi quantitativi nelle attività di audit
Conclusioni
Il ruolo dell’audit è in evoluzione: da funzione di controllo a (anche) funzione di «attivatore» dei miglioramenti
Servono metodi e tecniche «più fini»: Alto, Medio, B asso non bastano più. La complessità richiede governo e questo lo si può o ttenere con tecniche quantitative matematiche.Qualità e Audit sono due binari paralleli: il primo indica la direzione, il secondo che la si segua.
Uno dei (e forse «IL») migliori metodi di mitigazio ne del rischio è un audit efficiente ed efficace. Non serve mitigare il risch io di incidenti ponendo i limiti di velocità se poi non installo i tutor.La tecnologia evolve, l’audit evolve. Se non avvien e, l’audit dopo un po’non serve più.
L’audit è un servizio che tutela tutti, in primis l’ auditato. Serve un cambio di mentalità: l’audit è il «mio certificato di assicura zione», non uno strumento repressivo.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Grazie per l’attenzione
Riferimenti
Non rimproverare il beffardo, altrimenti ti odierà;rimprovera il saggio ed egli ti amerà.
(Proverbi 9,8)
Non rimproverare il beffardo, altrimenti ti odierà;rimprovera il saggio ed egli ti amerà.
(Proverbi 9,8)