Organizações Inteligentesdo Data Mining às Soluções Preditivas

Microsoft BI Day

Data Mining and Business Intelligence for Enterprises

António FerreiraSenior Manager

Lisboa, 17 de Abril de 2008

“We are drowning in data and starving for

knowledge.”

- Rutherford D. Rogers, Librarian, Yale University

.: 2 :.

.: 3 :.

As organizações são confrontadas com desafios

cada vez mais exigentes

Contexto Externo/Mercado– Concorrência mais agressiva

• „Ferramentas‟ de competitividade disponíveis para todos

– Clientes mais exigentes• E mais informados e voláteis

– Contexto regulatório mais restritivo• E aumento de pressão devido à globalização

– Margens mais apertadas• maior orientação ao valor da relação com o cliente e não ao

volume de negócios

Contexto Interno– Criticidade da produção e utilização de conhecimento

útil e de melhores decisões• Acompanhando a explosão de dados disponíveis e a evolução

dos SIs da organização (Legacy, Core, ERP, CRM, DW, etc)

• Suportando a melhoria contínua dos processos de negócio

– Inovação é um desafio imprescindível

– Emergência dos Knowledge-Workers como factor crítico de competitividade

• “Há muitas mãos mas poucos cérebros”

Necessidade das Organizações de aumentarem a sua capacidade de utilização da informação como um factor crítico de sucesso: Inteligência

.: 4 :.

O Data Mining, embora não seja uma tecnologia

nova, surge em face do contexto actual …

Motivações

– Aumento do Conhecimento do Negócio

– Melhoria dos Processos de Negócio, Competitividade e

Resultados

– Explosão de Informação Disponível

• “We are drowning in data, but starving for Knowledge”

• Impossibilidade de análise manual (ou por métodos

analíticos ou estatísticos normais) dos dados

– Dificuldade na formulação e obtenção de resposta a

questões de negócio mais complexas

Definição– Data Mining pode ser descrito como o conjunto de

tecnologias, metodologias e competências que permitem

identificar nos dados disponíveis padrões válidos, por

conhecer, potencialmente úteis e compreensíveis, por forma

a transformar os dados em conhecimento que possa

suportar a melhoria das decisões de negócio

.: 5 :.

… disponibilizando uma série de funcionalidades

de elevado interesse para as organizações.

Funcionalidades do Data Mining

– Predição: Classificar, estimar ou definir o valor ou o cluster

referente a um objecto, evento ou ou comportamento ainda não

ocorrido

– Classificação: classificar e distribuir objectos/entidades em

classes/categorias pré-definidas através do reconhecimento de

padrões

– Clustering: Identificar agrupamentos lógicos de pessoas,

objectos ou eventos de acordo com os seus atributos

– Associação/Afinidades: determinar que objectos/entidades

podem ser esperados de ocorrer na presença de outros

– Sequenciação: prever sequências de eventos que possam

conduzir a outros eventos

No entanto, o Data Mining não:

– Eliminar a necessidade do conhecimento do negócio

– É uma tecnologia difícil de entender que requer competências

altamanente especializadas

– É a aplicação cega de algoritmos de Data Mining

– Remove a necessidades de competências de análise de dados

.: 6 :.

Mas se o Data Mining é tão poderoso, porquê

apostar numa ênfase no momento actual?

O Data Mining sofreu uma ‘crise de adolescência’

– No final dos anos 1990, foi muitas vezes apresentado como „varinha

de condão‟, e entendido quase como fazendo „milagres‟, mas:

• onde está a informação

• quais são as questões de negócio que se pretendem resolver;

As organizações alcançaram um maior nível de Maturidade

– Ao nível dos seus sistemas de Informação

• Sistemas Legacy ERPs/CRMs, etc Data

Warehouse/ODS

– Ao nível do estabelecimento de objectivos e projectos realistas

(sem deixarem de ser ambiciosos)

– Ao nível do entendimento do papel da informação como meio para

aumento da competitividade e dos resultados

Mais que nunca, o factor que diferencia as organizações é

a sua capacidade de transformar os dados disponíveis em

informação e conhecimento de valor acrescentado, que

suportem a tomada de melhores decisões de negócio aos

níveis estratégico, táctico e operacional

O Data Mining é uma das tecnologias-chave para este fim.

.: 7 :.

Importa, no entanto, que o foco esteja não na ‘tecnologia’

Data Mining mas nas suas aplicações concretas.

Surgem então as Soluções Preditivas …

As Soluções Preditivas vão além do Data

Warehousing (recolha, estruturação e disponibilização

de dados) e do Data Mining (descoberta de

informação e conhecimento ocultos nos dados) para

disponibilizar, em tempo útil, informação que conduza

a uma boa decisão de negócio ao nível individual

As Soluções Preditivas são suportadas por uma

mistura de modelos de Data Mining, Regras de

Negócio e Integração de Informação e Processos a

partir de eventos específicos

As Soluções Preditivas têm por fim endereçar

problemas específicos de negócio

As Soluções Preditivas funcionam em ambientes e

sistemas operacionais, em tempo útil e em ciclo

fechado de aprendizagem, tendo por foco o suporte

de decisões específicas que afectam o funcionamento

core de uma organização

.: 8 :.

… instanciadas em aplicações com um enorme

valor acrescentado em termos competitivos …

Análise e Gestão de Clientes/Mercado

– Gestão de Ciclo de Vida do Cliente (Aquisição,

1st/Up/X-Sell, Next Best Offer/Activity, Churn/Retention,

Winback, Customer Lifetime Value, etc)

– Market Basket Analysis

– Segmentação e Profiling de Clientes e Prospects

– Web Analytics

– Customer Service Management

Análise e Gestão de Risco e Compliance

– Gestão Actuarial / Scoring de Originação

– Scoring/Rating de Risco de Crédito

– Gestão de Collections/Incumpromento

– Competitive Analysis

– Gestão de Risco Operacional e/ou de Mercado

Detecção e Gestão de Fraude e Abuso

– Detecção Automatizada de Fraude (desvios, outliers,

alertas, etc)

– Scoring de Risco de Fraude

– Detecção de Associações/Afinidades Suspeitas

– Detecção de Invasão Informática

Outras

… como pode ser vizualizado neste exemplo (Pirâmide

Conceptual de Customer Relationship Mngmnt) …

.: 9 :.

Suportado por Data Mining /

Soluções Preditivas

Orientação aos Processos Orientação aos Clientes

Corporate Performance Mgmt• Balanced Scorecards

• Budgeting, Consol. & Forecasting

• Incentive & Compensation Mgmt

• Strategic Reporting&Planning

• Enterprise Risk Management

• Regulatory Compliance

• Fraud Management

BI Strategic Consultancy Risk&Compliance Mgmt• BI Assessment

• BI Readiness

• Roadmap BI

Infrastructure Intelligence

• Data Acquisition

• Data Enrichment

• Data Repository

• Data Quality

• Operational Data Store

• Data Warehouse/Mart

• Data Integration

• Data Automation

• Data Analytics Automation

• Data Mining

• Real-Time analytics

• Advanced Visualization

• Closed-Loop BI

• Business Rules & Alerts

• Event-Triggered Actions

• Spatial Intelligence/GIS

• Reporting & Analysis

• BI Portal & Dashboards

Supplier Intelligence

• Supplier Procurement Analysis

• Stock & Prediction analysis

• Partners Relationship KPI’s

Strategic IntelligenceCorporate Business Intelligence

Operations Intelligence

• Activity based Cost / EVA

• Business Performance KPI’s

• Financial Reporting

• Production, Distribution Analytics

• HR, Commercial, Sales Analytics

• Infrastructure KPI’s

Customer Intelligence

• Customer Lifecycle Mgmt

• Campaign Management

• Revenue Assurance

• Churn, Scoring, Up-Sell and

Cross-Sell Models

• Location and Geo-Marketing

•Bad-Debt & Collections

Tactical Intelligence

• BI Outsourcing

• BICC

… ou na prevalência deste tipo de soluções no

Portfolio de Oferta de BI da Novabase.

.: 10 :.

Suportado por Data Mining /

Soluções Preditivas

.: 11 :.

As Soluções Preditivas trazem às organizações um

precioso conjunto de benefícios e vantagens.

Disponibilizam informação de suporte à decisão em

tempo útil (operacional)

Detectam problemas e oportunidades rapidamente

Efectuam análises ao nível individual (permitindo um

tratamento diferenciado)

Fornecem detalhe imediato sobre:

– O que está a acontecer (evento)

– Porque está a acontecer, e

– O que irá, previsivelmente, acontecer de seguida.

Optimiza recorrentemente os processos de tomada

de decisão em ciclo-fechado (aprendizagem)

Disponibiliza alertas e notificações automáticos e

dinâmicos

Automatiza processos de negócio tradicionalmente

intensivos do ponto de vista manual

Permitem optimizar, de forma estrutura, integrada e

sustentada as decisões de negócio de toda a

organização, a vários níveis, contribuindo para a

melhoria da competitividade e dos resultados

As organizações evoluem, assim, suportadas em torno

da forma como utilizam a sua informação, tornando-se

cada vez mais Organizações Inteligentes.

.: 12 :.

Operacional

(SCM, ERP, CRM)

Core & Legacy Systems

Data Warehouse / ODS

Reporting

Soluções Preditivas /

Data Mining

Operational BI / SOA

Gestão do Dia-a-Dia

(Suporte à Operação)

Análise de Negócio

(Suporte a Decisões

Tácticas)

Optimização de Negócio

(Previsão, Aprendizagem,

Suporte à Decisão em

Tempo Real)

Atómica,

Info Transaccional

Agregada,

Info Retrospectiva

Guiado por Eventos,

Info Contextual/Decisão

Reactiva

„Instinto‟

Planeada

„Raciocínio Conceptual‟

Proactiva

„Ciclo Virtuoso de Acção‟

Tipo de

Sistema/Aplicação

Função

Tipo de

Informação

Atitude / Processo

Corpo Memória Inteligência

Estado

Actual?

.: 13 :.

Alguns exemplos de referências da Novabase em

Data Mining/Soluções Preditivas.

Marketing /Campanhas

[TMN]

• Segmentação e Profiling de Clientes

• Desenho e Acompanhamento de Campanhas

• 1st, Up e Cross-Sell

• Next Best Offer

• Churn/Retenção

• Etc

Gestão de Fraude

[Ministério das Finanças]

• Segmentação e Profiling de Contribuintes

• Modelos de Propensão a Fraude IRC

• Modelos de Selecção Inspectiva

• Modelos de Afinidade e Relação Inter-Contribuinte

• Consolidação de Dados e Identificação de Discrepâncias

Fraude – Event Driven

[Seguro Directo]

• Detecção de Fraude em Real Time

• Knowledge Base com Regras de Negócio

• Modelos de Propensão de Data Mining

• Scoring e Decisão Automatizados

.: 14 :.

A utilização de Data Mining e Soluções Preditivas

seguirá um conjunto de tendências …

A princípio esta soluções funcionarão em tempo

diferido (batch), orientadas aos processos da

organização, sem atenderem a dados de contexto

(interacção de um cliente, etc)

Integração progressiva de Soluções Preditivas

(baseadas em Data Mining) nos processos de negócio

– Não só aos níveis estratégico e táctico, mas também nos

processos operacionais

Efectuar-se-á, no tempo, uma transição para um

paradigma Event-Driven e orientado a uma

personalização progressiva das decisões/interacções

À medida que forem implementados mais sistemas e

aplicações nesta área, maior será o valor acrescentado

reconhecido e utilizado pela organização, bem como as

taxas de sucessos dos respectivos projectos

Existirá uma cada vez maior facilidade em ter acesso a

plataformas de Data Mining

– Microsoft tem liderado este pelotão,

.: 15 :.

… que levam consequentemente às seguintes

conclusões.

O objectivo de dotar as Organizações de maior

‘Inteligência’ passa em grande parte pela correcta

utilização dos dados disponíveis para produzir

conhecimento que suporte melhores decisões de

negócio

O Data Mining e as Soluções Preditivas construídas

com base nesta tecnologia são ferramentas

poderosas para ajudar as organizações nesse

objectivo

Os impactos no negócio que este tipo de soluções

provocam serão cada vez mais um factor crítico de

competitividade

A grau actual de maturidade das Organizações

permite-lhe delinear e implementar um Plano de

Soluções Preditivas tendente a alavancar os

resultados

As Organizações que tomarem esta iniciativa terão

uma vantagem competitiva frente à sua

concorrência (ganhar é cada vez menos uma opção)

.: 16 :.

Obrigado!

Questões?