![Page 1: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/1.jpg)
Big data no Planalto
Como o minera
datasets gigantescos para
reprimir crimes
Thiago Marzagão QConSP 2016
![Page 2: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/2.jpg)
Que crimes?
Mau uso do dinheiro público:
fraudes diversas em licitações (ex.: prefeito que contrata própria empresa);
fraudes diversas envolvido $ público (ex.: prefeito que recebe bolsa-família);
fraudes tributárias (sonegação, compensações indevidas);
cartel;
…outros.
![Page 3: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/3.jpg)
Cartel
“Acerto” entre concorrentes é crime.
Apesar disso é prática comum no Brasil.
Especialmente em compras públicas.
Impossível analisar cada licitação.
É preciso automatizar o processo.
![Page 4: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/4.jpg)
Cartel
O que é cartel?
Lei 12.529/11, art. 36.
Exemplos:
combinar preços
combinar quantidades
dividir clientes/mercados
![Page 5: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/5.jpg)
Cartel
Quais são as penas?
Lei 12.529/11, art. 37. Lei 8.137/90, art. 4°.
Pessoa jurídica: multa de até 20% do faturamento annual ou até R$ 2 bilhões,
dependendo do caso.
Pessoa física: multa de até 20% da multa aplicada à empresa. Prisão por até
5 anos.
![Page 6: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/6.jpg)
Quem investiga cartel?
![Page 7: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/7.jpg)
Como identificar um cartel?
Insight da Teoria dos Jogos: colaboração é mais provável quando o jogo é
repetido.
= risco maior está nos produtos/serviços licitados com mais freqüência;
= é preciso identificar quais empresas são co-licitantes com freqüência.
![Page 8: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/8.jpg)
Dados brutos
licitação resumo órgão data empresa lance
00000001 10 lápis MPOG 18/03/09 XYZ R$ 5,00
00000001 10 lápis MPOG 18/03/09 ABC R$ 4,50
00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50
00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00
00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00
00000003 15 lápis MPOG 25/05/09 ABC R$ 4,50
00000004 10 lápis MPOG 10/06/09 XYZ R$ 4,50
00000004 10 lápis MPOG 10/06/09 ABC R$ 5,00
... ... ... ... ... ...
LICITAÇÕES
![Page 9: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/9.jpg)
Dados brutos
CNPJ CPFCNPJ início fim %
00000001 00000003 01/01/05 18/03/09 50,0
00000001 00000004 31/07/05 0,1
00000002 00000001 25/07/08 20,0
... ... ... ... ...
... ... ... ... ...
... ... ... ... ...
... ... ... ... ...
... ... ... ... ...
... ... ... ... ...
VÍNCULOS SOCIETÁRIOS
![Page 10: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/10.jpg)
Dados brutos
CPF CNPJ início fim cargo salário
00000001 00000001 01/01/05 31/07/05 gerente 5000
00000002 00000001 25/07/08 vendedor 3000
00000003 00000002 03/10/07 18/03/09 diretor 7500
... ... ... ... ... ...
... ... ... ... ... ...
... ... ... ... ... ...
... ... ... ... ... ...
... ... ... ... ... ...
... ... ... ... ... ...
VÍNCULOS EMPREGATÍCIOS
![Page 11: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/11.jpg)
Neo4j
Open source.
Comunidade ótima.
![Page 12: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/12.jpg)
Neo4j: community support
![Page 13: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/13.jpg)
Migração SQL Server -> Neo4j
![Page 14: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/14.jpg)
Neo4j: o que dá pra fazer?
Quem são os 5 co-licitantes mais freqüentes da empresa X?
Todos os sócios, diretos e indiretos, da empresa X?
Qual a participação total da empresa X na empresa Y, incluindo
participações diretas (X→Y) e indiretas (X → Z → Y)?
Quais as pessoas a quem a pessoa X está vinculada (via emprego ou
sociedade) c/ até 3 graus de separação?
Neo4j é mais rápido que SQL Server p/ esse tipo de consulta. E as queries são
mais simples de escrever.
![Page 15: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/15.jpg)
Neo4j: sintaxe
MATCH (n)-[r*1..3]-(m)
WHERE (n.CPF IN ['01234567890'])
RETURN r
![Page 16: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/16.jpg)
py2neo
![Page 17: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/17.jpg)
Neo4j: Windows vs Linux
![Page 18: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/18.jpg)
Como visualizar os grafos?
![Page 19: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/19.jpg)
vis.js
![Page 20: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/20.jpg)
vis.js
![Page 21: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/21.jpg)
vis.js
![Page 22: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/22.jpg)
vis.js
![Page 23: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/23.jpg)
CÉREBRO
![Page 24: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/24.jpg)
CÉREBRO
Interface gráfica p/ as ferramentas de mineração de dados.
Roda na intranet do CADE.
Desenvolvido in-house.
![Page 25: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/25.jpg)
CÉREBRO
Idéia é democratizar o acesso a ferramentas de mineração de dados e
assim “empoderar” investigadores/analistas.
É preciso muita experimentação – e muitos erros.
data product bacana != data product útil
“fator uau” não prediz o sucesso de uma funcionalidade.
![Page 26: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/26.jpg)
CÉREBRO
![Page 27: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/27.jpg)
CÉREBRO
![Page 28: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/28.jpg)
CÉREBRO
Versátil: web, mineração, tudo.
Dá pra ir “de 0 a 100” em pouco
tempo.
Open source.
![Page 29: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/29.jpg)
CÉREBRO
Minimalista.
Django seria overkill.
Open source.
![Page 30: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/30.jpg)
CÉREBRO
App no ar com apenas uma linha de
comando!
![Page 31: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/31.jpg)
CÉREBRO
Excelente p/ manipulação de dados.
Reshaping, joins, etc.
Estatísticas descritivas.
Estatística básica.
Conversões de formatos.
![Page 32: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/32.jpg)
CÉREBRO
Um dos membros do time prefere R.
Com rpy2 é fácil “plugar” a parte
dele.
![Page 33: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/33.jpg)
CÉREBRO
![Page 34: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/34.jpg)
CÉREBRO
Pacotes R:
dplyr, reshape2 (manipulação de dados)
stringr (processamento de textos)
igraph (grafos)
forecast, TSA, zoo, rugarch (p/ séries temporais)
foreach, doParallel (operações multi-core)
Amelia (imputação de dados)
![Page 35: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/35.jpg)
CÉREBRO
CADE já tinha a licença.
SQL Server 2016 vai rodar R
nativamente.
![Page 36: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/36.jpg)
NÃO-CÉREBRO
Não usamos no CÉREBRO.
Mas usamos p/ tarefas diversas de
aprendizado de máquina.
Ex.: prever classe do produto licitado
com base em sua descrição.
https://github.com/thiagomarzagao/
catmatfinder
![Page 37: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/37.jpg)
NÃO-CÉREBRO
IPython p/ análises exploratórias.
![Page 38: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/38.jpg)
Como identificar um cartel?
Impossível analisar cada licitação manualmente:
~300/dia, só no governo federal.
Solução: minerar.
Idéia inicial: algoritmos de classificação (SVM, random forest, etc).
“Deixa os dados falarem.”
![Page 39: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/39.jpg)
Como identificar um cartel?
Problema: não há dados de treinamento.
Poucas condenações por cartel em compras públicas até hoje.
Difícil treinar um algoritmo de classificação c/ menos de 10 casos em uma
classe
e com dezenas ou centenas de milhares de falsos negativos (sim, dezenas ou
centenas de milhares)
mesmo c/ oversampling, pesos, etc
![Page 40: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/40.jpg)
Solução: Teoria dos Jogos
![Page 41: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/41.jpg)
Solução: Teoria dos Jogos
A licitação é um jogo.
Nós podemos modelar matematicamente esse jogo.
Como são os lances quando não há cartel?
Como são os lances quando há cartel?
E nós podemos testar estatisticamente os resultados.
Na ausência de cartel, qual a probabilidade de observarmos esses lances?
Existe toda uma literatura sobre isso (behavioral screening).
![Page 42: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/42.jpg)
Exemplo: Bajari & Ye (2003)
![Page 43: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/43.jpg)
Exemplo: Bajari & Ye (2003)
![Page 44: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/44.jpg)
Exemplo: Bajari & Ye (2003)
Informalmente:
Os lances precisam ser independentes entre si. O lance da empresa A não
pode nos ajudar a prever o lance da empresa B. O lance da empresa A não
pode depender de quais são as outras empresas na licitação.
Se esse requerimento é violado, temos uma suspeita de cartel.
Catch: não dá p/ testar uma licitação individualmente. A lógica do teste é
baseada num conjunto de licitações.
![Page 45: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/45.jpg)
Exemplo: Bajari & Ye (2003)
teste de Kolmogorov-Smirnoff
(distribuição esperada vs distribuição observada)
![Page 46: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/46.jpg)
Lição
Nem tudo em mineração de dados é regressão/classificação/clusterização.
![Page 47: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/47.jpg)
Pq open source?
No começo cogitamos usar soluções
proprietárias. Mas logo desistimos.
$$$$$$$$
“E se adicionássemos tal ou qual
funcionalidade?”
“Ok, mas temos licenças adicionais?”
Pouca flexibilidade.
![Page 48: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/48.jpg)
Outros órgãos?
![Page 49: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/49.jpg)
Fracionamento de compras
Lei 8.666/93
Compras públicas geralmente requerem licitação.
Mas apenas p/ compras acima de R$ 8 mil.
“Jeitinho”: dividir compra em lotes inferiores a R$ 8 mil cada.
É crime!
Como identificar? CGU: redes bayesianas.
![Page 50: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/50.jpg)
Fracionamento de compras
![Page 51: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/51.jpg)
Irregularidades em convênios
SICONV
Governo federal transfere $ p/ estados e municípios, via convênios (obras
públicas, etc).
Esse $ freqüentemente é usado de forma irregular: contratação de empresa
do próprio prefeito/governador, contratação de empresa inidônea, etc.
Tudo isso é crime!
Como identificar? TCU: árvores de decisão.
![Page 52: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/52.jpg)
Irregularidades em convênios
![Page 53: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/53.jpg)
Carta marcada na licitação
Preços muito acima ou muito abaixo do normal podem ser indícios de
irregularidades.
Caneta esferográfica a R$ 50/unidade: pode ser um acerto entre o pregoeiro
e o fornecedor, por exemplo.
Como saber se o preço pago por um dado item é “normal”?
Como identificar? CGU: Fixed Point Clusters (FPC)
![Page 54: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/54.jpg)
Carta marcada na licitação
![Page 55: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/55.jpg)
Carta marcada na licitação (2)
Se:
… a licitação é feita de forma pouco transparente
… aditivos aumentam o valor inicial do contrato
... funcionários do órgão já trabalham p/ o fornecedor
A probabilidade de corrupção é maior.
Como identificar? TCU: Naïve Bayes.
![Page 56: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/56.jpg)
Carta marcada na licitação (2)
![Page 57: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/57.jpg)
Fraudes c/ crédito tributário
Às vezes o contribuinte paga imposto a mais.
Nesses casos pode-se pedir compensação.
Mas nem sempre a compensação é devida.
Como identificar? Receita Federal: regressão logística, Naïve Bayes, árvores
de decisão.
![Page 58: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/58.jpg)
Fraudes c/ crédito tributário
![Page 59: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/59.jpg)
O custo Brasília
![Page 60: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/60.jpg)
O custo Brasília
Recrutamento engessado.
Decreto 8.135/2013: proíbe contratar AWS, GCE, etc.
Bases sujas, c/ muitas lacunas e sem documentação.
Retrabalho: diferentes órgãos limpando as mesmas bases de dados
(necessidade de uma data agency?).
Brasília.
![Page 61: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/61.jpg)
Rumo aos finalmentes.
![Page 62: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/62.jpg)
Lição mais importante
![Page 63: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/63.jpg)
State of the Union
Há espaço p/ inovação no governo federal. Nem tudo são carimbos e
papelório.
Áreas do governo federal que fazem mineração de dados: CGU, TCU,
Receita Federal, CADE, Polícia Federal, (outros?).
http://www.brasildigital.gov.br/
É preciso expandir p/ áreas não-punitivas: saúde, educação, meio-
ambiente...
Você pode contribuir: dados.gov.br
![Page 64: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/64.jpg)
Ferramentas
Grafos? Vale experimentar o Neo4j.
Sem amostras suficientes numa classse? Teoria dos Jogos, econometria...
Python vs R? Ora, pq não Python & R?
![Page 65: Big data no Planalto - QConSP...00000002 5 lápis MPOG 05/04/09 XYZ R$ 4,50 00000002 5 lápis MPOG 05/04/09 ABC R$ 5,00 00000003 15 lápis MPOG 25/05/09 XYZ R$ 5,00 00000003 15 lápis](https://reader030.vdocuments.mx/reader030/viewer/2022041101/5eda326bb3745412b570ef2f/html5/thumbnails/65.jpg)
Sobre
Cientista de dados.
Professor de estatística e mineração de dados
(thiagomarzagao.com/teaching).
Pesquisador (thiagomarzagao.com/papers).
Entusiasta de LEGO Mindstorms (github.com/thiagomarzagao/ev3py).
Ex-Ohio State University.
[email protected], @tmarzagao