Universidade de PernambucoCaruaruSistemas de InformaçãoInteligência ArtificialProfº Paulemir G. Campos

Relatório de Sistemas Classificadores

Erton W. Vieira5º Periodo

Caruaru, 2008

SUMARIO

1.Resumo ............................................................................................................. 3

2.Objetivo ............................................................................................................ 3

3.A base de dados ................................................................................................ 4

3.1 Informações importantes ......................................................................... 4

3.2 Dados ........................................................................................................ 5

4. Modelos escolhidos .......................................................................................... 7

4.1 J48 (C4.5) .................................................................................................. 7

4.2 RNAs MLP (Multilayer Perceptron) …........................................................ 7

5. Ferramentas ...................................................................................................... 8

6. Experimentos ................................................................................................ 9

7.1 Como foram realizados ......................................................................... 9

7.2 Critérios de particionamento ................................................................ 9

7.3 J48 (C4.5) ............................................................................................... 9

7.4 RNAs MLP (Multilayer Perceptron) .......................................................... 11

7. Comparação ..................................................................................................... 12

8. Conclusão ......................................................................................................... 13

IAPágina 2

1.RESUMO

Este relatório apresenta descrições e resultados obtidos em experimentos relacionados a sistemas classificadores de padrões. Durante o documento, será explicado como foram utilizadas algumas ferramentas, quais parâmetros de treinamento e testes foram usados e, por final, uma comparação entre os resultados coletados em ambos os modelos de classificação escolhidos.

2.OBJETIVO

Analisar e tirar conclusões válidas sobre os métodos de classificação utilizados, sabendo, é claro, que esses resultados não servem como parâmetros gerais para avaliação dos classificadores, e sim, apenas para casos onde a base de dados a ser avaliada tenha características relativamente semelhantes a escolhida para o projeto.

IAPágina 3

3.BASE DE DADOS

1. Title: Chess Endgame Database for White King and Rook against Black King (KRK) - Black-to-move Positions Drawn or Lost in N Moves.

2. Source Information: -- Criador: Database generated by Michael Bain and Arthur van Hoff at the Turing Institute, Glasgow, UK. -- Doador: Michael Bain (mike@cse.unsw.edu.au), AI Lab, Computer Science, University of New South Wales, Sydney 2052, Australia. -- Data: Junho, 1994.

3. Utilização Anterior:

Chess endgames are complex domains which are enumerable. Endgame databases are tables of stored game-theoretic values for the enumerated elements (legal positions) of the domain. The game-theoretic values stored denote whether or not positions are won for either side, or include also the depth of win (number of moves) assuming minimax-optimal play. From the point of view of experiments on computer induction such databases provide not only a source of examples but also an oracle (Roycroft, 1986) for testing induced rules. However a chess endgame database differs from, say, a relational database containing details of parts and suppliers in the following important respect. The combinatorics of computing the required game-theoretic values for individual position entries independently would be prohibitive. Therefore all the database entries are generated in a single iterative process using the ``standard backup'' algorithm (Thompson, 1986).

A KRK database was described by Clarke (1977). The current database was described and used for machine learning experiments in Bain (1992; 1994). It should be noted that our database is not guaranteed correct, but the class distribution is the same as Clarke's database. In (Bain 1992; 1994) the task was classification of positions in the database as won for white in a fixed number of moves, assuming optimal play by both sides. The problem was structured into separate sub-problems by depth-of-win ordered draw, zero, one, ..., sixteen. When learning depth d all examples at depths > d are used as negatives. Quinlan (1994) applied Foil to learn a complete and correct solution for this task.

The typical complexity of induced classifiers in this domain suggest that the task is demanding when background knowledge is restricted.

4. Informações Relevantes:

IAPágina 4

An Inductive Logic Programming (ILP) or relational learning framework is assumed (Muggleton, 1992). The learning system is provided with examples of chess positions described only by the coordinates of the pieces on the board. Background knowledge in the form of row and column differences is also supplied. The relations necessary to form a correct and concise classifier for the target concept must be discovered by the learning system (the examples already provide a complete extensional definition). The task is closely related to Quinlan's (1983) application of ID3 to classify White King and Rook against Black King and Knight (KRKN) positions as lost 2-ply or lost 3-ply. The framework is similar in that the example positions supply only low-grade data. An important difference is that additional background predicates of the kind supplied in the KRKN study via hand-crafted attributes are not provided for this KRK domain.

3.1.DADOS

Numero de Instâncias: 28056Número de Atributos: 06 (Seis) atributos variáveis e 1 (uma) classe variável.Informação dos Atributos:

1. White King file (column) 2. White King rank (row) 3. White Rook file 4. White Rook rank 5. Black King file 6. Black King rank 7. optimal depth-of-win for White in 0 to 16 moves, otherwise drawn

{draw, zero, one, two, ..., sixteen}.

Atributo faltando: NãoDistribuição da Classe:

draw 2796 zero 27 one 78 two 246 three 81 four 198 five 471 six 592 seven 683 eight 1433 nine 1712 ten 1985 eleven 2854

IAPágina 5

twelve 3597 thirteen 4194 fourteen 4553 fifteen 2166 sixteen 390

Total 28056

IAPágina 6

4.MODELOS ESCOLHIDOS

Para o seguinte projeto foram escolhidos os seguintes modelos MLP (pré-determinado pelo orientador da disciplina) e o J48.

4.1. J48(C4.5)

O algoritmo J48 é uma implementação do algoritmo C4.5 release 8 que gera árvore de decisão. O J48 constrói um modelo de árvore de decisão baseado num conjunto de dados de treinamento, e usa esse modelo para classificar outras instâncias num conjunto de teste.

Esse algoritmo não era obrigatório no trabalho, mas optamos por ele, por ser um algoritmo baseado em árvores de decisão e isso traria uma abordagem totalmente diferente do problema se o compararmos com o outro algoritmo escolhido.

4.2. RNA’s MLP (Multilayer Perceptron)

O multilayer perceptron foi criado para resolver que não poderiam ser resolvidos por um modelo de neurônio básico, ou seja, problemas mais complexos. Um único perceptron ou uma combinação das saídas de alguns perceptrons seria incapaz de aprender uma operação XOR, para isto são necessárias mais conexões, os quais só existem em uma rede de perceptrons dispostos em camadas (Multilayer Perceptron). Os neurônios internos têm enorme importância na rede neural, pois se provou que com estes torna-se possível a resolução de problemas linearmente não separáveis.

Esse Segundo modelo foi fixado como obrigatório neste trabalho e por ser um modelo que geralmente apresenta resultados muito satisfatórios em relação à classificação de padrões.

IAPágina 7

5. FERRAMENTAS

Foi utilizado a ferramenta WEKA 3.5.6 (Waikato Environment for Knowledge Analysis), tanto para o algoritmo MLP (Multilayer Perceptron) para construção da RNA, quanto para o C4.5 (J48) para construção de uma árvore de decisão.

A ferramenta possui alguns bugs, porém, apesar desse fato, obteve-se resultados suficientemente claros para a realização desse trabalho. Esse sistema também é muito lento na construção e execução de RNAs do tipo MLP.

IAPágina 8

6. EXPERIMENTOS

6.1. Processo de Realização

Com o algoritmo J48 realizamos 8 experimentos alterando os valores dos parâmetros binarySplits e confidenceFactor para avaliar a variação de resultados no algoritmo J48.

Os testes com RNA foram feitos com a ferramenta WEKA o que dificultou a realização de vários testes envolvendo o modelo MLP, pois o software possui vários bugs.

Adicionamos o tempo como critério na tabela de resultados também, para poder fazer uma comparação também nesse fator. Sendo essa medida de avaliação muito empírica e influenciada por diversos fatores devemos informar que os testes foram feitos em máquinas com processador Pentium Core 2 Duo, 2,4GHz e memória de 512Mb DDR2, sem nenhum aplicativo de usuário interferindo no seu desempenho

6.2. Critérios de Particionamento

Mesmo a base de dados sendo de um tamanho relativamente grande, foi usado o método Cross-validation, o qual divide o conjunto de dados em partes ,10 no caso, e permuta entre eles sempre usando 1 para teste e o restante para treinamento

6.3. J48

Execução binarySplits

confidenceFactor

Tamanho da árvore

Nº de folhas Percentual de Classificação

Tempo de execução

1 False 0.10 6813 3869 75.449 % 9.77 s

2 False 0.25 9151 5170 74.2233% 9.34 s

3 False 0.50 9761 5528 74.4208% 9.38 s

4 False 1.0 10627 5997 74.6859% 17.11 s

5 True 0.10 5731 2866 60.9467% 6.47 s

IAPágina 9

6 True 0.25 7071 3536 59.562% 6.59 s

7 True 0.50 7597 3799 59.6519% 5.95 s

8 True 1.0 8113 4057 59.6278% 18.11 s

Como pode-se observar na tabela acima o atributo binarySplits influenciou na eficiência do algoritmo, flutuando entre 15% a diferença de classificação do algoritmo. E percebe-se também que os resultados obtidos com o algoritmo são relativamente satisfatórios

Agora, detalharemos as informações, procedimentos e resultados obtidos com um dos nossos classificadores, o número 8.

Tela de Configuração do Algoritmo 8

Numero de Folhas : 4057Tamanho da Arvore : 8113

Instâncias classificadas corretamente 22227 79.2265 %Instâncias classificadas incorretamente 5828 20.7735 %

Erro absoluto principal 0.0242

IAPágina 10

Erro absoluto relativo 24.3542 %Número total de instâncias 28055

6.4. REDES NEURAIS MLP (Multilayer Perceptron)

Tela de Configuração do Algoritmo MLP

No problema, a MLP obteve cerca de 85% de acerto e levou aproximadamente 19 (dezenove) minutos para executar usando o critério de particionamento Cross-validation. Abaixo, nós descrevemos mais detalhadamente os resultados obtidos, mostrando o resultado gerado pelo WEKA:

Instâncias classificadas corretamente 14884 53.0529 %Instâncias classificadas incorretamente 13171 46.9471 %Erro absoluto principal 0.0637Erro absoluto relativo 64.0528 %Número total de instâncias 28055

IAPágina 11

7. COMPARAÇÃO

Baseando-se nos resultados dos experimentos envolvendo RNAs MLP e Árvores de decisão J48 podemos observar o comportamento dos classificadores gerados para cada tipo de algoritmo.

Podemos então gerar uma tabela de comparação entre os resultados obtidos:

Acertos % Tempo de execução

J48 (WEKA) 75.449 % 9.77 s

MLP (WEKA) 85.4885 % 18m 56 s

O algoritmo J48 é mais rápido mas não tão eficiente como a rede neural MLP.

IAPágina 12

8. CONCLUSÃO

A eficiência de RNAs (MLP) na grande maioria dos problemas de classificaçãofoi comprovada tendo um numero de acertos expressiva comparado que coletamos com a abordagem de árvores de decisão J48(C4.5), no projeto.

Apesar da base de dados ser grande, o tempo despendido para a realização dos experimentos foi considerado relativamente pequeno e válido se analisarmos o fator “custo x benefício” ao se usar método de particionamento Cross-validation.

IAPágina 13