treinamento da equipe para a avaliação final – setembro 2013 agosto 2013 processo e método de...

Treinamento da Equipe para a Avaliação Final – Setembro 2013

Agosto 2013

Processo e Método de Avaliação MPS.BR

Treinamento da Equipe para a Avaliação Final

Processo de Avaliação MPS

2Treinamento da Equipe para a Avaliação Final – Setembro 2013

4

TAREFA1. Realizar reunião de abertura2. Assinar comprometimento com o Plano de Avaliação3. Completar assinaturas no Acordo de Confidencialidade (se pertinente)4. Treinar equipe para a avaliação final5. Verificar evidências6. Realizar entrevistas7. Registrar afirmações na Planilha de Indicadores8. Caracterizar o grau de implementação de cada resultado esperado do processo e de cada resultado esperado

de atributo do processo em cada projeto/trabalho9. Caracterizar, inicialmente, o grau de implementação de cada resultado esperado do processo e de cada

resultado esperado de atributo do processo na unidade organizacional10. Caracterizar, inicialmente, o grau de implementação de cada atributo do processo na unidade organizacional11. Caracterizar o grau de implementação, na unidade organizacional, de cada resultado esperado do processo,

de cada resultado esperado de atributo do processo em reunião de consenso 12. Caracterizar o grau de implementação dos processos na unidade organizacional13. Apresentar pontos fortes, pontos fracos e oportunidades de melhoria14. Rever a caracterização e finalizar a redação dos pontos fortes, pontos fracos e oportunidades de melhoria (se

pertinente)15. Atribuir nível MR-MPS16. Organizar ambiente de trabalho da avaliação17. Comunicar o resultado da avaliação ao patrocinador18. Comunicar o resultado da avaliação aos colaboradores da unidade organizacional

Subprocesso: Realizar a avaliação finalConduzir a Avaliação Final


Responsabilidades das mini-equipes durante a avaliação final

– Verificar os resultados a partir dos indicadores (ajustes realizados)

– Caracterizar a implementação em cada projeto/trabalho nos processos sob sua responsabilidade

– Propor caracterização para resultados do processo, resultados dos atributos do processo e atributos do processo nos processos sob sua responsabilidade

– Identificar pontos fortes, pontos fracos e oportunidades de melhoria nos processos sob sua responsabilidade


6

Responsabilidades conjuntas durante a avaliação final

• Rever o trabalho das mini-equipes• Realizar as entrevistas• Caracterizar os resultados dos processos, resultados de

atributos do processo e atributos do processo• Aprovar a redação dos pontos fortes, pontos fracos e

oportunidades de melhoria• Decidir o Nível MR-MPS


7








8








Verificar evidências

• Cada mini-equipe, nos processos sob sua responsabilidade:

– Examina a planilha de indicadores em conjunto com o Relatório de Ajustes para a Avaliação Final

– Verifica a presença e adequação dos indicadores que comprovam a implementação dos resultados esperados para cada resultado esperado de processo e de atributo do processo


10








Realizar entrevistas• São realizadas na avaliação final para se obter as afirmações• Mostram o grau em que os colaboradores da organização

entendem e usam os processos• Pode ser realizada em paralelo com a verificação de evidências


Confidencialidade das entrevistas

• Se guarda rigorosa confidencialidade das entrevistas• Pelos membros da equipe de avaliação e pelos

entrevistados durante e depois da avaliação

12

Nenhuma informação será atribuída a uma pessoa individualmente


Entrevistas e solicitação de documentos

• A Equipe de Avaliação pode solicitar mais documentação quando:– Um entrevistado menciona um documento que não

está disponível à equipe de avaliação

– A equipe nota a falta de uma evidência direta que é necessária à avaliação


Notas de Entrevistas

• Toda a equipe deve tomar notas das afirmações coletadas

• Nos processos sob sua responsabilidade as mini-equipes devem ser especialmente cuidadosas.– Notas são destruídas ao final da avaliação


15

Entrevista: Distribuição dos Lugares

15

Entrevistado

Membro da Equipe de Avaliação

Avaliador LíderL

L

M

MM

M

E

E

EE

E

E

L

M

MM

E


16

Entrevistas: Exemplo de Distribuição do Tempo10 minutos Abertura da Entrevista e Apresentações

• O Avaliador Líder explica o objetivo da avaliação MPS, explica as regras de confidencialidade, pergunta se assistiram a Reunião de Abertura e apresenta a equipe de avaliação

• Cada entrevistado se apresenta dizendo seu nome e seu papel na organização

30 minutos Perguntas sobre os processos

• O Avaliador Líder e a equipe de Avaliação fazem perguntas

10 minutos Perguntas finais

• Por exemplo: Tem alguma coisa mais que gostaria de nos dizer ?

10 minutos Encerramento

• O Avaliador Líder encerra a entrevista lembrando o horário de apresentação dos resultados preliminares e a vigência permanente do acordo de confidencialidade

60 minutos Total


17

Entrevistas: Perguntas• No início da entrevista começar por questões genéricas e depois

fazer perguntas mais específicas. Por exemplo:• Você poderia nos explicar o seu trabalho?• Como você realiza o planejamento de seus projetos?• Como são tratadas as mudanças nos requisitos?• Como é feito o monitoramento dos projetos?• Como você foi treinado para realizar o seu trabalho?

• No final da entrevista volta-se a fazer perguntas genéricas sobre o ambiente da empresa e a cultura organizacional. Por exemplo:

• Há quanto tempo está na empresa?• O que você mais gosta nesta empresa?• Se pudesse mudar algo, o que mudaria?


As perguntas não devem poder ser respondidas com SIM ou NÃO

As perguntas não podem vir com a resposta incluída

Cuidado com a reação corporal à resposta do entrevistado

Entrevistas: PerguntasEntrevistas: Perguntas


19








Registrar afirmações na planilha de indicadores

• Quando termina uma entrevista cada mini-equipe deve:– Rever suas notas e fazer observações na planilha – Controlar o andamento de sua parte na avaliação– Controlar a cobertura das afirmações– Rever e atualizar a lista de perguntas para as

entrevistas que faltam– Registrar pontos fortes, pontos fracos e

oportunidades de melhoria


Cobertura das afirmações• Devem haver afirmações que comprovem os indicadores diretos• Cobertura de afirmações para cada processo

– Para cada resultado esperado deve haver pelo menos uma afirmação

– Todos os projetos/trabalhos (mesmo os não concluídos devem ter afirmações para os resultados)

– Em um projeto/trabalho concluído deve-se ter afirmações para aproximadamente 50% dos resultados


22

Planilha com registros das afirmações Gerência de Projetos

Resultado esperado / evidências Fonte da evidência

OR

GProjeto 1Projeto 2Projeto 3Projeto 4Projeto 5

O propósito do processo Gerência de Projetos é estabelecer e manter planos que definem as atividades, recursos e responsabilidades do projeto, bem como prover informações sobre o andamento do projeto que permitam a realização de correções quando houver desvios significativos no desempenho do projeto. O propósito deste processo evolui à medida que a organização cresce em maturidade. Assim, a partir do nível E, alguns resultados evoluem e outros são incorporados, de forma que a gerência de projetos passe a ser realizada com base no processo definido para o projeto e nos planos integrados. No nível B, a gerência de projetos passa a ter um enfoque quantitativo, refletindo a alta maturidade que se espera da organização. Novamente, alguns resultados evoluem e outros são incorporados.

GPR 1. O escopo do trabalho para o projeto é definido. As evidências apresentadas para este resultado permitem assegurar que o escopo do projeto foi definido?

AD: Documento de Visão X X X

Afirm: Pedro, João e Maria (gerentes dos projetos 1,2 e 3)

(T,L,P,N,NA)


23








Caracterizar o grau de implementação de cada resultado esperado do processo e de cada resultado esperado de atributo

do processo em cada projeto/trabalho

• Estamos prontos para caracterizar os resultados quando:– Temos para cada implementação associada a um

resultado:• Uma evidência direta e • Uma afirmação

– A mini-equipe responsável por verificar o processo tem consenso de que a evidência objetiva é adequada para determinar a caracterização


Caracterizar o grau de implementação de cada resultado esperado do processo e de cada resultado esperado de atributo

do processo em cada projeto/trabalho

• Atribuir T, L, P, N, F ou NA a cada projeto/trabalho em cada resultado esperado do processo e de atributo do processo.

• Para cada resultado em cada projeto/trabalho devem haver indicadores diretos. Este indicador direto deve ser comprovado por afirmações

• Responsável: Mini-equipes


Escala para caracterizar o grau de implementação de um resultado esperado do processo e de um resultado esperado de

atributo do processoGrau de implementação Caracterização

Totalmente implementado (T)

- O indicador direto está presente e é julgado adequado- Existe pelo menos uma afirmação confirmando a implementação- Não foi notado nenhum ponto fraco substancial na avaliação inicial

ou na avaliação final

Largamente implementado (L)

- O indicador direto está presente e é julgado adequado- Existe pelo menos uma afirmação confirmando a implementação- Foi notado um ou mais pontos fracos substanciais na avaliação

inicial ou na avaliação final

Parcialmente implementado(P)

- O indicador direto não está presente ou é julgado inadequado- Artefatos/afirmações sugerem que alguns aspectos do resultado

esperado estão implementados- Foi notado um ou mais pontos fracos substanciais

Não implementado (N)

- Qualquer situação diferente das acima

Não avaliado (NA)

- O projeto/trabalho não está na fase de desenvolvimento que permite atender ao resultado ou não faz parte do escopo do projeto/trabalho atender ao resultado.

Fora do escopo(F)

- O resultado esperado está fora do escopo da avaliação, conforme documentado no plano da avaliação.Treinamento da Equipe para a Avaliação Final – Setembro 2013

27

Planilha após verificação dos ajustes com registros das afirmações

Gerência de Projetos


OR






(T,L,P,N,NA) Treinamento da Equipe para a Avaliação Final – Setembro 2013

28

Planilha com caracterização por projetoGerência de Projetos


OR






(T,L,P,N,NA) T P T Treinamento da Equipe para a Avaliação Final – Setembro 2013

29








Caracterizar, inicialmente, o grau de implementação de cada resultado esperado do processo e de cada resultado esperado

de atributo do processo na unidade organizacional

30

• Agregar os resultados obtidos na tarefa anterior para caracterizar (de forma inicial) o grau de implantação de cada resultado esperado do processo e de atributo do processo na unidade organizacional– A mini-equipe agrega os resultados atribuindo um grau

que caracterize a implantação de cada:• resultado esperado do processo na unidade organizacional• atributo do processo na unidade organizacional

• Responsável: Mini-equipe


31

Regras para caracterizar o grau de implementação de cada resultado esperado do processo e de cada resultado esperado de atributo do processo na unidade organizacional


Caracterização nos projetos avaliados

Caracterização agregada para a UO

Observações

Todos X (isto é, todos T, ou todos L, ou todos P, ou todos N)

X Se todos os projetos/trabalhos têm a mesma caracterização, esta é a caracterização da UO

Todos os projetos/trabalhos terminados X (isto é, todos T, ou todos L, ou todos P ou todos N) e os incompletos NA (Não Avaliado)

X Se pelo estágio de desenvolvimento dos projetos/trabalhos incompletos o resultado não puder ser evidenciado (NA), a caracterização da UO é X

Todos T ou L L Se os projetos/trabalhos forem caracterizados para um resultado esperado como L ou T, caracteriza-se a UO como L para este resultado esperado

Todos T ou L e os incompletos NA (Não Avaliado)

L Se pelo estágio de desenvolvimento dos projetos/trabalhos incompletos o resultado não puder ser evidenciado, a caracterização da UO é L

Existem P, mas não existem N (Pode existir NA - Não Avaliado )

L ou P A decisão é da equipe de avaliação

Existe N N, P ou L A decisão é da equipe de avaliação

Resultado Esperado F (Fora do Escopo)

F O resultado esperado foi declarado fora do escopo da avaliação no plano da avaliação

Considerações para a Caracterização• Obedecer as regras• Considerar a gravidade das fraquezas em seu conjunto• Considerar a razão individual de cada grau• Peso relativo das instâncias com pontos fracos• Não se pode caracterizar um resultado como T se alguma

instância (projeto) é diferente de T• O resultado nunca pode ser maior do que a maior das

caracterizações


33

Considerações relacionadas à caracterização de resultados aos quais foi atribuído um REQUERIDO na avaliação inicial

33

A critério da equipe de avaliação e considerando a sua

importância, um resultado com Requerido na avaliação inicial

pode vir a ser caracterizado como T (totalmente implementado).


34

Planilha com caracterização por projetoGerência de Projetos


OR

GProjeto 1Projeto 2Projeto 3Projeto 4

Total





(T,L,P,N,NA) T P T Treinamento da Equipe para a Avaliação Final – Setembro 2013

35

Planilha com caracterização por resultadoGerência de Projetos


OR

GProjeto 1Projeto 2Projeto 3Projeto 4

Total





(T,L,P,N,NA) T P T L


Todo resultado L, P ou N deve ter associado um ponto fraco que justifique a caracterização

36








Caracterizar, inicialmente, o grau de implementação de cada atributo do processo na unidade organizacional• A mini-equipe faz uma caracterização inicial de cada

atributo do processo nos processos sob sua responsabilidade ( atribui um grau)

37

Este grau será proposto pela mini-equipe à toda a equipe de avaliação na reunião de

consenso


38

Regras para caracterizar o grau de implantação dos atributos de processo na unidade organizacional

38

Grau de implementação Caracterização Porcentagem de Implementação dos

resultados relacionados

Totalmente implementado (T)

Existe evidência de um enfoque completo e sistemático para o atributo no processo avaliado e de sua plena implementação, Não existem pontos fracos relevantes para este atributo no processo avaliado

>85% a 100%


Existe evidência de um enfoque sistemático e de um grau significativo de implementação do atributo no processo avaliado. Existem pontos fracos para este atributo no processo avaliado

>50% a 85%


Existe alguma evidência de um enfoque para o atributo e de alguma implementação do atributo no processo avaliado. Alguns aspectos de implementação não são possíveis de predizer.

>15% a 50%


Existe pouca ou nenhuma evidência de implementação do atributo no processo avaliado

0 a 15%


Esta porcentagem deve ser vista de forma global no que se refere ao grau de implantação do atributo de processo e é, ao mesmo tempo, uma avaliação qualitativa e quantitativa

39

Considerações relacionadas à caracterização de Atributo de Processo

• A porcentagem de orientação para caracterização de um atributo de processo deve ser vista de forma global no que se refere ao grau de implementação do atributo de processo e é, ao mesmo tempo, uma avaliação qualitativa e quantitativa.

• Em casos onde o qualitativo tiver predominância sobre o quantitativo, o avaliador líder deve enviar uma justificativa detalhada da caracterização realizada para o auditor, a qual será incorporada à documentação da avaliação enviada à SOFTEX



AP 1.1

AP 2.1

AP 2.2

AP 3.1

AP 3.2

RAP 9. (Até o nível F). Os resultados do processo são revistos com a gerência de alto nível para fornecer visibilidade sobre a sua situação na organização.

T ou L ?

Exemplo: Caracterização de AP 2.1 no Nível GRAP 1 RAP 5 T RAP 9 L RAP 13

RAP 2 T RAP 6 T RAP 10 T RAP 14RAP 3 T RAP 7 T RAP 11

RAP 4 T RAP 8 T RAP 12

40

41

AP 1.1

AP 2.1 T

AP 2.2

AP 3.1

AP 3.2

Exemplo: Caracterização de AP 2.1 no Nível G

41

RAP 1 RAP 5 T RAP 9 L RAP 13





Regras para caracterizar o grau de implantação dos atributos de processo na unidade organizacionalGrau de implementação Caracterização Porcentagem de

Implementação dos resultados

relacionadosTotalmente implementado

(T)Existe evidência de um enfoque completo e sistemático para o atributo no processo avaliado e de sua plena implementação, Não existem pontos fracos relevantes para este atributo no processo avaliado

>85% a 100%


Existe evidência de um enfoque sistemático e de um grau significativo de implementação do atributo no processo avaliado. Existem pontos fracos para este atributo no processo avaliado

>50% a 85%


Existe alguma evidência de um enfoque para o atributo e de alguma implementação do atributo no processo avaliado. Alguns aspectos de implementação não são possíveis de predizer.

>15% a 50%


Existe pouca ou nenhuma evidência de implementação do atributo no processo avaliado

0 a 15%

Esta porcentagem deve ser vista de forma global no que se refere ao grau de implantação do atributo de processo e é, ao mesmo tempo, uma avaliação

qualitativa e quantitativa42

43

AP 1.1

AP 2.1 T

AP 2.2

AP 3.1

AP 3.2

Exemplo: Caracterização de AP 2.1 no Nível G

43

RAP 1 RAP 5 T RAP 9 L RAP 13



O grau T em AP 1.1 significa um alcance de mais do que 85% do conjunto dos resultados esperados do processo, sem fraquezas significativas ou sem atribuição de “Não Implementado” (N).


44








Todo resultado L, P ou N deve ter associado um ponto fraco que justifique a caracterização

Caracterizar o grau de implementação de cada resultado esperado do processo, de cada resultado esperado de atributo do processo e de cada atributo do processo na unidade organizacional

• Em reunião de toda a equipe cada mini-equipe apresenta sua proposta de caracterização

• A equipe de avaliação, por consenso, atribui um grau que caracterize a implantação de cada resultado esperado de processo, de cada resultado esperado de atributo do processo e de cada atributo do processo para a unidade organizacional

• Responsável: Equipe de avaliação


Consenso• É imprescindível que as decisões importantes da equipe de

avaliação sejam por consenso• Consenso:

– Chegar a uma proposta suficientemente aceitável para todos os membros da equipe

– É buscar o Win/Win para todos os membros da equipe– Não é voto unânime– Não é voto majoritário– Não é uma proposta que deixa todos igualmente satisfeitos– Não é só encerrar quando se chega a 100% de acordo

46

Conduzir a equipe ao consenso é responsabilidade do Avaliador Líder


47

Voto do Polegar• Polegar apontando para cima

– Significa: “Apoio esta decisão e é a de minha preferência”

• Polegar apontando para o lado– Significa: “Esta decisão não é a de minha preferência mas posso aceitá-la

e apoiá-la fora da equipe”

• Polegar apontando para baixo– Significa: “Não posso apoiar esta decisão”

47

Se houver um único polegar apontando para baixo a decisão não é tomada e busca-se o consenso até

todos considerarem a decisão aceitável


48








Caracterizar o grau de implementação dos processos na unidade organizacional

• Tendo-se a caracterização por resultado, a equipe de avaliação caracteriza o processo para a organização como:– SATISFEITO ou – NÃO SATISFEITO



Caracterização do grau de implementação dos processos na unidade organizacional

SATISFEITOTodos os resultados esperados para o processo são T ou L Tem-se resultados para os atributos do processo conforme a Tabela


Nível MR-MPS Atributos do processo CaracterizaçãoG AP 1.1 T

AP 2.1 L ou T

F AP 1.1 T

AP 2.1 e AP 2.2 L ou T

E AP 1.1, AP 2.1, AP 2.2 T


D AP 1.1, AP 2.1, AP 2.2 T


C AP 1.1, AP 2.1, AP 2.2 T


B AP 1.1, AP 2.1, AP 2.2, AP 3.1 e AP 3.2 T


A AP 1.1, AP 2.1, AP 2.2, AP 3.1, AP 3.2, AP 4.1 e AP 4.2 T



SATISFEITOTodos os resultados esperados para o processo são T ou L Tem-se resultados para os atributos do processo conforme a Tabela


Nível MR-MPS Atributos do processo CaracterizaçãoG AP 1.1 T

AP 2.1 L ou T

F AP 1.1 T


E AP 1.1, AP 2.1, AP 2.2 T


D AP 1.1, AP 2.1, AP 2.2 T


C AP 1.1, AP 2.1, AP 2.2 T


B AP 1.1, AP 2.1, AP 2.2, AP 3.1 e AP 3.2 T


A AP 1.1, AP 2.1, AP 2.2, AP 3.1, AP 3.2, AP 4.1 e AP 4.2 T


Os atributos de processo 4.1, 4.2, 5.1 e 5.2 são caracterizados conforme pertinente e de acordo com a seleção de processos feita pela unidade organizacional. A não caracterização destes atributos do processo para todos os processos, não impede que seja atribuído à unidade organizacional o nível B ou o nível A.

52


52

NÃO-SATISFEITO

Em qualquer situação diferente das anteriores


53








Apresentar pontos fortes, pontos fracos e oportunidades de melhoria

• Pontos fortes, pontos fracos e oportunidades de melhoria são apresentados aos entrevistados antes de finalizar esta etapa da avaliação– Planejar o número de reuniões (chefes e subordinados

não podem estar na mesma reunião)– O Avaliador Líder ou um avaliador adjunto apresenta

(Slides) dos Pontos Fortes, Pontos Fracos e Oportunidades de Melhoria por:

• Processo • Gerais do Modelo• Globais que são relacionados à unidade organizacional


• É direto e não apresenta desculpas• Estimula o feedback dos participantes• Se existe desacordo não se compromete a mudar, mas sim

a analisar cuidadosamente a opinião • Lembra o Acordo de Confidencialidade

Apresentar pontos fortes, pontos fracos e oportunidades de melhoria

• Os membros da equipe de avaliação tomam notas do feedback para depois da apresentação discutir os comentários e chegar a consenso sobre os pontos fortes, os pontos fracos e as oportunidades de melhoria


56








Observação:

A Organização pode ter solicitado um nível MPS e lhe ser atribuído um nível inferior

Atribuir nível MPS.BR

• Atribuir o Nível MPS onde todos os processos pertinentes ao Nível tenham sido caracterizados como SATISFEITO



58








Organizar ambiente de trabalho da avaliação

• Após o encerramento da avaliação, a equipe de avaliação deve:– Eliminar a documentação gerada que possam

comprometer o Acordo de Confidencialidade• anotações em papéis e planilhas• arquivos intermediários gerados

– Gerar uma versão da apresentação dos resultados da avaliação e da planilha de avaliação resultante (sem indicativos de quem forneceu as evidências) e entregar para o coordenador local.

– O avaliador líder deve copiar a planilha de avaliação final e as apresentações realizadas e arquivar estes documentos


60








Comunicar o resultado da avaliação ao patrocinador

• Os resultados da avaliação são comunicados ao patrocinador pelo avaliador líder

• Nesta reunião:– Pode haver participação de toda a equipe de avaliação,

a critério do avaliador líder– Podem haver outros participantes da unidade

organizacional a critério do patrocinador– Deve ser uma reunião onde o avaliador líder:

• descreva os resultados, • comente os pontos fortes, pontos fracos e oportunidades de

melhoria, e• mostre os próximos passos para a melhoria dos processos

• Responsável: Avaliador Líder


Subprocesso: Realizar a avaliação final


Colocar as avaliações da equipe e do patrocinador em um envelope lacrado e assinado pelo patrocinador

Subprocesso: Documentar os resultados da avaliação


Auditar a avaliação final

• O auditor designado pela ETM emite parecer que pode ser:– APROVADO: a documentação está completa, correta

e não há dúvidas com relação ao resultado da avaliação final

– NÃO APROVADO: há dúvidas com relação ao resultado da avaliação final


70

Alguma dúvida ?

treinamento da equipe para a avaliação final – setembro 2013 agosto 2013 processo e método de...

Documents